Münster 1997 – scientific programme

Parts | Days | Selection | Search | Downloads | Help

DY: Dynamik und Statistische Physik

DY 15: Neuronale Netze

DY 15.8: Talk

Tuesday, March 18, 1997, 18:00–18:15, R1

On-line Lernen von endlichen Datensätzen in Neuronalen Netzwerken — •Bernardo Lopez¹ und Manfred Opper² — ¹Institut für Theoretische Physik, Universität Würzburg, 97074 Würzburg
— ²Weizmann Institute of Science, Rehovot, 76100, Israel

Wir untersuchen die Lerndynamik eines einschichtigen Netzwerkes, das mit einem stochastischen Gradientenverfahren lernt. Im Gegensatz zum üblichen On-line lernen, in dem in jedem Zeitschritt ein neues, vorher nicht gezeigtes Muster präsentiert wird, betrachten wir Muster, die einem endlichen Datensatz angehören. Im Vergleich zu Batch-Lernen findet man, das bei nicht perfekt lernbaren Problemen im allgemeinen das Minimum der quadratischen Kostenfunktion nicht mehr errreicht wird. Stattdessen konvergieren die Kopplungen asymptotisch gegen eine um das Minimum zentrierte Verteilung endlicher Breite, die nicht vom Boltzmann Typ ist. Für den Fall eines linearen Netzwerkes berechnen wir erstmals exakt die Zeitentwicklung des Lernfehlers für einen beliebigen, aber festgehaltenen Mustersatz endlicher Dimension. Für Netzwerke mit nichtlinearer Kennlinie werden Näherungslösungen vorgestellt, die im thermodynamischen Limes (unendliche Dimension) möglicherweise exakt sind.