Bereiche | Tage | Auswahl | Suche | Downloads | Hilfe

DY: Dynamik und Statistische Physik

DY 15: Neuronale Netze

DY 15.6: Vortrag

Dienstag, 18. März 1997, 17:30–17:45, R1

On-line Lernen und adiabatische Kopplung — •Peter Riegler, Michael Biehl und Dominik Endres — Institut für Theoretische Physik, Universität Würzburg, D-97074 Würzburg

Die Freiheitsgrade eines neuronalen Netzes können oft in zwei Klassen aufgeteilt werden: Die Zahl der Freiheitsgrade in der ersten Gruppe skaliert mit der Dimension der Eingabe N, während die andere nur O(1) viele besitzt. Beim On-line Lernen ist die Änderung der Freiheitsgrade der ersten Klasse pro Lernschritt von der O(1/N). Dies ermöglicht die Konvergenz zum Energieminimum und reduziert die Fluktuationen zu 0. In dieser Arbeit wird in Analogie zu physikalischen Systemen gezeigt, daß die Änderung der Freiheitsgrade in der zweiten Gruppe von der Größenordnung O(1) gewählt werden sollte. Die Dynamik dieser Freiheitsgrade ist dann adiabatisch an die der ersten Gruppe gekoppelt. Die Dynamik aller Freiheitsgrade findet dadurch auf einer schnelleren Zeitskala statt, was zu einer insgesamt schnelleren Konvergenz führt. Als Beispiele werden das Lernen in Zweischichtnetzwerken und die Adaption der Schwelle im Perceptron diskutiert. Im ersten Fall führt dies zu einer theoretischen Erklärung der in der Anwendung bekannten empirischen Regel, daß die Änderung der Gewichte mit dem Inversen der Zahl der Eingangskanäle skalieren sollte.Die Resultate werden durch Simulationen bestätigt.