Hamburg 2001 – wissenschaftliches Programm
Bereiche | Tage | Auswahl | Suche | Downloads | Hilfe
DY: Dynamik und Statistische Physik
DY 42: Neuronale Netze / Statistische Physik fernab vom thermischen Gleichgewicht
DY 42.5: Vortrag
Donnerstag, 29. März 2001, 11:45–12:00, S 6
Regression mittels Gaußscher Prozesse: Lernkurven und Vertrauensbereiche — •Dörthe Malzahn und Manfred Opper — Aston University, Department of Computer Science and Applied Mathematics, Birmingham B4 7ET, United Kingdom
Regression mittels Gaußscher Prozesse weist Parallelen zur Modellbildung durch vorwärtsgefütterte neuronale Netze auf. In beiden Fällen besteht die Aufgabe darin, aus einem Satz von Datenpunkten D=(y(x1),…,y(xm)) die zu Grunde liegende Regel f(x) zu bestimmen. Im Gegensatz zu neuronalen Netzen sind Gaußsche Prozesse jedoch parameterlose Modelle und theoretisch weit weniger gut verstanden.
Wir wenden die Methoden der Statistischen Mechanik an, um Lernkurven und deren Vertrauensbereiche zu berechnen. Lernkurven geben an, wie sich Trainings- und Generalisierungsfehler mit zunehmender Beispielzahl im Datenmittel typischer Weise verhalten. Die zentrale Annahme unserer Theorie ist eine Näherung, deren Gültigkeitsbereich und Qualität wir zeigen. Die Näherung gilt für hinreichend große Beispielzahlen und bei beliebiger Dimension des Eingaberaumes. Im Gültigkeitsbereich unserer Näherung stimmen unsere theoretischen Vorhersagen mit Simulationen ausgezeichnet überein.