Vergleich des Zusammenspiels verschiedener Aktivierungsfunktionen und Initialisierungen der Gewichte in neuronalen Netzen

Betreuer/in:            Jens-Peter M. Zemke           
Dekanat/Institut:   Elektrotechnik, Informatik und Mathematik / Mathematik           

E-Mail:   zemke@tuhh.de

Motivation: Heutige tiefe neuronale Netze arbeiten unter anderem so
erfolgreich, da die Initialisierung der Gewichte nach Xavier Glorot
und Kaiming He auf die jeweiligen Aktivierungsfunktionen (sigmoid.
tanh, ReLU) abgestimmt ist. Diese Art der Initialisierung soll
erweitert werden auf eine neue Klasse von Aktivierungsfunktionen;
das Vorgehen soll dabei hinreichend abstrakt gehalten werden, um auch
für andere, zukünftige Klassen von Aktivierungsfunktionen nahezu
automatisch ablaufen zu können.

Methoden: In der Arbeit soll am Beispiel von Standardaufgaben (MNIST,
CIFAR) das Vorgehen in den Artikeln von Xavier Glorot und Kaiming He
nachvollzogen werden und auf neue Klassen von Aktivierungsfunktionen
angewandt werden. Dazu muss Feedforward und Backpropagation in Python
selbst implementiert werden.

Projektziele und Arbeitspakete:
– Literaturrecherche zur Gewichtsinitialisierung
– Einarbeitung in einfache neuronale Netze
– Implementation der Netze und deren Training in Python
– Umfangreiche Tests und Auswertung in Python

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.