Abgabe 11.12.2000
Aufgabe 1: Betrachten Sie eine Realisierung der Booleschen Funktion XOR durch ein neuronales Feed-Forward-Netzwerk mit Neuronen mit sigmoiden Ausgabefunktionen(Formel 1.20 im Skript mit beta = 1). Das Netz soll mit dem Backpropagation-Algorithmus angelernt werden. Betrachten Sie einen Durchlauf des Algorithmus für alle vier Trainingsinstanzen.
Teilaufgaben:
- Schreiben Sie die Fehlerfunktion auf und diskutieren Sie die Frage
der Realisierung einer Booleschen Funktion durch ein Netz mit stetigen
(sigmoiden) Neuronen (Einführung einer Akzeptanzschwelle).
- Geben Sie für die vier Trainingsinstanzen jeweils die Inkremente
der synaptischen Gewichte aller Neuronen an. Initialisierung der synaptischen
Gewichte mit Null oder zufällig, Lernrate epsilon = 0.1. Verwenden
Sie die Formeln aus der Vorlesung bzw. Formeln (3.7) und (3.13) im
Skript.
- Diskutieren Sie, ob nach diesem ersten Durchlauf das Netz schon
die Funktion gelernt hat.
Vereinfachungen: Setzen Sie die Ableitungen S'(z) der Ausgabefunktion
immer gleich 1.
Die Schwellen können entweder von Hand gesetzt oder durch
Einführung eines fiktiven Zusatzinputs mit gelernt werden (1 Zusatzpunkt).
(10 Pkte.)
Aufgabe 2: In Abb. 3.7 des Skriptes finden Sie ein zweilagiges
Netz mit zwei Inputs x_1 und x_2. Teilaufgaben:
- Wie sind Schwellen und Gewichte der drei Neuronen zu wählen,
damit der Output des Netzes genau dann nahe bei 1 liegt, wenn (bis
auf einen schmalen Streifen längs der x_1 und der x_2 Achse)
ein Input aus dem ersten Quadranten des Inputraumes (x_1 > 0 und
x_2 >0) anliegt.
- Fügen Sie zu diesem Netz ein weiteres Neuron mit geeigneter
Schwelle und Gewichten hinzu, so dass der maximale Output des Netzes von
Inputs aus dem Bereich um x_1 = x_2 = 1 generiert wird.
(8 Pkte.)