Prof. Dr. Ralf Der  - Institut für Informatik -Universität Leipzig


Übungen zur Vorlesung Neuroinformatik

Serie 2

Abgabe 11.12.2000

Aufgabe 1:  Betrachten Sie eine Realisierung der Booleschen Funktion  XOR  durch ein neuronales Feed-Forward-Netzwerk mit Neuronen mit sigmoiden Ausgabefunktionen(Formel 1.20 im Skript mit beta = 1). Das Netz soll mit dem Backpropagation-Algorithmus angelernt werden. Betrachten Sie einen Durchlauf des Algorithmus für alle vier Trainingsinstanzen.

Teilaufgaben:
- Schreiben Sie die Fehlerfunktion auf und diskutieren Sie die Frage der Realisierung einer Booleschen Funktion durch ein Netz mit  stetigen (sigmoiden) Neuronen (Einführung einer Akzeptanzschwelle).
- Geben Sie für die vier Trainingsinstanzen jeweils die Inkremente der synaptischen Gewichte aller Neuronen an. Initialisierung der synaptischen Gewichte mit Null oder zufällig, Lernrate epsilon = 0.1. Verwenden Sie die Formeln aus der Vorlesung bzw. Formeln  (3.7) und (3.13) im Skript.
- Diskutieren  Sie, ob nach diesem ersten Durchlauf das Netz schon die Funktion gelernt hat.

Vereinfachungen: Setzen Sie die  Ableitungen S'(z)  der Ausgabefunktion immer gleich 1.
Die Schwellen können entweder von Hand gesetzt  oder durch Einführung eines fiktiven Zusatzinputs mit gelernt werden (1 Zusatzpunkt).
                            (10 Pkte.)

Aufgabe 2:  In Abb. 3.7 des Skriptes finden Sie ein zweilagiges Netz mit zwei Inputs x_1 und x_2. Teilaufgaben:
- Wie sind Schwellen und Gewichte der drei Neuronen zu wählen, damit der Output des Netzes genau dann nahe bei 1 liegt, wenn  (bis auf einen schmalen Streifen längs der x_1 und der x_2 Achse)  ein Input aus dem ersten Quadranten des Inputraumes  (x_1 > 0 und x_2 >0) anliegt.
- Fügen Sie zu diesem Netz ein weiteres Neuron mit geeigneter Schwelle und Gewichten hinzu, so dass der maximale Output des Netzes von Inputs aus dem Bereich um x_1 = x_2 = 1 generiert wird.
                         (8 Pkte.)