patent
EP0643353
filed
1994-08-20
published
1995-03-15
granted
1999-07-07
score
-
bayes
-
votes
-

Data processing system and method.

applicantSel alcatel ag (DE); alcatel nv (NL)
inventorsJaenecke, Peter, Dr. (DE)
eclaG06N3/04M
ipcG06F15/80
designatedDE,FR,GB,IT,NL,SE
priorityDE19934330847 19930911
applicationEP19940113019 19940820
state (internal)68
claims0

abstract

Universally usable data processing devices and method for data processing using neural networks.
Suitable logic combination of a plurality of neural networks.
A first neural network (N1) is logically combined with a further neural network (N21) in such a way that input data (E0) are processed both by the first neural network (N1) and by the further neural network (N21) and the data evaluated by the further neural network (N21) are available to the first neural network as further input data (E1).

description

Description of EP0643353


Die Erfindung betrifft eine Vorrichtung und ein Verfahren zur Datenverarbeitung für neuronale Netze.

Bei der Verwendung neuronaler Netze stellt sich im allgemeinen das Problem, dass Eingangsdaten, die ohne geeignete Vorverarbeitung auf das neuronale Netz gegeben werden, von diesem nicht optimal verarbeitet werden können.

Aus dem Stand der Technik sind mehrere Methoden zur Vorverarbeitung vor der Verarbeitung in einem neuronalen Netz bekannt. In der Patentschrift US-PS 3 287 649 wird zum Beispiel eine Vorverarbeitung beschrieben, welche nötig ist, um Eingangssignale für die Weiterverarbeitung durch Neuronen entsprechend aufzubereiten.

Desweiteren gibt es für den Fall, dass eine assoziative Speicherung vorgesehen ist, in dem Stand der Technik z.B. die Lernmatrix von STEINBUCH, mittels der unter Ausnutzung bedingter Wahrscheinlichkeiten Zuordnungen von Eingangsdaten zu Ausgangsdaten vorgenommen werden. Hierbei wird in eine "Lernphase" und in eine "Kannphase" unterteilt (Taschenbuch der Nachrichtentechnik; Dr.-Ing. K. Steinbuch; Kapitel 12.6.2 "Die Lernmatrix"; Springer-Verlag, Berlin/Heidelberg/New York; 1967; Seiten 1416 bis 1423).

Ebenso sind aus dem Stand der Technik weitere neuronale Netze und Methoden zur Datenverarbeitung mit neuronalen Netzen bekannt, bei denen jeweils ein Kodierverfahren vor der Verarbeitung der Daten angewendet werden muss. Hierbei wird beispielsweise das HOPFIELD-Netz benutzt, um eine assoziative Speicherung vorzunehmen oder um Optimierungsprobleme zu lösen ("An Introduction to Computing with Neural Nets", Richard P. Lippmann; IEEE ASSP Magazine , April 1987, S. 4-23).

Die bisher genannten Methoden sind alle in Abhängigkeit von der jeweiligen speziellen Anwendung vorgesehen.

Das bedeutet also, dass für den vorliegenden Anwendungsfall nach jeweils einer optimalen Vorverarbeitung gesucht werden muss, und die gefundene Methode nicht universell anwendbar ist.

Es ist Aufgabe der vorliegenden Erfindung, eine Vorrichtung und ein Verfahren vorzusehen, die bzw. das universell anwendbar ist.

Die Aufgabe wird erfindungsgemäss gelöst durch die Lehre des ersten und durch die Lehre des fünften Patentanspruchs.

Ein Vorteil der Erfindung liegt darin, dass die erfindungsgemässe Vorrichtung und das Verfahren für unterschiedliche Anwendungsfälle verwendbar ist.

Es muss nicht für jeden Anwendungsfall nach einer optimalen Codierung mittels eines Codierverfahrens gesucht werden, sondern die Codierung erfolgt anwendungsunabhängig. Demnach kann mittels der Erfindung z.B. bei der Verwendung, als assoziativer Speicher und in Abhängigkeit davon, wie die Trainingsphase abläuft, z.B. entweder eine fehlertolerante Zuordnung oder aber eine eindeutige Zuordnung vorgenommen werden.

Ein weiterer Vorteil ist, dass die Erkennungssicherheit von z.B. gesuchten assoziierten Vektoren mittels eines weiteren neuronalen Netzes erhöht wird, weil ein zusätzlicher Faktor erkannt werden und übereinstimmen muss.

Vorteilhafte Weiterentwicklungen der Erfindung sind den Unteransprüchen 2 bis 4 und den Unteransprüchen 6 bis 10 zu entnehmen.

Nach Unteranspruch 2 wird angegeben, dass die Vorrichtung besonders vorteilhaft ist, wenn die neuronalen Netze assoziative Speicher sind.

Nach Unteranspruch 3 wird erläutert, dass die jeweils ausgewerteten Daten und eine Steuerinformation auf einen Entscheider S gegeben werden, welcher bestimmt, welche jeweils ausgewerteten Daten an das erste neuronale Netz gegeben werden.

Nach Unteranspruch 4 wird erläutert, dass die auf das erste neuronale Netz zu gebenden Daten von dem Entscheider berechnet werden können.

Nach Unteranspruch 6 bestehen die assoziativen Speicher aus Speichermatrixen mit nach dem Zufallsprinzip zu besetzenden Speicherplätzen.

Nach Unteranspruch 7 werden die Speicherplätze der Speichermatrixen der assoziativen Speicher nach einem Zufallsprinzip besetzt, also nicht nach einem für eine bestimmte Anwendung speziellen Verfahren.

Nach Unteranspruch 8 wird die Speichermatrix von einem der neuronalen Netze trainiert oder anwendungsspezifisch besetzt, und das andere neuronale Netz wird nach einem bekannten und vorab festgelegten Verfahren besetzt. Hierbei kann auf die aus dem Stand der Technik bekannten Verfahren zurückgegriffen werden.

Nach Unteranspruch 9 werden weitere neuronale Netze für jeweils ein spezielles Merkmal der Eingangsdaten verwendet.

Nach Unteranspruch 10 wird die erfindungsgemässe Vorrichtung verwendet, um vorzugsweise als optischer Schalter eingesetzt zu werden.

Ein Ausführungsbeispiel wird wie folgt anhand der Figuren erläutert. Folgende Figuren zeigen:

Fig. 1 Blockschaltbild eines Ausführungsbeispiels,
Fig. 2 Blockschaltbild der erfindungsgemässen Vorrichtung,
Fig. 3 Blockschaltbild einer Vorrichtung nach Anspruch 3 oder 4,
Fig. 4 Blockschaltbild einer Kombination der Figuren 2 und 3,
Fig. 5 Kippfigur zur Verarbeitung mittels einer der Vorrichtungen.


Im folgenden Teil wird die Erfindung anhand des Ausführungsbeispiels von Figur 1 näher erläutert.

Eine Vorrichtung zur Datenverarbeitung besteht aus einer Verknüpfung von neuronalen Netzen. Ein erstes neuronales Netz N1 ist mit mindestens einem weiteren neuronalen Netz N21, N22, ..., N2n verknüpft, wobei in dem vorliegenden Ausführungsbeispiel lediglich ein einziges weiteres neuronales Netz N21 vorhanden ist.

Eingangsdaten E0 werden sowohl auf das erste neuronale Netz N1 als auch auf das weitere neuronale Netz N21 gegeben. Das weitere neuronale Netz N21 wertet die Eingangsdaten E0 aus, woraus dann die ausgewerten Daten E1 gebildet werden, die als weitere Eingangsdaten ebenfalls auf das erste neuronale Netz N1 gegeben werden.

Das erste neuronale Netz N1 wertet die beiden Eingangsdaten E0 und E1 aus und gibt Ausgangsdaten A als Resultat heraus.

Für den Fall, dass die zuvor bezeichneten neuronalen Netze assoziative Speicher sind, ergibt sich folgender Ablauf eines Verfahrens zur Datenverarbeitung.

Bei einer assoziativen Speicherung in dem assoziativen Speicher stellt sich die Aufgabe, in einer Speichermatrix m Vektorpaare ( EMI5.1 EMR5.1 EMI5.4 EMR5.4 EMI5.2 EMR5.2 EMI5.5 EMR5.5 EMI5.3 EMR5.3 EMI5.6 EMR5.6 sich für den Fall, dass von den Eingangsdaten der Eingangswert EMI5.7 EMR5.7 für i = 1, 2, ... m angelegt wird, das entsprechend dazu passende EMI5.8 EMR5.8 Hierbei bedeutet "angelegt" hier und von nun an, die Multiplikation eines Vektors mit einer Matrix, sowie eien geeignete Schwellwertoperation über den resultierenden Vektor.

Bei der Verwendung neuronaler Netze müssen in einer Trainingsphase die zuvor genannten Vektorpaare trainiert werden, bevor in einer Nutzphase aus einem eingegebenen Eingangswert EMR5.7 resultierendes EMR5.8

In der Trainingaphase wird bei dem erfindungsgemässen Verfahren und der erfindungsgemässen Vorrichtung zunächst durch das mindestens eine weitere neuronale Netz N21, an das die Eingangsdaten EMR5.7 ebenfalls angelegt werden, weitere Daten EMI6.1 EMR6.1 erzeugt. Zur Erzeugung der weiteren Daten EMR6.1 Speichermatrix des weiteren neuronalen Netzes N21 z.B. nach einem Zufallsprinzip beliebig besetzt worden, also "zufällig" besetzt werden.

Die Vektoren EMR6.1 Vektoren EMR5.7 Symbol "&" angezeigt wird.

Demnach ist das erste neuronale Netz N1 auf die Vektorpaare ( EMR5.1 EMR5.4 EMI6.2 EMR6.2 EMR5.2 EMR5.5 EMI6.3 EMR6.3 EMR5.3 EMR5.6 EMI6.4 EMR6.4 trainiert.

In der Nutzphase ist beispielsweise ein beliebiges EMI6.5 EMR6.5 Eingangssdaten angelegt, wobei l gleich einer Zahl aus dem Zahlenbereich 1 bis m ist. Durch Anwendung auf das eine weitere neuronale Netz N21 ergibt sich der entsprechende Vektor EMI6.6 EMR6.6 Damit wird der Vektor EMR6.5 EMR6.6 EMR6.5 EMR6.6

Mittels des ersten neuronalen Netzes N1 wird der zu dem Vektor EMR6.5 EMR6.6 EMI6.7 EMR6.7

Bei dem zuvor beschriebenen Verfahren zur Datenverarbeitung mit der Vorrichtung können in Abhängigkeit von der Art des Trainings unterschiedliche Assoziationen vorgenommen werden.

Eine Möglichkeit besteht darin, mit ähnlichen Eingangavektoren EMI7.1 EMR7.1 das gleiche EMI7.2 EMR7.2 fehlertolerantes Verhalten bei Eingabe leicht variierender Eingabevektoren.

Eine weitere Möglichkeit besteht darin, Eindeutigkeit zu erzwingen, d. h. trotz ähnlicher Eingangsvektoren EMR7.1 Ausgangsvektoren EMR7.2 eindeutige Zuordnung der Eingangsvektoren zu den korrespondierenden Ausgangsvektoren durchzuführen.

Die Zuverlässigkeit der Zuordnung der beiden zuvor beschriebenen Möglichkeiten kann beliebig erhöht werden. Die Zuverlässigkeit wird desto grösser, desto mehr Komponenten der Vektor EMR6.1 kann durch eine Erweiterung der Speichermatrix geschehen oder durch Hinzunahme eines weiteren Netzes.

Eine Hinzunahme weiterer Netze und somit eine Vergrösserung des weiteren Vektors EMR6.1 erläutert.

Die erfindungsgemässe Vorrichtung besteht, wie bereits zuvor beschrieben, aus dem ersten neuronalen Netz N1 und aus mindestens einem weiteren neuronalen Netz N21, N22, ..., N2n.

Auf jedes weitere neuronale Netz N21, N22, ..., N2n werden die Eingangsdaten E0 gegeben. In jedem weiteren neuronalen Netz N21, N22, ..., N2n wird entsprechend ausgewertet und es werden die ausgewerteten Daten E11, E12, ..., E1n gebildet. Diese ausgewerteten Daten werden ebenfalls auf das erste neuronale Netz N1 gegeben und aus dieser Vielzahl von Daten werden die Ausgangsdaten A gebildet.

Für den Fall, dass die angegebenen neuronalen Netze als assoziative Speicher ausgebildet sind, ergibt sich, dass jedes weitere neuronale Netz N21, N22, ..., N2n entsprechend einen weiteren Vektor EMI8.1 EMR8.1 EMI8.2 EMR8.2 EMI8.3 EMR8.3 neuronale Netz steht hierbei z.B. für ein spezielles Merkmal der Eingangsdaten Eo, durch dessen Hinzunahme die Zuverlässigkeit in der Zuordnung erheblich erhöht werden kann.

Demnach wird in der Trainingsphase des neuronalen Netzes das Netz auf die Vektorpaare EMI8.4 trainiert. Ebenso werden in der Nutzphase zunächst die EMI8.5 EMR8.5 EMI8.6 EMR8.6 EMI8.7 EMR8.7 aus dem Zahlenbereich 1 bis m ist, an die neuronalen Netze N21, N22, ..., N2n bestimmt und dann über den Vektor EMR6.5 EMR8.5 EMR8.6 EMR8.7 EMR6.7 ist die Zuverlässigkeit der Assoziation in dem Mass erhöht, in dem weitere neuronale Netze N21, N22, ..., N2n hinzugefügt worden sind, weil aus jedem angelegten EMR6.5 entsprechende EMR8.5 EMR8.6 EMR8.7

Anstelle einer zufälligen Besetzung der weiteren neuronalen Netze, könnten sie anwendungsspezifisch vortrainiert sein, wobei jedes weitere neuronale Netz für ein bestimmtes Merkmal der Eingangsdaten steht.

Ein besonderes Anwendungsgebiet für die erfindungsgemässe Vorrichtung kann die Anwendung als optischer Schalter sein. Optische Schalter werden dazu verwendet, Verbindungen zwischen unterschiedlichen Knotenpunkten herzustellen. Existieren beispielsweise 64 verschiedene Knoten, zwischen denen Verbindungen hergestellt werden können, existieren 2<6><4> verschiedene Möglichkeiten. Von diesen 2<6><4> Möglichkeiten ist aber nur ein Bruchteil von Bedeutung, d.h. findet überhaupt Anwendung.

Mittels der erfingungsgemässen Vorrichtung unter Anwendung des erfindungsgemässen Verfahrens kann Eindeutigkeit der Verbindungen der Knoten hergestellt werden. Ein Übertrainieren des Netzwerkes, wie es bei üblichen Verfahren bei der grossen Anzahl an Verbindungsmöglichkeiten vorkommen würde, kann hier nicht erfolgen.

Im folgenden wird die Figur 3 erläutert. In dem vorliegenden Ausführungsbeispiel werden die von dem mindestens einen weiteren neuronalen Netz N21, N22, ..., N2n jeweils ausgewerteten Daten E11, E12, ..., E1n anstelle direkt auf das erste neuronale Netz N1, auf einen Entscheider S gegeben. Diesem Entscheider werden zusätzlich noch Steuerinformationen I zugeführt. Diese Steuerinformationen I sind abhängig von der Umgebung, in der die Vorrichtung verwendet wird, entsprechen also z.B. den Anforderungen, dass eine Eindeutigkeit in einer Zuordnung erwünscht wird.

Der Entscheider S entscheidet, welche der jeweils ausgewerteten Daten E11, E12, ..., E1n an das erste neuronale Netz N1, hier gekennzeichnet durch die weitergegebenen Daten E, weiter gegeben werden.

Das Vorhandensein der Steuerinformation I ist nicht zwingend notwendig, denn der Entscheider S ist ebenfalls in der Lage, selbsttätig festzustellen, welche der jeweils ausgewerteten Daten E11, E12, ..., E1n auf alle Fälle durchgelassen werden müssen.

Der Entscheider S kann hierzu entweder ebenfalls ein neuronales Netz sein, oder aber einem Abstraktor entsprechen, wie er bereits in der deutschen Patentanmeldung P 41 33 965.7 beschrieben wurde.

Desweiteren kann der Entscheider S aus den jeweils ausgewerteten Daten E11, E12, ..., E1n wiederum neue Daten E berechnen, die auf das erste neuronale Netz N1 gegeben werden. Hierbei kann E, wie bereits zuvor beschrieben, einem oder mehreren der jeweils ausgewerteten Daten E11, E12, ..., E1n entsprechen, oder aber sich aus diesen ausgewerteten Daten zu neuen berechneten Daten E zusammensetzen.

Im folgenden wird die Figur 4 erläutert. Die Figur 4 stellt ein Ausführungsbeispiel dar, welches sich aus der Kombination der Figuren 2 und 3 ergibt.

Die in den Figuren 2 und 3 aufgeführten Ausführungsbeispiele sind beliebig kombinierbar; so ist ebenfalls die Kombination von jeweils zwei Figuren 2 und von zwei Figuren 3 zu jeweils einer neuen Figur möglich.

Im folgenden wird anhand von Figur 5 erläutert, wie die Auswertung im speziellen mittels einer Schaltung, z.B. nach Figur 3, erfolgt. Die Figur 5 zeigt eine sogenannte Kippfigur, die sowohl das Profil einer alten Dame als auch eine Büste einer jungen Dame darstellt. Das Sehen der jeweils alten oder jungen Dame ist abhängig von einer sogenannten Aufmerksamkeitsrichtung.

Das Sehen der jungen Dame entspricht beispielsweise der in den weiteren Daten E11 enthaltenen Informationen aus Figur 3. Das Sehen der alten Dame entsprechend der in den weiteren Daten E12 enthaltenen Information, ebenfalls aus Figur 3.

Diese Daten liegen gleichzeitig an dem Entscheider S an. Dieser lässt aber entsprechend der Aufmerksamkeitsrichtung nur die eine oder die andere in den Daten enthaltene Information zu dem ersten neuronalen Netz N1 durch. Das erste neuronale Netz N1 wiederum interpretiert die erhaltene Information.

Demnach können mit den zuvor beschriebenen Schaltungen die bei kognitiven Vorgängen wichtigen Aufmerksamkeitsrichtungen simuliert und zur Interpretation weitergeleitet werden.

claims

Claims of EP0643353


1. Vorrichtung zur Datenverarbeitung, bestehend aus einer Verknüpfung eines ersten neuronalen Netzes (N1) mit mindestens einem weiteren neuronalen Netz (N21, N22, ..., N2n), bei der erste Eingangsdaten (E0) sowohl auf das erste neuronale Netz (N1) als auch auf das mindestens eine weitere neuronale Netz (N21, N22, ..., N2n) gegeben werden, bei der von dem mindestens einen weiteren neuronalen Netz (N21, N22, ..., N2n) jeweils ausgewertete Daten (E11, E12, ..., E1n) als weitere Eingangsdaten auf das erste neuronale Netz (N1) gegeben werden.

2. Vorrichtung nach Anspruch 1, bei der das erste neuronale Netz (N1) und das mindestens eine weitere neuronale Netz (N21, N22, ..., N2n) assoziative Speicher sind.

3.Vorrichtung nach Anspruch 1, bei der die jeweils ausgewerteten Daten (E11, E12, ..., E1n) auf einen Entscheider (S) gegeben werden, welcher unter Zuhilfenahme einer auf den Entscheider gegebenen Steuerinformation (I) bestimmt, welche der jeweils ausgewerteten Daten an das erste neuronale Netz (N1) gegeben werden.

4. Vorrichtung nach Anspruch 3, bei der der Entscheider (S) die auf das erste neuronale Netz (N1) zu gebenden Daten (E) aus den jeweils ausgewerteten Daten (E11, E12, ..., E1n) berechnet.

5.Verfahren zur Datenverarbeitung, bei dem erste Eingangsdaten (E0) sowohl auf ein erstes neuronales Netz (N1) als auch auf mindestens ein weiteres neuronales Netz (N21, N22, ..., N2n) gegeben werden, bei dem in dem mindestens einen weiteren neuronalen Netz (N21, N22, ..., N2n) eine erste Auswertung der ersten Eingangsdaten (E0) erfolgt, daraus ausgewertete Daten (E11, E12, ..., E1n) erzeugt werden und diese als weitere Eingangsdaten zur weiteren Auswertung auf das erste neuronale Netz (N1) gegeben werden.

6. Verfahren nach Anspruch 5, bei dem das erste neuronale Netz (N1) und das mindestens eine weitere neuronale Netz (N21, N22, ..., N2n) jeweils als assoziativer Speicher ausgebildet sind, deren Speicherplätze nach einem Zufallsprinzip besetzt werden.

7.Verfahren nach Anspruch 6, bei dem während einer Lernphase die Speicherplätze der Speichermatrix des mindestens einen weiteren neuronalen Netzes (N21, N22, ..., N2n) nach dem Zufallsprinzip besetzt werden und die Speicherplätze der Speichermatrix des ersten neuronalen Netzes (N1) nach einem festgelegten Verfahren besetzt werden.

8. Verfahren nach Anspruch 6, bei dem während einer Lernphase die Speicherplätze der Speichermatrix des mindestens einen weiteren neuronalen Netzes (N21, N22, ..., N2n) nach einem anwendungsunabhängigen Verfahren trainiert oder anwendungsspezifisch besetzt werden, und die Speicherplätze der Speichermatrix des ersten neuronalen Netzes (N1) nach einem festgelegten Verfahren besetzt werden.

9. Verfahren nach Anspruch 5, bei dem jedes mindestens eine weitere neuronale Netz (N21, N22, ..., N2n) jeweils zur Bearbeitung eines einzelnen Merkmales der Eingangsdaten herangezogen wird.

10. Verwendung der Vorrichtung nach Anspruch 2 als optischer Schalter.