Fast schon Gedankenlesen! Forscher hören Worte direkt aus dem Hirn

Wissenschaftlern ist es erstmals gelungen, Sprache aus Gehirnsignalen und Hirnströmen zu rekonstruieren und darzustellen. Dabei wurde der komplexe Entstehungsprozess sichtbar gemacht - und zwar noch ehe Laute, Phrasen und Worte ausgesprochen wurden.

• Sprache sichtbar gemacht
• Karsruher Forscher entwickeln „Brain-to-Text“-Verfahren
• Die Wissenschaftler machen beim Sprechen die Gehirnaktivität sichtbar
• Wie? Die Hirnströme von Epilepsie-Patienten wurden aufgezeichnet und analysiert

Hirnelektroden (Symbolbild)

Das Problem dabei: Man muss den Kopf öffnen und die Elektroden direkt auf die Hirnmasse auflegen.
Forscher des Karlsruher Instituts für Technologie (KIT) haben direkt aus Gehirnströmen Laute, Wörter und ganze Sätze rekonstruiert. Ausgewertet wurden die Daten der Gehirnströme von sieben Epilepsiepatienten in den USA: Ihnen lag während des Sprechens ein Elektrodennetz direkt auf der Großhirnrinde des für ihre Epilepsie-Behandlung ohnehin freigelegten Gehirns.
Mit Elektroden, die von außen auf den Kopf angelegt werden und so die elektrische Aktivität des Gehirns messen, sind solche spezifischen Aufzeichnungen noch nicht möglich. Ihr Verfahren „Brain-to-Text“ stellen Forscher des KIT und des amerikanischen Wadsworth Centers nun in einer Fachzeitschrift vor.

KIT-Forscher machen Sprache sichtbar ehe Sprache hörbar wird.
Die Hirnströme wurden im Rahmen der Behandlung von sieben Epilepsie-Patienten, die freiwillig an den Experimenten teilnahmen, in den USA aufgezeichnet. Im Zuge ihrer neurologischen Behandlung wurde ihnen ein Elektrodennetz auf die ungeschützte Großhirnrinde gelegt (Elektrokortikographie, ECoG). Während die Patienten Beispieltexte laut vorlasen, wurden die räumlich und zeitlich hoch aufgelösten ECoG-Signale aufgezeichnet. Diese wurden später in Karlsruhe analysiert und dienten als Basis für die Entwicklung von Brain-to-Text.

Zum Besser lesen Bild einfach anklicken! © CSL/KIT

Rekonstruktion von Sprache: „Brain-to-Text“-Verfahren
Brain-to-text: decoding spoken phrases from phone representations in the brain

Neben der reinen Grundlagenforschung und einem besseren Verständnis der hochkomplexen Sprachprozesse im Gehirn könnte „Brain-to-Text“ ein Baustein sein, um Locked-in-Patienten zukünftig eine sprachliche Kommunikation zu ermöglichen. „Die Ergebnisse erlauben neben der Erkennung von Sprache aus Gehirnsignalen eine detaillierte Analyse der am Sprachprozess beteiligten Gehirnregionen und ihrer Interaktionen“, sagen Christian Herff und Dominic Heger, die im Rahmen ihrer Promotion das „Brain-to-Text“-System entwickelt haben. ...


Die Gehirn-Aktivität mit Farbe sichtbar gemacht
„Zum ersten Mal können wir das Gehirn beim Sprechen beobachten“, sagte Informatik-Professorin Tanja Schultz. Die Forscher können nun praktisch zusehen, wie das Gehirn den Sprechvorgang plant und dann die Muskeln der Artikulationsorgane mittels der Neuronen in der Großhirnrinde aktiviert, bevor die eigentliche Sprache hörbar wird. Sichtbar gemacht wurden die Aktivitäten mit Hilfe von Farben: "Je höher die Aktivität, umso heißer die Farbe, erklärte Schultz.

Die Patienten waren zuvor gebeten worden, bestimmte Texte zu sprechen - etwa eine Rede des ehemaligen US-Präsidenten John F. Kennedy oder auch einfache Kinderreime. Die Forscher wussten also zunächst, welche Laute wann gesprochen wurden und legten mit Hilfe der dabei gemessenen Hirnströme Datenbanken mit Prototypen von etwa 50 verschiedenen Lauten an.

Forscher betrachten Laute im Kontext von Wörtern und Phrasen
Auf Basis von Algorithmen gelang es anschließend, allein anhand der Gehirnströme zu verstehen, was gesagt wurde. Dazu werden Laute im Kontext von Wörtern und ganzen Satzphrasen betrachtet. „Wir bekommen damit schöne Ergebnisse, die in der Qualität zwar noch weit von der akustischen Spracherkennung entfernt, aber schon deutlich besser sind, als wenn man rät“, sagte Schultz.
Knackpunkt der vierjährigen Forschung ist bislang die geringe Datenbasis von nur sieben Patienten, von denen jeweils höchstens fünf Minuten Sprache vorliegen. Die Wissenschaftler wollen ihre Analysen daher ausweiten. Neben einem besseren Verständnis der Sprachprozesse könnte der so genannte Brain-to-Text „ein Baustein sein, um Locked-in-Patienten zukünftig eine sprachliche Kommunikation zu ermöglichen“. Beim Locked-in-Syndrom sind Menschen zwar bei Bewusstsein, aber gelähmt und damit unfähig, sich der Außenwelt verständlich zu machen.
Quelle: Fachzeitschrift Frontiers in Neuroscience / Karlsruher Instituts für Technologie u.a./
Bildquellen: CSL/KIT, Karlsruher Instituts für Technologie