Ein junger Mann vor einem Bildschirm auf dem zwei Münder zu sehen sind. © Yannick Pochner

Lippenlesen mit Künstlicher Intelligenz

Schüler aus Dessau-Roßlau gewinnt Jugend-forscht-Sonderpreis der Christoffel-Blindenmission

Bensheim/Dessau-Roßlau, 31. Augus 2021. Lippenlesen ist extrem schwierig. Schwerhörige oder gehörlose Menschen sind aber alltäglich darauf angewiesen, die Lippenbewegungen ihrer Mitmenschen zu interpretieren, die keine Gebärdensprache beherrschen. Nam Pham Dinh (20) hat für das Problem einen Lösungsansatz gefunden - mithilfe Künstlicher Intelligenz (KI). Für seine Arbeit erhält der Schüler des Gymnasiums Philanthropinum in Dessau-Roßlau den Sonderpreis der Christoffel-Blindenmission (CBM) "Innovationen für Menschen mit Behinderungen". Der Preis wird im Rahmen des Landeswettbewerbs Sachsen-Anhalt der Stiftung "Jugend forscht" verliehen.

Das "Mundbild" von Sprechenden zu deuten, ist deshalb kompliziert, weil ganz verschiedene Lautkombinationen ein fast identisches Bild abgeben. So unterschiedlich etwa die Lautbilder von "Mutter", "Bruder" und "Montag" sind, so wenig unterscheidet sich ihr Mundbild. Professionelle Lippenleser erfassen tatsächlich nur einen Bruchteil der Worte. Die KI von Google, genannt DeepMind, kann rund die Hälfte der Vokabeln erfassen, bisher allerdings nur auf Englisch. Wer der richtigen Bedeutung auf die Spur kommen will, muss sie deshalb aus dem Zusammenhang erschließen. Das gilt auch für die KI.

Anspruchsvoll, aber kostengünstig

Nam Pham Dinh hat sein System der KI mit Mundausschnitten Deutsch Sprechender aus Hunderten von Youtube-Videos trainiert. Die Lernfähigkeit der Maschine ermöglicht, von bekanntem, antrainiertem Wissen auf unbekanntes Wissen zu schließen. Die Codes, mit denen der Schüler diese Prozesse steuert, entstammen frei zugänglichen Programmbibliotheken. Modelle Künstlicher Intelligenz zu gestalten und zu erstellen, ist anspruchsvoll und aufwendig. Doch außer Energie und Grips sind kaum weitere Ressourcen nötig. Um große Fortschritte zu erzielen, braucht es also kein Millionenbudget.

CBM-Vorstand Dr. Rainer Brockhaus: "Mit seiner Forschungsarbeit schafft Nam Pham Dinh eine Grundlage, die Kommunikation vieler Menschen mit Hörbehinderung im deutschsprachigen Raum zu erleichtern. Das ist eine großartige Leistung", lobt der Geschäftsführer. "Um den Kreislauf aus Behinderung und Armut zu durchbrechen, setzen wir in unseren Projekten in den ärmsten Regionen der Welt auch auf Ausbildung. Dafür müssen sich Menschen verständigen können. Jeder Beitrag zählt, der hörgeschädigten Menschen hilft, ihr Gegenüber zu verstehen. Erst recht, wenn die Nutzung leicht verfügbar und kostengünstig ist." Zurzeit steckt Dinhs System in den digitalen Kinderschuhen. Damit das KI-Modell im Alltag nutzbar wird, braucht es noch eine Benutzeroberfläche, zum Beispiel in Form einer Handy-Anwendung.

Landessieger haben Chance auf CBM-Bundespreis

Der CBM-Sonderpreis zeichnet jedes Jahr kreative Studien und Erfindungen aus, die bei Jugend forscht eingereicht werden. Als Organisation für Menschen mit Behinderungen in Entwicklungsländern legt die CBM Wert darauf, dass die Arbeiten gerade ihnen den Alltag erleichtern können. Denn von den eine Milliarde Menschen mit Behinderungen leben 80 Prozent in den ärmsten Regionen der Welt. Prämiert werden außerdem Arbeiten, die sich mit dem Zusammenhang von Krankheit und Behinderung befassen oder einen Beitrag zu mehr Chancengleichheit leisten. Alle ausgezeichneten Landessieger haben die Chance, den von der CBM ausgeschriebenen Bundessonderpreis zu erhalten. Dieser wird pandemiebedingt online vergeben und ist mit 300 Euro dotiert.

Über die CBM

Die Christoffel-Blindenmission (CBM) zählt zu den international führenden Organisationen für inklusive Entwicklungszusammenarbeit. Sie unterstützt Menschen mit Behinderungen in den ärmsten Ländern der Welt – und das seit mehr als 110 Jahren. Gemeinsam mit ihren lokalen Partnern sorgt sie dafür, dass sich das Leben von Menschen mit Behinderungen grundlegend und dauerhaft verbessert. Sie leistet medizinische Hilfe und setzt sich für gleichberechtigte gesellschaftliche Teilhabe ein. Ziel ist eine inklusive Welt, in der Menschen mit und ohne Behinderungen ihre Fähigkeiten einbringen können und niemand zurückgelassen wird. Im vergangenen Jahr förderte die CBM 460 Projekte in 48 Ländern.