AfriBERTa-Sprachmodell

An der Cheriton School of Computer Science an der Universität Waterloo entwickelte Kelechi Ogueji mit Kolleginnen und Kollegen 2021 für die Methode des „Pretraining“ ein neuronales Sprachmodell zur Analyse von elf afrikanischen Sprachen, darunter Amharisch, Hausa und Swahili. Sie tauften das System AfriBERTa – da es auf dem 2018 von Google vorgestellten Machine-Learning-Modell BERT basiert. Bemerkenswert ist dabei, dass AfriBERTa eine Ausgabequalität erreicht, die mit den besten bestehenden Modellen vergleichbar ist. Und das, obwohl es von nur einem Gigabyte Text lernt. Andere Modelle benötigen das Tausendfache an Daten.

Die Methode des Pretraining ermöglichte es, mit kleineren Datenmengen dem System eine Sprache „anzutrainieren“. Die Forschenden legen dem Modell Texte vor, in denen Wörter verdeckt oder „maskiert“ sind. Aufgabe des Computers ist es nun, die verdeckten Wörter zu erraten. Durch milliardenfache Wiederholung in Rechenzentren schafft es das Modell dann, menschliches Sprachverständnis nachzuahmen.

Jimmy Lin, Professor für Informatik an der Waterloo-Universität in Ontario, Kanada, sagt dazu: „Die Möglichkeit, Modelle vorzutrainieren, die für bestimmte nachgelagerte Aufgaben genauso treffsicher sind, aber mit wesentlich geringeren Datenmengen auskommen, hat viele Vorteile.“

Weniger Daten benötigen auch weniger Rechenleistung, das geht einher mit einem kleineren ökologischen Fußabdruck. Von den Kosten ganz zu schweigen. Ein starker Kontrast im Gegensatz zu riesigen Datenzentren, wie sie von den Tech-Giganten im Silicon Valley betrieben werden. „Diese Arbeit ist ein kleiner, aber wichtiger Schritt, um mehr als 1,3 Milliarden Menschen auf dem afrikanischen Kontinent die Verarbeitung natürlicher Sprache zugänglich zu machen“, sagt Lin abschließend.

Knapp zwei Jahre später übersetzt die Sprachtechnologie zwar mittlerweile den Text einiger afrikanischer Sprachen, aber sie „spricht“ verbal noch keine der 2.000 auf dem Kontinent gesprochenen Sprachen und Dialekte. Für Analphabeten ist das ein besonders großes Problem. Da Analphabetismus in der Regel mit mangelnder Schulbildung und damit dem Unvermögen, eine gängige Weltsprache zu sprechen, einhergeht, steht die Sprachtechnologie denjenigen nicht zur Verfügung, die sie am dringendsten benötigen. Für sie könnte die Spracherkennungstechnologie dazu beitragen, die Kluft zwischen Analphabetismus und dem Zugang zu wertvollen Informationen und Dienstleistungen zu überbrücken. Doch warum gibt es keine Sprachtechnologieprodukte in afrikanischen und anderen lokalen Sprachen?

„Die Kolonialgeschichte hat Einfluss auf die afrikanischen Sprachen und führte zu einer Verzögerung bei der Entwicklung von Tools für lokale Sprachen“, erklärt Vukosi Marivate von der Universität von Pretoria in Südafrika im „African Business“. In den Forschungslabors, Unternehmen und Universitäten, die Technologien zur Spracherkennung entwickelt haben, sind Menschen aus afrikanischen Ländern stark unterrepräsentiert. Sprachen, die von kleineren Bevölkerungsgruppen gesprochen werden, fallen außerdem oft der kommerziellen Prioritätensetzung zum Opfer.

Quelle: Der Standard