Microsoft und Project Gutenberg KI-Technologien ermöglicht mehr als 5.000 frei zugängliche Hörbücher mit hochwertigen synthetischen Stimmen

Microsoft und Project Gutenberg haben mithilfe von KI-Technologien mehr als 5.000 frei zugängliche Hörbücher mit hochwertigen synthetischen Stimmen erstellt.

Für das Projekt kombinierten die Forscherinnen und Forscher Fortschritte in den Bereichen maschinelles Lernen, automatische Textauswahl (welche Texte werden vorgelesen, welche nicht) und natürlich klingende Sprachsynthesesysteme.

Zunächst entwickelten sie einen Algorithmus, der die Struktur eines HTML-basierten E-Books versteht und zwischen dem Haupttext und unwichtigen Elementen wie Fußnoten, Seitenzahlen oder Tabellen unterscheidet.

Nach diesem so genannten Parsing folgt die eigentliche Umwandlung von Text in Sprache (Text-to-Speech, TTS). In diesem Projekt wurden insbesondere WaveNet, Tacotron und FastSpeech eingesetzt, die in der Lage sind, eine natürliche und menschenähnliche Sprachausgabe zu erzeugen.

Zusätzlich entwickelte das Team ein System, das in der Lage ist, zwischen Erzähler und Dialog und hier sogar zwischen einzelnen Charakteren und deren Emotionen zu unterscheiden und die generierte Stimme entsprechend anzupassen.

Die gesamte Prozesskette läuft auf dem Machine-Learning-Framework SynapseML, das darauf ausgelegt ist, die verschiedenen Aufgaben zu zerlegen und parallel abzuarbeiten.

Hörbuch mit eigener Stimme

Für die Präsentation auf einer Fachkonferenz entwickelte das Team zudem einen Zero-Shot Text-to-Speech-Ansatz, mit dem der Charakter der eigenen Stimme anhand weniger aufgenommener Sätze erfasst und auf die Hörbuchstimme übertragen werden kann.

So kann man ein Buch aus der digitalen Bibliothek auswählen und es sich mit der eigenen Stimme vorlesen lassen – oder mit der Stimme seiner Wahl, wenn man über Audiodaten verfügt.

Quelle: the-decoder.de