Eli Collins
VP, Produktmanagement

Zoubin Ghahramani
Senior Forschungsleiter

Veröffentlicht 18. Mai 2021

Google hatte schon immer ein Faible für Sprache. Schon früh hat sich Google daran gemacht, das Web zu übersetzen. In jüngerer Zeit hat Google maschinelle Lernverfahren entwickelt, die helfen, die Intention von Suchanfragen besser zu verstehen. Im Laufe der Zeit hat dann der Fortschritte in diesen und anderen Bereichen dazu geführt, dass es immer einfacher wurde, die Unmengen an Informationen, die das geschriebene und gesprochene Wort vermittelt, zu organisieren und darauf zuzugreifen.

Aber man kann alles immer noch weiter verbessern. Sprache ist bemerkenswert nuanciert und anpassungsfähig. Sie kann wörtlich oder bildlich, blumig oder schlicht, erfinderisch oder informativ sein. Diese Vielseitigkeit macht Sprache zu einem der größten Werkzeuge der Menschheit – und zu einem der schwierigsten Rätsel der Informatik.

LaMDA, Googles neuester Durchbruch in der Forschung, fügt nun dem Puzzle Teile in einem der spannendsten Bereiche des Puzzles hinzu: Unterhaltungen, Konversationen, den normalen Alltagsgesprächen.

Während sich Gespräche in der Regel um bestimmte Themen drehen, bedeutet ihre offene Natur, dass sie mit einem bestimmten Thema beginnen und mit einem ganz anderen enden können. Ein Gespräch mit einem Freund über eine Fernsehsendung könnte sich zu einer Diskussion über das Land entwickeln, in dem die Sendung gedreht wurde, bevor es in eine Debatte über die beste regionale Küche dieses Landes mündet.

Diese mäandernde Qualität kann moderne „Konversationsagenten“ (gemeinhin als Chatbots bekannt) schnell zum Erliegen bringen, da diese dazu neigen, engen, vordefinierten Pfaden zu folgen. LaMDA – die Abkürzung steht für „Language Model for Dialogue Applications“ – kann sich jedoch in einer frei fließenden Art und Weise über eine scheinbar unendliche Anzahl von Themen unterhalten, eine Fähigkeit, von der Google glaubt, dass sie natürlichere Wege der Interaktion mit Technologie und völlig neue Kategorien nützlicher Anwendungen eröffnen könnte.

Der lange Weg zur LaMDA

Die Konversationsfähigkeiten von LaMDA haben Jahre der Entwicklung hinter sich. Wie viele aktuelle Sprachmodelle, darunter BERT und GPT-3, basiert es auf Transformer, einer neuronalen Netzwerkarchitektur, die von Google Research entwickelt und 2017 veröffentlicht wurde. Diese Architektur erzeugt ein Modell, das darauf trainiert werden kann, viele Wörter (z. B. einen Satz oder Absatz) zu lesen, darauf zu achten, wie diese Wörter miteinander in Beziehung stehen, und dann vorherzusagen, welche Wörter seiner Meinung nach als nächstes kommen werden.

Aber im Gegensatz zu den meisten anderen Sprachmodellen wurde LaMDA auf Dialoge trainiert. Während des Trainings lernte es mehrere Nuancen kennen, die eine offene Konversation von anderen Formen der Sprache unterscheiden. Eine dieser Nuancen ist die Empfindsamkeit. Im Grunde genommen geht es um Dinge wie: Macht die Antwort in einem bestimmten Gesprächskontext Sinn?

Wenn zum Beispiel jemand sagt

„Ich habe gerade angefangen, Gitarrenunterricht zu nehmen.“

Wäre vielleicht zu erwarten, dass eine andere Person in etwa so antwortet:

„Wie aufregend! Meine Mutter hat eine alte Martin, auf der sie gerne spielt.“

Diese Antwort macht Sinn, wenn man die ursprüngliche Aussage bedenkt. Aber Sinnhaftigkeit ist nicht das einzige, was eine gute Antwort ausmacht. Schließlich ist der Satz „Das ist nett“ eine sinnvolle Antwort auf fast jede Aussage, ähnlich wie „Ich weiß nicht“ eine sinnvolle Antwort auf die meisten Fragen ist. Zufriedenstellende Antworten neigen jedoch dazu, spezifisch zu sein, indem sie sich klar auf den Kontext des Gesprächs beziehen. Im obigen Beispiel ist die Antwort sinnvoll und spezifisch.

LaMDA baut auf früheren Google-Forschungsergebnissen aus dem Jahr 2020 auf, die zeigen, dass Transformer-basierte Sprachmodelle, die auf Dialoge trainiert wurden, lernen können, über praktisch alles zu sprechen. Google hat ebenfalls festgestellt, dass LaMDA, sobald es trainiert wurde, fein abgestimmt werden kann, um die Empfindlichkeit und Spezifität seiner Antworten deutlich zu verbessern.

Verantwortung zuerst

Die ersten Ergebnisse sind ermutigend, und Google wird bald mehr darüber berichten, aber Sensibilität und Spezifität sind nicht die einzigen Qualitäten, nach denen Google in Modellen wie LaMDA suchen. Google erforscht auch Dimensionen wie „Interessantheit“, indem sie bewerten, ob Antworten aufschlussreich, unerwartet oder witzig sind. Da es sich bei Google um ein Unternehmen handelt, ist auch die Faktizität sehr wichtig (d. h., ob LaMDA sich an Fakten hält, etwas, womit Sprachmodelle oft Probleme haben), und Google untersucht Möglichkeiten, um sicherzustellen, dass LaMDAs Antworten nicht nur überzeugend, sondern auch korrekt sind.

Besonders wichtig ist es Google aber, ob die verwendeten Technologien Googles KI-Prinzipien einhalten. Sprache mag eines der größten Werkzeuge der Menschheit sein, aber wie alle Werkzeuge kann sie missbraucht werden. Modelle, die auf Sprache trainiert wurden, können diesen Missbrauch verbreiten – zum Beispiel, indem sie Vorurteile verinnerlichen, hasserfüllte Sprache widerspiegeln oder irreführende Informationen wiedergeben. Und selbst wenn die Sprache, auf die es trainiert wurde, sorgfältig überprüft wurde, kann das Modell selbst immer noch für schlechte Zwecke eingesetzt werden.

Googles höchste Priorität bei der Entwicklung von Technologien wie LaMDA ist es, sicherzustellen, dass solche Risiken minimiert werden. Google ist sich der Probleme, die mit maschinellen Lernmodellen verbunden sind, wie z. B. unfairen Verzerrungen, sehr bewusst, da Google diese Technologien seit vielen Jahren erforscht und entwickelt. Aus diesem Grund stellt Google Ressourcen als open-source zur Verfügung, die Forscher dann nutzen können, um die Modelle und verwendeten Trainingsdaten zu analysieren. Google hat LaMDA bei jedem Schritt der Entwicklung genau beobachtet und analysiert und wird dies auch weiterhin tun. Gleichzeitig wird daran gearbeitet, Konversationsfähigkeiten in weitere Produkte von Google zu integrieren.

Links:

Quelle: LaMDA: our breakthrough conversation technology (blog.google)