Kollege Chatbot, übernehmen Sie

Conversational AI verschiebt die Grenzen der Mensch-Maschine-Verständigung hin zu sprachlich und inhaltlich komplexen Szenarien. Chatbots werden durch Deep Learning und verbesserte Sprachmodelle für Natural Language Processing und Understanding (NLP/NLU) zum wichtigen digitalen Wirtschaftsfaktor. Sie übernehmen bei verkürzter Anlaufzeit Kommunikations-Aufgaben von wachsender Komplexität.

Es hat auch 2019 wieder nur zu Bronze gereicht: Der Loebner-Preis für einen Chatbot, der im Frage-Antwort-Spiel möglichst schwer zu entlarven ist, wurde an Chatbot Mitsuku verliehen. Mitsuku ist hat es freilich nicht geschafft, die menschlichen Tester zu täuschen. Erst dann würde der Löbner-Preis in Silber verliehen.

Auch wenn die Hürde der vollkommenen Täuschung noch für längere Zeit bestehen bleibt, muss die Illusion des menschlichen Gegenübers nicht perfekt sein, damit ein Chatbot sinnvoll und nützlich agieren kann.

Von Regeln zu Wahrscheinlichkeiten

Schon frühe Chatbots vermochten ja durch Keywords und Wenn-Dann-Regeln einfache Informationsaufgaben im vordefiniertem Kontext zu bewältigen. Vielfalt, Komplexität und Unschärfe sind die natürlichen Feinde solcher Systeme UND sie sind charakteristisch für menschliche Sprache: Chatbots, die auf starren Regeln beruhen, stoßen schnell an Grenzen.

Neuronale Netze und Machine Learning machen es möglich: Mit der statistischen Analyse großer Textmengen und der daraus abgeleiteten vektorisierten Darstellung von Begriffen entstand ab 2013 ein neues Paradigma. Natural Language Processing (NLP) hatte einen wichtigen evolutorischen Schritt gemacht: Die Modelle entwickelten ein maschinelles Grund-Sprachverständnis.

Trainerentlassungen und ein Auge für die Mitspieler

Die Modelle mussten zunächst aktiv und gezielt mit besonders aufbereiteten Inhalten gefüttert werden. Inzwischen können NLU/NLP-Modelle sich anhand frei erhältlicher großer Contentmengen selbst trainieren, bis Sie als Generalist eine breit angelegte Konversationsfähigkeit erreicht haben. Nun kann das spezifische Business-Regelwerk des konkreten Einsatzzwecks hiermit verbunden werden.

Es gibt nun immer wieder verfeinerte oder erweiterte Ansätze, wie NLP-Modelle Begriffe durch ihren Kontext verorten. Es werden Wortpaare Tripel oder zum Teil auch noch größere Gebilde analysiert. Es wird nicht nur der nachfolgende, sondern auch der vorhergehende Begriff berücksichtigt (bidirektionaler Ansatz bei BERT s.u.).

Um die Sprachmodelle effektiver zu machen, wurden Konstruktionen wie die sogenannte Attention (Aufmerksamkeit) entwickelt. Große Informationsmengen können dadurch schnell verarbeitet werden. Die maschinelle Strategie nutzt Analogien zu kognitiven Techniken, die dem menschlichen Verstand dabei helfen, obenauf zu bleiben. In den vergangenen zwei Jahren sind zahlreiche neue Ansätze für Sprachmodelle zur Nutzung verfügbar geworden. Drei dieser Ansätze, die sich als wegweisend erweisen könnten, wollen wir uns noch näher ansehen:

Open AI GPT-2 – das Ende aller Schreibblockaden

Open AI, zu dessen Gründern in 2015 Elon Musk und Peter Thiel gehörten, leistet Grundlagenforschung bei der Erforschung künstlicher Intelligenz und veröffentlicht entwickelten Code als Open Source.

Mit GPT-2 hat OpenAI ein Modell zur autonomen Texterstellung vorgelegt, aber den Code bisher – anders als beim Vorgänger GPT - nicht komplett offengelegt. Es gab Befürchtungen, dass in Zeiten von Fake News massenhaft Texte mit GPT-2 erstellt werden könnten. Das Modell wurde an Millionen von Webesites trainiert und schreibt auch längere in sich sinnhafte Texte, die kaum von denen menschlicher Autoren unterschieden werden können.

GPT und GPT-2 gehören zu den Large Scale Unsupervised Language Models. Sie zeigen eindrucksvoll, wie ein autonom an einer großen Datenmenge lernendes System zu erstaunlich hoher Plausibilität bei der Texterzeugung kommt.

AllenNLP ELMo – gib mal Kontext

Die große Qualität von ELMo besteht darin, dass Wörter in Abhängigkeit vom Kontext abgebildet werden. Damit können auch Begriffe mit unterschiedlichen Bedeutungen (Polysemie) innerhalb des Modells abgebildet werden. Da ELMo Begriffe anhand ihrer einzelnen Buchstaben definiert, können durch Ähnlichkeitsanalysen auch gute Hypothesen zu bisher unbekannten Wörtern gebildet werden.

Auch ELMo trainiert zunächst anhand großer Textmengen. Die resultierenden Wortvektoren können in andere NLP-Modelle integriert werden, um deren Fähigkeiten zu verbessern. Im Versuch zeigt sich eine Verbesserung der Ergebnisse bei allen NLP-Teildisziplinen, wenn die Begriffsvektoren von ELMo verwendet werden.

 

Google BERT – selbst ist der Bot

Seit 2018 tritt BERT (Bidirectional Encoder Representations from Transformers) an, um die Bedeutungen und die Beziehungen von Wörtern besser zu interpretieren. BERT wurde als Open Source veröffentlicht. Google hat gerade angekündigt, dass BERT für bestimmte Suchanfragen auch innerhalb der Suchmaschine zum Einsatz kommt.

Zunächst kann BERT sich für das Pre-Training beliebige online verfügbare Textquellen einverleiben. Eine vorherige Bearbeitung oder Prozessbegleitung ist nicht nötig: BERT agiert beim Deep Learning komplett unsupervised. Zur Spezifizierung der Begriffe bedient sich der Algorithmus bei anderen kontextuellen Modellen, unter anderem beim oben beschriebenen ELMo. Texte werden in beide Richtungen analysiert (bidirectional).

Ganz konkret konnte BERT seine Fähigkeiten auch schon am Stanford Question Answering Dataset erproben. Die Fähigkeit, Fragen zu beantworten, erfordert die ganze Palette der NLP-Disziplinen. Sie verweist im unternehmerischen Kontext direkt auf den Einsatz im Kundenservice.

Es stehen also Sprachmodelle bereit, die es ermöglichen, NLP auf annähernd menschliches Niveau zu heben. Diese Modelle können gepaart mit Business-Regeln, die aus dem konkreten Einsatzfeld abgeleitet sind, zu mächtigen Werkzeugen werden, Kunden inhaltlich und zunehmend sogar emotional zu verstehen, geeignete Informationen zu identifizieren und sie dem Kunden zurückzuspielen.

Die digitalen Kollegen sind soweit und können an die Arbeit gehen. Wir, die KRALLMANN AG, helfen Ihnen beim Onboarding der neuen Kollegen. Kontaktieren Sie uns oder erfahren Sie mehr zu unseren Chatbotund Conversational AI Lösungen!