Chatbots erobern unsere Welt, wie bereits neulich von Angelika in ihrem Blogartikel beschrieben. Dank der technischen Weiterentwicklung von künstlicher Intelligenz und maschinellem Lernen können uns diese Bots zunehmend im Alltag unterstützen.
Grund genug für die coeno, sich genauer mit dem Thema zu beschäftigen und ein Test-Case-Projekt aufzusetzen: Die Konzeption und Umsetzung eines Chatbots, mit dem der Nutzer einen Frisörtermin vereinbaren kann. Im Interview erzählen Angelika Zerbe und Miriam Springer wie sie im Projekt vorgegangen, auf welche Hürden sie gestoßen sind und wie das Ergebnis im Nutzertest ankam.
Miri, Angelika, ihr habt euch in den letzten Wochen mit Chatbots beschäftigt. Aber was genau ist denn eigentlich ein Chatbot?
Angelika: Chatbots sind textbasierte Dialogsysteme und dienen der Kommunikation mit dem Nutzer. Sie haben daher eine Eingabemaske für Text oder reagieren auf Spracheingabe. Die Reaktion des Chatbots ist abhängig von seiner Intelligenz.
Die einfachste Art ist ein komplett vordefinierter Chatbot. Er folgt festen Regeln und gibt nur die Antworten, die auch programmiert wurden. Dann gibt es die lernenden Chatbots. Diese lernen aus vorangegangen Konversationen und verbessern so zunehmend ihre Antworten. Die intelligenteste Art nennt sich Digitaler Assistent. Bei diesem werden neuronale Netze mit sehr, sehr vielen Daten gefüttert, sodass der Assistent zu vielen Themen Antworten geben kann. Ein Beispiel hierfür ist Alexa von Amazon.
Wofür werden Chatbots üblicherweise genutzt?
Angelika: Oft helfen sie dem Nutzer besonders schnell an Informationen zu kommen. So muss der Nutzer nicht mehr selbst die Information auf einer Webseite finden, sondern der Chatbot antwortet ihm direkt auf die Frage.
Miri: Alternativ kann ein Chatbot auch den Nutzer unterstützen, schnell eine bestimmte Aufgabe zu erledigen, zum Beispiel das Vereinbaren eines Frisör- oder Arzttermins.
Genau so einen Chatbot habt ihr im Rahmen eines Test-Case-Projekts entwickelt. Könnt ihr kurz erklären, worum es da genau ging?
Miri: Chatbots fanden wir schon länger ein spannendes Thema. Wir haben einen Kunden, der eine Plattform zum Vereinbaren von Terminen anbietet. Da kam uns die Idee, genau für diesen Use Case einen Chatbot zu erstellen. Um die Sache etwas konkreter zu machen, haben wir uns entschieden einen Chatbot für einen Frisörsalon zu konzipieren.
Wie lange lief das Projekt?
Angelika: Etwa von Februar bis Mai, also gut 3 Monate. Allerdings haben wir nur tageweise daran gearbeitet, immer dann, wenn gerade Zeit dafür war. Das Projektteam bestand hauptsächlich aus Josef als Projektleiter, Miri und mir.
Habt ihr euch vorab Ziele gesetzt, die ihr erreichen wollt?
Miri: Der Fokus lag vor allem darauf, dass wir unser Know-How zu Chatbots erweitern. Wir wollten herausfinden, wie man die Konzeption am besten angehen, was bei der Umsetzung beachten muss und ob Nutzer überhaupt einen Chatbot nutzen würden, um Termine zu vereinbaren.
Das Ergebnis haben wir weitgehend offen gelassen. Es sollte zwar schon ein Prototyp rauskommen, den wir auch mit Nutzern testen können, aber genauer sind wir da erstmal nicht geworden.
Wie seid ihr im Projekt vorgegangen?
Miri: Zunächst haben wir Fragen gesammelt, das heißt alles was uns unklar war und wo wir mögliche Probleme gesehen haben. Diese haben wir danach priorisiert, welche die größten Risiken für den Erfolg des Chatbots mit sich bringen. Nach dieser Reihenfolge haben wir die ersten Recherchen und Aufgaben erledigt.
Angelika: Da gab es sehr viele verschiedene Tasks. Generell ging es aber um zwei verschiedene Kategorien: Zum einen Fragen, die die technische Umsetzung betrafen. Zum anderen Fragen, die sich auf die Ausgestaltung des Chatbots beziehen, also wie er heißt, wie er aussieht, wie er redet und so weiter.
Miri: Und dann haben wir auch schon begonnen, eine Job Map zu erstellen. Das ist eine Art Process Flow, der alle Fragen enthält, die der Bot stellt, um das Ziel zu erreichen. Dafür haben wir eine kleine Runde durchs Büro gedreht und alle befragt, wie sie mit dem Frisör einen Termin vereinbaren.
Wie ging es danach weiter?
Miri: Angelika hat angefangen erste Dinge zu programmieren um zu testen, was technisch überhaupt möglich ist.
Angelika: Genau, wir hatten uns für das Tool „Dialogflow“ von Google entschieden. Dieses unterstützt sowohl Text- als auch Spracheingabe. Nach ein paar Tests haben wir allerdings entschieden, dass wir auf die Spracheingabe in unserem Prototypen verzichten. Diese ist relativ aufwendig zu pflegen, da der Bot nicht automatisch jedes Wort richtig aussprechen kann. Unser Bot hat am Anfang ganz komisch gesprochen, bevor wir erkannt haben, dass die Sprache noch auf „Englisch“ eingestellt war. Als wir ihn auf „Deutsch“ umgestellt haben, hat die Aussprache weitgehend gepasst, aber einzelne englische Wörter hat er jetzt deutsch ausgesprochen. Das kann man manuell mit Lautschrift anpassen, aber das war uns für den Prototyp zu aufwändig.
Wie funktioniert das Bauen eines Chatbots mit Dialogflow? Braucht man dafür Programmierkenntnisse?
Angelika: Zunächst bietet Dialogflow schon eine Klickumgebung, die relativ intuitiv zu bedienen ist. Dort legt man verschiedene “Intents“ an. Das sind sozusagen Anlässe, auf die der Bot reagiert. Diesen Intents weißt man Trainingssätze zu, zum Beispiel zur Begrüßung „Guten Morgen“.
Aber wenn der Nutzer später stattdessen „Moin“ schreibt weiß der Bot damit erst einmal nichts anzufangen. Ich kann diese Eingaben aber sehen und sie dem Intent „Begrüßungen“ hinzufügen. So lernt der Bot nach und nach dazu. Pro Intent legt man dann eine oder mehrere Antworten für den Bot fest.
Zusätzlich braucht man aber schon auch Programmierkenntnisse. Spätestens wenn der Chatbot sich etwas merken soll oder Daten irgendwie verarbeiten, muss man das im Code programmieren. Ich habe dafür Java Script verwendet.
Miri, du hast parallel dazu das Konzept weiter ausgearbeitet, richtig?
Miri: Ja, genau, ich habe die Job Map erweitert und wir haben damit einen sogenannten Wizard of Oz-Test durchgeführt. Das heißt, wir haben eine Chatbot simuliert, um erstes Nutzerfeedback zu erhalten. Die Testpersonen saßen in einem Raum vor ihrem Rechner und bekamen die Aufgabe, über Skype einen Frisörtermin zu vereinbaren. In einem anderen Raum saß ich und habe im Namen des Chatbots geantwortet. Ich habe mich möglichst strikt an die Job Map gehalten und nur so geantwortet, wie es auch der Chatbot gekonnt hätte. Wenn der Nutzer etwas geschrieben hat, was in der Job Map nicht vorkam, habe ich auch eine Fehlermeldung zurückgegeben.
Welche Learnings konntet ihr aus dem Test ziehen?
Miri: Es hat erstaunlich gut funktioniert. Alle fünf Nutzer haben es geschafft einen Termin auszumachen. Der Dialog hat aber zwischenzeitlich schon mal gestockt und war für manche Nutzer etwas mühsam. Ich muss auch sagen, dass es mir sehr schwer gefallen ist, wirklich nur auf die vorab definierten Worte zu reagieren. Da hab ich manchmal vielleicht etwas intelligenter als der echte Chatbot gehandelt :-). So haben wir aber auch gelernt, was wir noch hinzufügen müssen, damit der Bot besser reagiert. Auch haben wir die Fallback-Antworten konkretisiert, falls der Bot etwas nicht versteht. So können wir den Nutzer schneller wieder zu einem zielführenden Dialog bringen.
Angelika: Interessant war auch, wie unterschiedlich die Nutzer kommunizieren. Die einen sind eher Schritt für Schritt vorgegangen, andere haben schon im ersten Satz geschrieben, wer sie sind, was sie möchten und wann sie Zeit hätten. Der Chatbot sollte im Idealfall natürlich mit jedem Fall umgehen können. Das zu programmieren ist aber nicht ganz einfach.
Zusätzlich haben wir die Nutzer um Feedback zur Art der Sprache gebeten. Das war aber durchwegs positiv. Die lockere Sprache und das „Du“, die wir verwendet haben, sind gut angekommen.
Wie ging es nach dem Test weiter?
Angelika: Miri hat die Job Map nochmal überarbeitet und ich die Programmierung erweitert. Trotzdem waren wir etwas enttäuscht von dem Ergebnis. So richtig intelligent war der Bot nicht. Natürlich wäre da noch viel mehr möglich gewesen, dafür hätten wir aber deutlich mehr Zeit und und tiefergehende Programmierkenntnisse gebraucht.
Daher haben wir beschlossen, uns eher auf die Konzeption zu konzentrieren und noch einen Test durchzuführen, in dem wir den Chatbot mit Freitexteingabe, einen Chatbot mit Auswahlmöglichkeiten und ein Formular auf einer Webseite gegeneinander testen.
Was genau ist ein Chatbot mit Auswahlmöglichkeiten?
Angelika: Das bedeutet, dass der Bot nicht nur eine Frage stellt, sondern direkt auch Antwortmöglichkeiten zum Anklicken anbietet. Zum Beispiel: „Auf welche Länge wollen Sie Ihre Haare schneiden lassen?“ Die Optionen wären: „Kurzhaarschnitt“, „Mittellang“ und „Langhaarschnitt“. Das haben wir sogar mit Bildern veranschaulicht.
Damit hat der Nutzer zwar weniger das Gefühl, ein echtes Gespräch zu führen, dafür sinkt auch die Wahrscheinlichkeit, dass er Dinge eingibt, mit denen der Bot nicht umgehen kann.
Wie lief dieser Test genau ab und was waren die Ergebnisse?
Miri: Wir haben den Nutzern alle 3 Varianten nacheinander vorgelegt, wieder mit der Aufgabe, einen Frisörtermin zu vereinbaren. Der Unterschied war, dass wir diesmal richtig programmierte Lösungen verwendet haben und diese auf dem Smartphone präsentiert wurden. Das hat insofern einen deutlichen Unterschied gemacht, da die Nutzer auf einem mobilen Gerät ganz anders Texte schreiben als auf dem Rechner. Die verfassten Texte waren auf dem Phone deutlich kürzer.
Bei den Nutzern am besten angekommen ist der Chatbot mit Auswahlmöglichkeiten. Das lag wohl auch daran, dass ein paar Nutzer mit dem Bot mit freier Texteingabe nicht zu ihrem Ziel kamen oder sich die Kommunikation als sehr umständlich erwies. Zusätzlich erwähnten die Testpersonen als positiv, dass sie bei dem Bot mit Auswahlmöglichkeiten nicht überlegen mussten, was er von ihnen erwartet und sie sich das mühsamere Eintippen am Handy sparen konnten.
Glaubt ihr denn nach diesen Erfahrungen, dass es für uns möglich wäre, einen Chatbot für einen Kunden zu konzipieren, ohne ihn zu programmieren?
Angelika: Ja, ich denke schon. Wir müssten dafür eine sehr ausführliche Job Map erstellen. Eine Herausforderung wäre noch, ein Format dafür zu finden, sodass sie trotz des großen Umfangs verständlich und übersichtlich bleibt.
Miri: Wizard of Oz-Tests könnten uns während der Konzeption Anhaltspunkte geben und wir bräuchten möglichst viele Nutzer-Tests während der Programmierung um die Job Map sukzessive zu optimieren.
Angelika: Zusätzlich wäre es noch wichtig, den Bot möglichst oft zu nutzen, damit er Trainingsdaten sammeln kann und intelligenter wird.
Was waren die wichtigsten Learnings, die ihr aus dem Projekt zum Thema Chatbots gezogen habt?
Angelika: Interessant fand ich, dass die Programmierung mit dem maschinellen Lernen in eine ganz neue Richtung geht. Da geht es weg vom Mathematisch-Logischen und hin zum Trainieren und Füttern mit Datensätzen, um die Maschine nach und nach schlauer werden zu lassen. Ich bin sehr gespannt, wie sich das weiterentwickelt.
Außerdem habe ich festgestellt, wie sehr sich eine Job Map von einem Process Flow für ein UI unterscheidet. Ein UI bietet nun mal nur eine begrenzte Anzahl an Interaktionsmöglichkeiten, aber bei einem Bot kann der Nutzer eingeben, was er möchte. Der Bot muss auf möglichst viel möglichst sinnvoll reagieren können.
Miri: Stimmt, gerade bei einem freien Chatbot ist es enorm aufwändig und schwierig, alle Funktionen abzudecken. Wir haben versucht, uns auf bestimmte Dinge zu beschränken, aber das ist nur sehr schwer möglich. Ich finde, ein MVP macht bei einem freien Chatbot eigentlich keinen Sinn, da der Nutzer spätestens nach der dritten Fehlermeldungen alla „Ich habe dich nicht verstanden“ aufgibt.
Angelika: Ja, da müsste man zumindest sehr viel Zeit in die Konzeption der Fallback-Antworten stecken, um den Nutzer wieder abzuholen und der Lösung näher zu bringen. Hier braucht es ein extra Fehlermeldungs-Konzept.
Miri: Aber jede Fehlermeldung bedeutet immer noch einen Umweg für den Nutzer und somit kein gutes Nutzungserlebnis.
Angelika: Eine weitere Erkenntnis war wieder einmal, wie wichtig die Nutzertests sind. Wir versuchen ja all unsere UIs mit echten Nutzern zu testen, aber bei einem Chatbot ist das sogar noch wichtiger, da Sprache maximal individuell ist. Es ist unmöglich sich als Konzepter vorab zu überlegen, was wohl 80% aller Nutzer eingeben werden.
Miri: Das Gute ist aber, dass man einen Chatbot schon sehr früh mit Hilfe des Wizard of Oz-Test testen kann. Man muss also noch gar nichts designt oder programmiert haben und kann schon viel herausfinden. Ich finde das hat in unserem Projekt sehr gut geklappt.
Chatbots werden derzeit ja sehr gehypte, aber glaubt ihr, dass sie eine echte Zukunft in unserem Alltag haben?
Miri: Prinzipiell ja, die Frage ist nur in welchem Ausmaß und für welche Anlässe wir die Chatbots nutzen werden. Beim Termin Vereinbaren fände ich es sehr praktisch, z.B. über Whatsapp oder Facebook meinen Frisör oder Arzt als Chatbot-Kontakt zu habe und darüber Termine auszumachen.
Das ist aber auch nicht so viel anders, als wenn ich den Termin über deren Webseite vereinbare, oder?
Angelika: Ja, das stimmt. Aber wir könnten uns überlegen, inwiefern der Chatbot noch schlauer sein kann und den Nutzer z.B. proaktiv kontaktiert. So könnte der Zahnarzt-Chatbot an die Vorsorge erinnern und gleich ein paar Termine vorschlagen.
Miri: Aber es stimmt natürlich schon, wie nützlich Chatbots wirklich sind und sein werden, wird sich erst noch herausstellen. Momentan ist die Nutzung einfach cool, weil wir alle fasziniert sind, dass wir mit einer Maschine mittels normaler Sprache kommunizieren können. Wenn diese Faszination wegfällt, muss sich zeigen, ob das Gespräch mit einem Bot immer noch der schnellste und usabilste Weg zum Ziel ist.
Angelika: Das wird vor allem davon abhängen, welche Fortschritte es in der Entwicklung von KIs und maschinellem Lernen gibt. Solange die Bots immer schlauer werden, kann ich mir gut vorstellen, dass sie uns auch mehr und mehr im Alltag unterstützen werden.
Vielen lieben Dank euch beiden!
.png)
.jpeg)
