Halluzination

Sprachmodelle berechnen, welche Wortfolge wahrscheinlich passt. Sie prüfen nicht von selbst, ob eine Aussage stimmt. Fehlt eine Information, füllt das Modell die Lücke manchmal mit etwas Plausiblem: einer Öffnungszeit, einem Preis, einer Zusage. Am Telefon ist das heikel, weil Anrufer die Auskunft als verbindlich verstehen.

Verringern lässt sich das Risiko mit mehreren Maßnahmen: Antworten nur aus hinterlegtem Wissen zulassen, dem Assistenten erlauben zu sagen, dass er etwas nicht weiß, verbindliche Angaben wie Preise und Zeiten strukturiert pflegen und Aktionen wie Buchungen serverseitig prüfen. Ganz ausschließen lassen sich Fehler nicht. Deshalb gehören Stichproben in Transkripten und eine klare Übergabe an Menschen zum Betrieb.