Realtime 0 Beta: Warum ein gutes Telefongespräch mehr als eine schnelle Stimme braucht

Viele Voice-Agenten klingen in einer einzelnen Audiodatei überzeugend und im Gespräch trotzdem künstlich. Der Grund: Ein Telefonat ist kein Vorlesetext. Menschen reagieren auf Sprechtempo, zögern vor einer schwierigen Antwort, fallen einander ins Wort und passen Ton sowie Länge ihrer Antwort an den Gesprächsverlauf an.

Realtime 0 wurde für genau diesen laufenden Gesprächskontext entwickelt. Die Pipeline verarbeitet die Sprache des Anrufers, erzeugt die Antwort und spricht sie innerhalb derselben langlebigen Live-Session. Call0 steuert darauf aufbauend Agentenkonfiguration, Telefonie, Berechtigungen und die kontrollierte Ausführung freigegebener Aktionen.

Am Telefon kommt Audio typischerweise schmalbandiger an als im Browser. Realtime 0 behält deshalb die bestehenden Audio- und Transcoding-Wege von Call0 bei, statt Browserqualität oder einen universellen Geschwindigkeitsvorteil für jeden Telefonkanal zu versprechen. Turn-Taking, Segmentierung und Stabilität müssen im jeweiligen Einsatzfall getestet werden.

Der Regler ist kein kosmetischer Filter. Realtime 0 unterstützt native Backchannels, akustische Gesprächssignale und freigegebene nonverbale Laute. Call0 setzt diese Fähigkeiten jedoch nicht pauschal in jedem Turn ein: Menschlichkeitsstufe, Gesprächskontext und feste Regeln begrenzen Häufigkeit und Ausdruck. Niedrige Stufen bleiben zurückhaltend, höhere erlauben kontrolliert mehr Variation.

Ein Seufzer oder ein „mhm“ ist dabei kein Selbstzweck. Solche Signale sind nur dann hilfreich, wenn sie zur Situation passen. Die bessere Zielgröße ist nicht „möglichst viele Effekte“, sondern eine Antwort, die im richtigen Moment beginnt, die richtige Länge hat und emotional nicht gegen den Gesprächsinhalt arbeitet.

Ein Agent ist nicht unterbrechbar, nur weil er neue Sprache erkennt. Er muss zugleich die laufende Antwort abbrechen, noch nicht abgespieltes Audio aus dem Puffer entfernen und verspätete Text- oder Audiofragmente ignorieren. Sonst spricht er nach der Unterbrechung weiter oder reagiert auf seine eigene Stimme.

Realtime 0 kombiniert semantische Turn-Erkennung mit einem lokalen Energie-Signal. Nach einer echten Unterbrechung wird der Gesprächskontext auf den tatsächlich gehörten Teil der Antwort abgeglichen. Das schützt den nächsten Turn davor, auf Informationen aufzubauen, die der Anrufer nie gehört hat.

Diese Grenzen sind wichtig, weil Voice AI sehr schnell beeindruckend wirken kann und sich reale Schwächen erst in längeren Gesprächen zeigen. Wir bewerten die Beta deshalb anhand vollständiger Testanrufe: falsche Unterbrechungen, fehlende Transkript-Turns, hörbare Rest-Audios, Antwortlänge und Stabilität über mehrere Themenwechsel.

Realtime 0 eignet sich besonders für Teams, die bereits einen Agenten eingerichtet haben und den Unterschied zwischen einer klassischen STT–LLM–TTS-Kette und einer kontextbezogenen Realtime-Session im eigenen Szenario hören möchten. Aktiviert werden sollte die Beta zunächst für genau einen Test-Agenten.