Was Zuverlässigkeit am Telefon wirklich bedeutet, warum eine Demo nichts beweist und wie sich ein KI-Telefonassistent vor jedem Update überprüfen lässt.

Wie zuverlässig ist ein KI-Telefonassistent?

So zuverlässig, wie jemand ihn misst. Ein KI-Telefonassistent ist kein Anrufbeantworter mit festen Ansagen, sondern ein Sprachmodell in einer Telefonleitung. Dieselbe Frage kann heute zu einem gebuchten Termin führen und nach einem Modellwechsel zu einer höflichen Ausrede. Ohne wiederholbare Tests merkst du das erst, wenn dir ein Kunde davon erzählt.

Wer dir eine Zahl wie “98 Prozent Erfolgsquote” nennt, ohne zu sagen, welche Szenarien gelaufen sind und wie ein “Erfolg” definiert war, verkauft ein Gefühl. Die ehrliche Antwort besteht aus drei Teilen: Was wurde getestet, welche Regel hat entschieden und welcher Beleg liegt dazu vor.

Warum eine Demo nichts über Zuverlässigkeit sagt

Eine Demo ist ein einzelner Anruf unter besten Bedingungen. Der Anrufer weiß, was er sagen will. Es gibt kein Straßenrauschen, keine Rückfrage mittendrin, keinen Kunden, der sich zweimal korrigiert.

Zuverlässig heißt aber: derselbe Anruf funktioniert auch nächste Woche noch, nachdem am Produkt gearbeitet wurde. Genau da liegt das Problem, das man von außen nicht sieht. An einem Voice-Agenten ändert sich ständig etwas:

Was sich ändert	Was daran normal ist	Was leise kaputtgehen kann
Neuer Prompt oder neue Betriebsregel	Passiert bei jedem Kunden in der Einrichtung	Der Agent fragt eine Pflichtangabe nicht mehr ab
Anderes Sprachmodell	Kommt mit jeder Anbieter-Generation	Tonfall, Tempo und Abbruchverhalten verschieben sich
Geändertes Werkzeug-Schema	Normale Weiterentwicklung im Hintergrund	Die Terminbuchung läuft ins Leere, das Gespräch klingt trotzdem gut
Neue Telefonstrecke	Nummernwechsel, neuer Anbieter, neue Weiterleitung	Der Anruf kommt an, aber die Bestätigung geht nicht raus

Der gefährliche Fall ist immer derselbe: Das Gespräch klingt richtig, das Ergebnis fehlt. Ein Mensch am Telefon würde stutzen. Eine automatische Prüfung, die nur den Text liest, nicht.

Textbasierte Tests sehen die halbe Wahrheit

Viele Teams prüfen ihren Voice-Agenten, indem sie das Sprachmodell mit geschriebenen Beispielen füttern. Das ist besser als nichts und findet grobe Fehler in der Logik.

Es sieht aber nicht, was auf der Leitung passiert: Wie lange der Verbindungsaufbau dauert. Ob der Agent ins Wort fällt oder zu lange schweigt. Ob die Spracherkennung “Weber” als “Weder” versteht und der Termin unter falschem Namen landet. Ob die SMS am Ende wirklich rausging.

Für dich als Betrieb sind das keine Randnotizen. Ein Termin unter falschem Namen kostet einen Anruf, eine fehlende Bestätigung kostet Vertrauen.

Drei Ebenen, sonst wird ein “bestanden” wertlos

Wir trennen bei der Prüfung von Griffi strikt drei Ebenen. Diese Trennung ist der eigentliche Punkt, nicht die Technik dahinter:

Gemessene Fakten. Kam die Verbindung zustande, wie lange dauerte sie, welche Ereignisse wurden erkannt, welche Belege liegen vor. Das sind Zahlen, keine Interpretation.
Feste Regeln. Vorher definierte Bedingungen entscheiden über bestanden oder nicht bestanden. “Der Termin steht im Kalender” ist so eine Regel. Sie gilt vor dem Anruf und wird danach nicht angepasst, damit das Ergebnis passt.
Meinung des Modells. Eine KI darf beurteilen, ob das Gespräch freundlich und flüssig war. Diese Einschätzung bleibt sichtbar als Meinung und darf niemals eine feste Regel überschreiben.

Der wichtigste Satz dabei: Fehlende Belege sind kein Erfolg. Wenn nach einem Testlauf niemand nachweisen kann, dass der Termin angelegt wurde, gilt der Lauf als nicht bestanden. Nicht als “vermutlich in Ordnung”.

Was das für deinen Betrieb bedeutet

Du musst nichts davon selbst einrichten. Für dich zählt, was daraus folgt:

Änderungen an deinen Regeln sind prüfbar. Wenn du Griffi beibringst, dass Notdienste anders behandelt werden als normale Anfragen, lässt sich hinterher zeigen, dass genau das im Gespräch passiert.
Entwürfe bleiben Entwürfe. Angebote, Rechnungen und Antwortmails gehen erst raus, wenn du sie freigibst. Ein Testlauf ändert daran nichts, und ein Fehler in einem Entwurf landet nie ungeprüft beim Kunden.
Grenzen stehen vorher fest. Testanrufe gehen nur an ausdrücklich freigegebene Nummern, in einem festen Zeitfenster, mit begrenzter Laufzeit. Niemand ruft zum Üben bei deinen Kunden an.

Quality Lab: das Prüfwerkzeug dahinter

Aus dieser Arbeit ist ein eigenes Werkzeug entstanden. Quality Lab ruft einen freigegebenen Testanschluss an, spielt festgeschriebene Szenarien durch und legt das Ergebnis in den drei Ebenen oben ab: Fakten, feste Regeln, optionale Modell-Meinung.

Es ist heute in einer privaten Testphase und richtet sich an Teams, die selbst Sprachagenten betreiben, also an Agenturen, Produktteams und alle, die vor einem Release wissen wollen, ob der Anruf noch tut, was er soll. Wenn du dazugehörst, kannst du dich auf der Quality-Lab-Seite vormerken.

Für dich als Handwerks- oder Servicebetrieb ist das eher die Antwort auf eine berechtigte Frage: Woher weiß ich, dass das Ding morgen noch funktioniert. Die Antwort soll nicht “vertrau uns” lauten, sondern: Es gibt Szenarien, es gibt Regeln, es gibt Belege.

Woran du einen ehrlichen Anbieter erkennst

Drei Fragen, die du jedem Anbieter stellen kannst, auch uns:

Was genau habt ihr getestet? Ein Anbieter, der Szenarien benennen kann, hat welche. Einer, der über “unsere KI” spricht, hat meistens keine.
Wie ist “bestanden” definiert? Wenn die Antwort ein Gefühl ist, ist die Zahl dahinter auch eines.
Was passiert nach einem Update? Die interessante Antwort ist nicht “wir testen viel”, sondern “wir fahren dieselben Szenarien noch einmal und vergleichen”.

Zuverlässigkeit am Telefon ist keine Eigenschaft, die ein Produkt einmal bekommt. Sie ist das Ergebnis davon, dass jemand nach jeder Änderung nachsieht.

Hör dir an, wie Griffi ein echtes Gespräch führt: KI-Telefonassistent ansehen →

Wie zuverlässig ist ein KI-Telefonassistent?