Was du testen solltest
Teste den Agenten mit Nachrichten, die echte Kundensituationen abbilden:- den Happy Path, den der Agent bearbeiten soll
- Nachrichten, die eskalieren sollen
- mehrdeutige Kundenanfragen
- fehlende Bestell- oder Kundendaten
- sensible Aktionen, die eine Freigabe brauchen
- Nachrichten, die den Agenten nicht starten sollen
Zuständigkeit und Übergaben testen
Nutze für jeden Fall eine kurze Ticket-Unterhaltung:
Teste auch eine spätere Kundennachricht nach der Übergabe an einen Menschen. Sie kann erneut einem passenden KI-Agenten zugeordnet werden. Soll das Ticket nur bei Menschen bleiben, teste es nach diesen Änderungen: passende KI-Agent-Trigger enger fassen oder deaktivieren, Auto-Antworten von Classic AI stoppen und Makro-Workflows mit KI-Prompt enger fassen oder deaktivieren.
Nützliche Testfälle erstellen
1
Von echten Tickets ausgehen
Nutze möglichst echte Kundenformulierungen. Kurze synthetische Prompts lassen oft die Details
aus, die Support-Fälle schwierig machen.
2
Erwartetes Verhalten festlegen
Leg fest, was der Agent tun soll: antworten, nachfragen, eine Aktion nutzen, Freigabe anfordern
oder eskalieren.
3
Negative Fälle einbeziehen
Füg Beispiele hinzu, in denen der Agent nicht handeln soll.
4
Aktionsnutzung prüfen
Prüfe, dass der Agent nur die Aktionen nutzt, die für den Fall nötig sind.
5
Nach Änderungen erneut testen
Wiederhole die betroffenen Fälle, nachdem du Anweisungen, Trigger, Skills, Aktionen oder
Freigaben geändert hast.
Run-Verlauf nutzen
Nutze ihn, um zu prüfen:- warum dieser Agent das Ticket bekommen hat
- welche Anweisungen und Skills die Ausführung beeinflusst haben
- welche Aktionen der Agent genutzt hat
- ob eine Freigabe angefordert wurde
- welche kundenorientierte Antwort entstanden ist
- warum der Agent eskaliert oder gestoppt hat
Unerwartetes Verhalten debuggen
Wenn eine Ausführung nicht wie erwartet lief, prüfe:- ob eine andere Automatisierung die Unterhaltung bereits übernommen hatte
- ob ein exakter oder inhaltlicher Trigger einen anderen Agenten gewählt hat
- ob die Agent-Anweisungen zu breit waren
- ob ein Skill widersprüchliche Hinweise enthielt
- ob die benötigte Aktion aktiviert war
- ob die Freigabe den letzten Schritt blockiert hat
- ob dem Ticket erforderlicher Kunden- oder Bestellkontext fehlte
Bewährte Vorgehensweisen
- Teste vor der Aktivierung und nach jeder größeren Änderung an Anweisungen oder Aktionen.
- Lass Freigaben aktiv, solange du frühe Produktionsläufe prüfst.
- Füg einen Negativtest hinzu, wenn der Agent über das Ziel hinausschießt.
- Nutze den Verlauf, um Anweisungen zu verbessern — nicht nur, um Fehler zu debuggen.