Mein Bericht von Mitte März 2026: Überwachung von LLM in der Produktion

Hallo zusammen, Bot-Ersteller und digitale Träumer! Hier ist Tom Lin, zurück bei euch von botclaw.net. Es ist Mitte März 2026, und wenn ihr wie ich seid, summen eure Slack-Kanäle wahrscheinlich von Diskussionen über LLMs, agentische Workflows und die stets präsente Frage: „Wie bekommt man dieses Ding wirklich in der Produktion zum Laufen, ohne sich die Haare zu raufen?“

Heute möchte ich über etwas sprechen, das oft in die Schublade „später“ geschoben wird, aber den Erfolg eures Bots entscheidend beeinflussen kann: die Überwachung. Genauer gesagt, möchte ich einen entscheidenden, aber oft vernachlässigten Aspekt der Bot-Überwachung erkunden: die proaktive Erkennung von Nutzerstimmungen und sich ändernden Absichten.

Über die Verfügbarkeit hinaus: Warum traditionelle Überwachung bei Bots versagt

Hört zu, ich bin schon lange genug im Bot-Geschäft, um mich daran zu erinnern, dass „Überwachung“ bedeutete, sicherzustellen, dass euer Server nicht ausfällt und eure API-Endpunkte einen 200 zurückgeben. Und das ist natürlich grundlegend. Wenn euer Bot nicht erreichbar ist, ist er kein Bot, sondern ein sehr teures digitales Kunstwerk. Aber für komplexe, benutzerorientierte Bots – insbesondere solche, die von der neuesten Generation großer Sprachmodelle betrieben werden – zu wissen, dass euer Server läuft, ist so, als würde man sagen, dass euer Auto fährt, nur weil der Motor nicht brennt. Das sagt euch nichts über das Erlebnis des Passagiers.

Mein erstes großes Bot-Projekt, ein Kundenservice-Agent für eine kleine E-Commerce-Marke im Jahr 2022, hat mir diese Lektion auf die harte Tour beigebracht. Wir hatten alle ausgeklügelten APM-Tools angeschlossen: CPU-Nutzung, Speicher, Antwortzeiten. Alles schien in Ordnung zu sein. Trotzdem nahmen die Kundenbeschwerden stetig zu. Es stellte sich heraus, dass unser Bot subtile Missverständnisse bei gängigen Anfragen nach einem kleineren Update seines Intent-Klassifizierungsmodells aufwies. Er stürzte nicht ab, er war nicht langsam, aber er erodierte langsam das Vertrauen der Nutzer, einen frustrierenden Austausch nach dem anderen.

Diese Erfahrung hat eine Wahrheit geprägt: Für Bots, insbesondere solche, die direkt mit Menschen interagieren, ist Überwachung nicht nur eine Frage der technischen Gesundheit; es geht um die Gesprächsqualität. Es geht darum zu verstehen, ob euer Bot tatsächlich das tut, was er tun soll, aus der Perspektive des Nutzers, und zu erkennen, wann er anfängt, vom Kurs abzukommen *bevor* dies zu einer echten PR-Krise wird.

Der stille Killer: Entwicklung der Nutzerstimmungen und -absichten

Wovon spreche ich also genau mit „Entwicklung der Stimmungen und Absichten“?

Entwicklung der Nutzerstimmungen: Das ist der Zeitpunkt, an dem der allgemeine emotionalen Ton der Interaktionen eurer Nutzer mit eurem Bot negativ zu werden beginnt. Sie sagen vielleicht nicht ausdrücklich „euer Bot ist schrecklich“, aber ihr werdet mehr Frustration, Verwirrung oder sogar Ärger in ihrer Sprache sehen. Vielleicht hat euer Bot früher Rücksendungen einwandfrei behandelt, und jetzt drücken die Nutzer ihren Unmut aus, weil der Prozess nach einer kürzlichen Backend-Änderung unbeholfen oder unklar geworden ist.

Entwicklung der Absichten: Das könnte noch hinterhältiger sein. Euer Bot ist darauf ausgelegt, einen spezifischen Satz von Nutzerabsichten zu bearbeiten (z. B. „Bestellung nachverfolgen“, „Passwort ändern“, „Kontostand abfragen“). Die Entwicklung der Absicht tritt auf, wenn der Bot:

1. Beg beginnt, Nutzeranfragen falsch zu klassifizieren (z. B. „Wo ist mein Paket?“ als „Kontenanfrage“ klassifiziert).
2. Nicht in der Lage ist, neue, aufkommende Absichten zu erkennen, für die euer Bot noch nicht ausgelegt ist, was zu endlosen Schleifen oder irrelevanten Antworten führt.
3. Die *Art und Weise*, wie die Nutzer bestehende Absichten ausdrücken, sich ändert, und das NLU-Modell eures Bots nicht Schritt gehalten hat.

Diese beiden Situationen führen zu Leistungsverschlechterungen, die die traditionelle CPU/Speicherüberwachung völlig übersehen wird. Es ist wie ein langsamer Reifenschaden – ihr bemerkt es nicht, bis ihr am Straßenrand feststeckt.

Praktische Ansätze zur proaktiven Erkennung von Entwicklungen

Okay, genug der Trübsal. Wie gehen wir das an? Hier sind einige praktische Strategien, die ich umgesetzt habe und die Wunder gewirkt haben.

1. Echtzeitanalyse der Nutzeräußerungen

Das ist eure erste Verteidigungslinie. Während die Nutzer mit eurem Bot interagieren, gebt deren Eingaben in ein Sentiment-Analyse-Modell ein. Ihr benötigt hier nichts Außergewöhnliches; viele Cloud-Anbieter (AWS Comprehend, Google Natural Language API, Azure Text Analytics) bieten ausgezeichnete vortrainierte Modelle an. Der Trick besteht darin, diese Daten effektiv zu aggregieren und zu visualisieren.

So implementiert ihr es:

Für jede Nutzeräußerung, die an euren Bot gesendet wird, speichert den reinen Text sowie die dazugehörige Sentiment-Bewertung (z. B. positiv, neutral, negativ, mit Vertrauenswerten). Aggregiert diese Bewertungen im Zeitverlauf. Ihr sucht nach:

• Plötzlichen Rückgängen positivem Sentiment: Ein abrupter Rückgang über eine Stunde oder einen Tag könnte auf ein neues Problem hindeuten.
• Allmählichem Anstieg von negativem Sentiment: Das deutet oft auf einen langsamen Niedergang hin, wie eine Funktion, die weniger intuitiv wird.
• Spitzen in den „gemischten“ oder „verwirrten“ Stimmung: Nutzer versuchen, etwas auszudrücken, aber euer Bot versteht nicht ganz.

Beispiel (Pseudocode Python):

from some_sentiment_library import analyze_sentiment
from some_monitoring_dashboard import send_metric

def process_user_input(user_id, message_text):
 sentiment_result = analyze_sentiment(message_text)
 
 # Beispielstruktur: {'score': 0.85, 'label': 'positive'}
 # Oder: {'positive': 0.7, 'negative': 0.2, 'neutral': 0.1}

 send_metric("bot.user_sentiment.score", sentiment_result['score'], tags={"user_id": user_id, "label": sentiment_result['label']})
 
 if sentiment_result['score'] < 0.3 and sentiment_result['label'] == 'negative':
 send_alert("Niedriges Sentiment für Nutzer erkannt: " + user_id + " - " + message_text)
 # Vielleicht an einen menschlichen Agenten weiterleiten oder zur sofortigen Überprüfung speichern

 # ... Normalverarbeitung des Bots fortsetzen ...

Richtet Dashboards ein, die das durchschnittliche Sentiment im Zeitverlauf (stündlich, täglich) anzeigen, und kritische Alerts für signifikante Rückgänge oder anhaltend niedriges Sentiment. Ich richte oft Alerts für einen Rückgang von 10 % des durchschnittlichen positiven Sentiments über einen Zeitraum von 2 Stunden ein, oder wenn der Prozentsatz der Äußerungen mit negativem Sentiment 15 % übersteigt und dies länger als 30 Minuten dauert. Diese Schwellenwerte werden je nach typischen Interaktionsmustern eures Bots variieren.

2. Überwachung der Absicherungen der Absicht und Anomalieerkennung

Die meisten modernen NLU-Frameworks (Natural Language Understanding) bieten einen Vertrauensscore für ihre Absichtsvorhersagen. Dieser Score zeigt, wie sicher das Modell bei seiner Klassifizierung ist. Ein niedriger Vertrauensscore ist ein großes Warnsignal.

So implementiert ihr es:

Speichert die vorhergesagte Absicht sowie deren Vertrauensscore für jede Nutzeräußerung. Überwacht dann:

• Ein hohes Volumen an Vorhersagen mit niedrigem Vertrauen: Wenn euer Bot plötzlich bei vielen Nutzer-Inputs unsicher ist, bedeutet das entweder, dass die Nutzer sich anders ausdrücken, oder dass euer Modell neu trainiert/aktualisiert werden muss.
• Eine Veränderung in den dominierenden Absichten mit niedrigem Vertrauen: Vielleicht war „Bestellung nachverfolgen“ einst sehr sicher, aber jetzt ist der Vertrauensscore oft niedrig. Das deutet auf eine spezifische Schwäche des Modells hin.
• Häufiges Auftreten von neuen, nicht behandelten Absichten: Wenn euer NLU häufig eine „Notfall“- oder „unbekannte“ Absicht mit niedrigem Vertrauen vorhersagt, und die zugrunde liegenden Nutzer-Nachrichten ständig mit einem neuen Thema zusammenhängen (z. B. „Rückgaberegelung für Abonnementmodelle“, nachdem ihr gerade Abonnements eingeführt habt), ist das die Entwicklung der Absichten in Aktion.

Beispiel (Auszug aus Rasa NLU):

{
 "text": "Mein Paket ist verspätet, was soll ich tun?",
 "intent": {
 "name": "track_order",
 "confidence": 0.35 // Oh là là, schwaches Vertrauen!
 },
 "intent_ranking": [
 {"name": "track_order", "confidence": 0.35},
 {"name": "customer_support", "confidence": 0.28},
 {"name": "shipping_info", "confidence": 0.19}
 ],
 "entities": []
}

Sie können diese Vorhersagen mit niedrigem Vertrauen aggregieren. Zum Beispiel verwendet mein Team ein einfaches Skript, das alle Ausdrücke mit Vertrauenswerten unter 0.6 für ihre vorhergesagte Absicht zusammenfasst und dann alle paar Stunden einen Clustering-Algorithmus (wie K-means oder DBSCAN) auf den Text dieser Ausdrücke ausführt. Wenn ein neuer, klarer Cluster von Ausdrücken mit niedrigem Vertrauen entsteht, wird er zur Überprüfung gemeldet. Das hilft uns, aufkommende Absichten oder Änderungen in der Formulierung der Benutzer zu erkennen, ohne manuell Tausende von Protokollen durchsuchen zu müssen.

3. Überwachung der Eskalationsrate

Das ist ein Klassiker aus gutem Grund. Wenn Ihr Bot an einen Menschen weiterleiten kann, ist die Rate, mit der er dies tut, ein direkter Indikator für seine Effizienz. Ein plötzlicher Anstieg der Eskalationen, insbesondere für bestimmte Kategorien von Absichten, ist ein warnendes Signal.

So implementieren Sie es:

Protokollieren Sie jedes Mal, wenn Ihr Bot einen Transfer an einen menschlichen Agenten auslöst. Verfolgen Sie die Absicht, von der der Bot *dachte*, dass der Benutzer sie hatte, und idealerweise den Grund für die Eskalation (zum Beispiel „der Benutzer hat um einen Menschen gebeten“, „der Bot hat nicht verstanden“, „der Benutzer war frustriert“).

• Globale Eskalationsrate: Ein nachhaltiger Anstieg ist ein allgemeines Zeichen für Probleme.
• Eskalationsrate nach Absicht: Wenn „Rückgaben“ plötzlich eine Eskalationsrate von 50 % hat, während sie vorher 10 % betrug, haben Sie ein Problem mit Ihrem Rückgabeprozess.
• Trends der Eskalationsgründe: Wenn „der Bot hat nicht verstanden“ zunimmt, deutet das auf NLU-Probleme hin. Wenn „der Benutzer hat um einen Menschen gebeten“ zunimmt, könnte dies UX-Probleme oder Probleme im Gesprächstsuchfluss anzeigen.

Ich setze Warnungen, wenn die Eskalationsrate für eine Hauptabsicht innerhalb einer Stunde um mehr als 20 % steigt oder wenn die globale Eskalationsrate einen vordefinierten Schwellenwert (zum Beispiel 15 %) für mehr als 30 Minuten überschreitet. Dies erfasst häufig Probleme, die den Metriken für Sentiment und Vertrauen entgehen, insbesondere wenn der Bot technisch „funkioniert“, aber es nicht schafft, das Problem des Benutzers zu lösen.

Alles Zusammenfassen: Ein Integriertes Bot-Gesundheits-Dashboard

Die echte Kraft liegt in der Kombination dieser Signale. Ich plädiere für ein „Bot-Gesundheits-Dashboard“, das all diese Indikatoren bündelt. Denken Sie daran wie an eine Krankenakte für Ihren Bot.

• Obere Sektion: Hohe KPI – allgemeiner Trend positiver Gefühle, durchschnittliches Vertrauen in die Absicht, Gesamtzahl der Eskalationen, Bot-Lösungsrate.
• Mittlere Sektion: Verteilung nach Absicht – Sentiment, Vertrauen und Eskalationsrate für Ihre 5-10 Hauptabsichten. Das hilft, spezifische Problembereiche zu identifizieren.
• Untere Sektion: Warnungen für Anomalieerkennung – kürzliche Spitzen in Aussagen mit niedrigem Vertrauen, neue Rückgänge im Sentiment, spezifische Anstiege der Eskalationsabsicht.

Mein Team nutzt Grafana dafür und bezieht Daten von Prometheus und unseren eigenen benutzerdefinierten Protokollierungsdiensten. Wichtig ist, dass es auf einen Blick leicht zu erkennen ist, ob Ihr Bot „gesund“ ist, und schnell zu reagieren, wenn etwas verdächtig erscheint.

Handlungsoptionen für Bot-Ingenieure

Was sollten Sie also am Montagmorgen tun?

1. Beginnen Sie mit dem Protokollieren: Wenn Sie die Benutzeräußern, die vorhergesagten Absichten, die Vertrauenswerte und die Eskalationsereignisse noch nicht protokollieren, beginnen Sie jetzt damit. Diese Daten sind wertvoll.
2. Implementieren Sie eine einfache Sentimentanalyse: Wählen Sie die API eines Cloud-Anbieters oder eine Open-Source-Bibliothek und integrieren Sie sie in die Eingabeverarbeitungs-Pipeline Ihres Bots. Es ist überraschend einfach.
3. Verfolgen Sie das Vertrauen in die Absicht: Protokollieren Sie diese Werte und richten Sie einfache Warnungen für niedrige Vertrauenswerte ein.
4. Erstellen Sie ein Eskalations-Dashboard: Stellen Sie sicher, dass Sie *wissen*, *wann* und *warum* Ihr Bot an Menschen weitergibt.
5. Überprüfen Sie regelmäßig die aggregierten Daten: Warten Sie nicht nur auf Warnungen. Nehmen Sie sich jede Woche 15-30 Minuten Zeit, um die Leistungsindikatoren Ihres Bots zu prüfen. Suchen Sie nach Trends, nicht nur nach unmittelbaren Problemen.
6. Verbinden Sie sich mit Ihrer NLU/MLOps-Pipeline: Verwenden Sie diese Informationen, um Ihre Modell-Neu-Trainierung zu leiten. Niedriges Vertrauen in eine Absicht? Fügen Sie weitere Trainingsdaten für diese hinzu. Neuer Cluster von Absichten? Ziehen Sie in Betracht, ihn in Ihr Modell aufzunehmen.

Im Zeitalter immer ausgefeilterer Bots müssen unsere Überwachungsstrategien über die bloße technische Verfügbarkeit hinausentwickeln. Indem wir uns auf das Gefühl der Benutzer und die Abweichungen der Absichten konzentrieren, können wir proaktiv Probleme erkennen, die die Benutzererfahrung beeinträchtigen, das Vertrauen aufrechterhalten und letztendlich bessere, resilientere Bots erstellen. Lassen Sie Ihren Bot nicht langsam zu einer frustrierenden Erfahrung verkommen; bleiben Sie wachsam, überwachen Sie diese Gespräche und sorgen Sie dafür, dass diese digitalen Zahnräder reibungslos laufen.

Das war's für diese Woche, Freunde! Teilen Sie Ihre Tipps und Überwachungsratgeber in den Kommentaren. Bis zum nächsten Mal, viel Spaß beim Bot-Bauen!

🕒 Published: March 30, 2026