Qualität und Routing

Zwei Reiter für den laufenden Betrieb mehrerer Endpunkte.

Qualität

Reiter Quality. Hier hinterlegen Sie eine Sammlung von Testfragen mit erwarteten Eigenschaften der Antwort und lassen sie regelmäßig ausführen.

Wozu das gut ist: Ein Endpunkt verändert sein Verhalten, ohne dass jemand ihn anfasst — weil sich der Wissensbestand ändert, ein Modell aktualisiert wird oder eine Bindung dazukommt. Ohne Messung merken Sie das erst an Beschwerden.

Der Ablauf:

1. Eine Testsammlung anlegen. Ist noch keine vorhanden, bietet der Reiter an, eine erste zu erzeugen.
2. Einen Zeitplan wählen — oder von Hand ausführen.
3. Die Ergebnisse über die Zeit betrachten.

Wenn ein Lauf scheitert, nennt der Reiter die Ursache. Scheitern einzelne Testfragen, steht dort, woran: der Modell-Dienst hat den Zugangsschlüssel des Endpunkts abgelehnt, sein Anfragelimit war erreicht, er war nicht erreichbar, er hat mit einem Fehler geantwortet, oder ein interner Fehler. Bricht der ganze Lauf ab, steht der Grund dabei in Worten:

Angezeigter Grund	Was Sie tun
Der Endpunkt hat keinen Zugangsschlüssel für den Modell-Dienst	Warten, bis der Endpunkt vollständig bereitgestellt ist, dann erneut starten.
Keine Testsammlung vorhanden	Eine Testsammlung erzeugen.
In keiner nachgespielten Konversation wurde eine Quelle zitiert	Die Wissens-Bindungen des Endpunkts prüfen — ohne zitierte Quelle gibt es nichts zu messen.
Der Auswertungsdienst hat während des Laufs einen Fehler gemeldet	Erneut starten; wiederholt sich das, den Habicht-Support informieren.
Der Auswertungsdienst wurde während des Laufs neu gestartet	Den Lauf erneut starten.
Der Lauf dauerte länger als vier Stunden	Die Testsammlung verkleinern oder den Habicht-Support nach der Auslastung fragen.

Ein abgebrochener Lauf liefert keine verwertbaren Zahlen und zählt nicht in den Vergleich mit früheren Läufen; werten Sie ihn nicht als Verschlechterung. Das gilt auch für einen Lauf ohne zitierte Quelle: Er zeigt keine Werte von 0, weil nichts gemessen wurde.

Die Testfragen sehen, was der Endpunkt sieht. Jede Testfrage wird mit den Wissensordnern beantwortet, die Sie am Endpunkt gebunden haben — so, wie sie ein Aufruf ohne angemeldete Person erhielte. Die Messung zeigt also die Wissenssuche des Endpunkts selbst, unabhängig davon, wer den Lauf gestartet hat.

Lange Läufe. Eine große Testsammlung kann eine Stunde und länger laufen. Sie müssen den Reiter dafür nicht offen halten; der Lauf steht so lange auf „läuft". Wird das System während eines Laufs aktualisiert oder neu gestartet, holt es den Lauf danach selbst zu Ende, sofern die Auswertung weiterlief. Ging sie dabei verloren, endet der Lauf mit dem Hinweis, dass der Auswertungsdienst neu gestartet wurde — dann starten Sie ihn erneut. Nach vier Stunden wird ein Lauf nicht mehr abgewartet.

Bei einer Verschlechterung ist der erste Blick der Vergleich im Reiter Versionen: Was hat sich seit dem letzten guten Lauf geändert? Kam nichts dazu, liegt es am Wissensbestand oder am Modell — dann ist der Habicht-Support der richtige Ansprechpartner.

Eine Testsammlung ist nur so gut wie ihre Fragen. Nehmen Sie echte Fragen aus dem Betrieb auf, besonders solche, die einmal falsch beantwortet wurden. Das ist die wirksamste Vorsorge gegen wiederkehrende Fehler.

Rückmeldungen aus dem Betrieb

Nutzende können Antworten bewerten. Die Rückmeldungen laufen bei den dafür zuständigen Personen auf, die daraus Verbesserungen am Wissensbestand ableiten können.

Das ist der kürzeste Weg von „die Antwort war falsch" zu „das Dokument war veraltet" — nutzen Sie ihn, statt auf Beschwerden zu warten.

Routing

Reiter Routing. Ein Endpunkt kann eine Anfrage an einen anderen Endpunkt weiterreichen, statt sie selbst zu beantworten.

Wofür: Sie haben mehrere Fachbereiche mit je eigenem Wissensbestand und wollen den Anfragenden trotzdem eine Adresse geben. Der verteilende Endpunkt entscheidet anhand der Frage, wer zuständig ist.

Einrichten: Sie legen die möglichen Ziele fest und bestimmen, ab welcher Sicherheit weitergereicht wird. Liegt die Einschätzung darunter, antwortet der verteilende Endpunkt selbst.

Drei Dinge, die Sie einplanen sollten

• Es kostet zusätzlich. Die Entscheidung, wohin verteilt wird, ist selbst ein Modellaufruf. Rechnen Sie das in Ihr Budget ein.
• Kreise werden erkannt und abgewiesen. Endpunkte, die sich gegenseitig aufrufen, werden nicht endlos weitergereicht.
• Die Schwelle will eingestellt werden. Zu niedrig, und Anfragen landen beim falschen Fachbereich; zu hoch, und fast alles bleibt beim verteilenden Endpunkt. Starten Sie mit dem Vorschlagswert und beobachten Sie einige Wochen.

Wann sich Routing lohnt — und wann nicht

Lohnt sich: ab etwa drei Fachbereichen mit deutlich getrennten Beständen und einer gemeinsamen Anlaufstelle nach außen.

Lohnt sich nicht bei zwei Bereichen. Dann sind zwei Adressen einfacher, billiger und für die Anfragenden klarer.