Eine Testerin meiner Website-Diagnose hat mich neulich gefragt, was eigentlich herauskommt, wenn man dieselbe Seite zweimal prüft. Ich habe es ausprobiert, zweimal kurz hintereinander mit meiner eigenen Website. Die Punktzahlen lagen fast gleich, und die Hauptbaustellen waren in beiden Läufen dieselben. An einer Stelle haben sich die beiden Läufe aber widersprochen.
Lauf eins sagte, mein Seitentitel enthalte keinen Begriff, nach dem jemand sucht. Lauf zwei sagte, der Titel transportiere das Thema klar. Gleiche Seite, gleiches Tool, zehn Minuten Abstand.
Für mich war das ein Weckruf, und er betrifft jeden Betrieb, der KI einsetzt: Ein KI-Ergebnis ist eine Einschätzung und keine Messung. Wer sich darauf verlässt, braucht eine feste Prüfroutine. Wie meine aussieht und was ich am Tool geändert habe, zeige ich dir hier.
Warum KI auf dieselbe Frage unterschiedlich antwortet
KI formuliert jede Antwort neu. Das ist gewollt, sonst würde sie immer gleich klingen. Bei klaren Fällen spielt das keine Rolle. Bei Grenzfällen kippt die Einschätzung aber, je nachdem, wie die KI an diesem Tag abwägt.
Mein Seitentitel ist so ein Grenzfall. „Strategischer Außenblick fürs Business“ klingt nach einem Thema, enthält aber kein Wort, das jemand bei Google eintippt. Einmal hat die KI das streng gesehen, einmal großzügig.
Bei den Punktzahlen war es ähnlich. Die KI hatte eine Skala von 0 bis 100 und durfte die Zahl darin frei wählen. Bei gleichen Befunden kam einmal 54 und einmal 58 heraus.
Was ich geändert habe
- Für Grenzfälle gibt es jetzt eine feste Regel mit Beispielen. Ein Titel enthält nur dann einen Suchbegriff, wenn darin die Leistung oder die Branche mit einem Wort steht, das Kunden tatsächlich eintippen. Bildhafte Sätze zählen nicht. Seitdem fällt die Bewertung bei meinem Titel in jedem Lauf gleich aus.
- Die Punkte werden berechnet statt geschätzt. Jeder Kritikpunkt bekommt eine Stufe, gewichtig, mittel oder klein, und zieht einen festen Wert von 100 ab. Die Stufe steht sichtbar hinter jedem Punkt, damit Kunden sehen, was zuerst dran ist.
- Die Rechnung macht das Programm und nicht die KI. Im Test hatte die KI sich in drei von zehn Karten verrechnet, obwohl sie die Stufen selbst vergeben hatte. Jetzt zählt der Code die Stufen und rechnet. Stufen und Punkte passen dadurch immer zusammen.
Ein Versuch ist dabei schiefgegangen. Ich wollte die KI zusätzlich auf „immer gleich antworten“ stellen. Das neue Modell lässt diese Einstellung nicht mehr zu, und das Tool brach mit einer Fehlermeldung ab. Ich habe die Zeile nach einer Minute wieder entfernt.
Seit den Änderungen weichen zwei Läufe für dieselbe Seite um höchstens fünf Punkte voneinander ab, und die Einstufung der Befunde ist fast identisch.
Was das für deinen Betrieb heißt
Du musst kein eigenes Tool bauen, um daraus etwas mitzunehmen. Die gleichen Schritte gelten für jede KI, mit der dein Team arbeitet.
- Stell wichtige Aufgaben zweimal. Wenn ein Angebot, eine Auswertung oder eine Einschätzung an Kunden geht, lass die KI zweimal ran und vergleiche. Wo sich die Ergebnisse widersprechen, sitzt ein Grenzfall.
- Lass messen, was messbar ist. Zahlen, Summen und Fristen rechnet ein Programm oder ein Mensch nach. Die KI darf formulieren, aber sie ist kein Taschenrechner.
- Gib für Grenzfälle Regeln mit Beispielen vor. „Bewerte, ob der Text verständlich ist“ führt zu Zufall. Eine Regel mit zwei Beispielen führt zu gleichen Ergebnissen.
- Ein Mensch gibt frei. Was an Kunden geht, liest vorher jemand, der die Verantwortung trägt.
Genau solche Prüfschritte gehören übrigens zur KI-Kompetenz, die Betriebe seit 2025 fördern müssen. Was die Schulungspflicht verlangt und was nicht, steht im Artikel KI-Schulungspflicht: Was Betriebe wirklich müssen und was nicht.
Wenn dein Team KI-Ergebnisse sicher prüfen soll
Genau das üben wir im Workshop KI-Kompetenz: an euren eigenen Abläufen, mit festen Prüfschritten und einer Teilnahmebestätigung als Nachweis. Vorher zeigt der KI-Check, wo bei euch überall KI im Einsatz ist. Alle Infos findest du hier: KI-Check und Team-Workshop
Häufige Fragen
Ist KI dann unzuverlässig?
Für klare Aufgaben ist sie sehr zuverlässig. Unsicher wird es bei Grenzfällen und bei Zahlen. Wer das weiß, kann gezielt dort prüfen und spart sich das Misstrauen an allen anderen Stellen.
Muss ich jetzt alles doppelt prüfen?
Nein. Doppelt prüfen lohnt sich bei Ergebnissen, die an Kunden gehen oder auf denen eine Entscheidung beruht. Für einen internen Entwurf reicht ein kurzer Blick.
Woran erkenne ich einen Grenzfall?
Daran, dass du selbst kurz zögern würdest. Wenn du nicht sofort sagen kannst, ob etwas richtig oder falsch ist, kann es die KI auch nicht. Dann braucht es eine Regel.
