← Kapitel 6 · Künstliche Intelligenz und Generative KI

Fehlerkosten-Waage

Was ein KI-Einsatz bringt, was er kostet und was ein einzelner Fehler kostet

Kurz vorweg

Worum es geht
Ein Kundenservice lässt sich Antwortentwürfe von einem Sprachmodell schreiben. Du stellst ein, was das bringt, was es kostet und was ein einzelner Fehler kostet, und siehst, wann sich der Einsatz lohnt.
Im Buch
Kapitel 6, Abschnitt „Wann sich KI lohnt“ (Risiko, Fehlerkosten, Human Override). Das Werkzeug rechnet nur einen Teil der Bewertungskriterien in Euro, die übrigen bleiben beim Kapitel.
Das kannst du hier tun
  • Eines der drei Fehlerbeispiele wählen, vom häufigen billigen bis zum seltenen teuren.
  • Nutzen, Kosten und Fehlerquote verändern und den Saldo beobachten.
  • Die Prüfquote erhöhen und sehen, ab welchen Fehlerkosten sich eine Prüfung lohnt.
Danach
Danach kannst du die Fälle im Kapitel mit einer Rechnung prüfen. Unten findest du zwei Aufgaben zum Ausprobieren.

Ausprobieren: Vermutung, Versuch, Nachdenken

Probiere zuerst selbst aus, bevor du die Rückmeldung öffnest. Schreib zu jeder Aufgabe auf, was du erwartest. Danach stellst du ein, schaust nach und erklärst dir den Unterschied.

  1. Aufgabe 1 · Seltene Fehler, hohe Kosten

    Ausgangslage
    Ein Kundenservice lässt Antwortentwürfe von einem Sprachmodell schreiben, und niemand prüft sie. Alle Regler stehen auf den Startwerten.
    Deine Vermutung
    Welche der drei Fehlerarten macht den Einsatz am ehesten unrentabel, die häufigste oder die seltenste?
    Versuch
    Lass die Prüfquote auf null und wähle nacheinander die drei Fehlerbeispiele. Notiere jedes Mal den Saldo je Arbeitstag.
    Nachdenken
    Warum kippt der Saldo, obwohl der Anteil fehlerhafter Antworten beim teuersten Beispiel am kleinsten ist? Welche Rolle spielt die Höhe eines einzelnen Fehlers?
    Das solltest du sehen

    Beim falschen Lieferzeitversprechen (20 Euro, 5 Prozent) bleibt ein Plus von 768 Euro je Arbeitstag. Bei der Rückgabe (250 Euro, 2 Prozent) liegt der Saldo bei minus 832 Euro, bei der Gewährleistungszusage (1.200 Euro, 0,5 Prozent) bei minus 1.232 Euro. Die Fehlerkosten betragen 400, 2.000 und 2.400 Euro je Arbeitstag, obwohl die Quote sinkt.

    Übertragen: Wie hoch ist bei einem KI-Einsatz in deinem Umfeld der teuerste plausible Fehler, und wer trägt ihn? Frage das, bevor du auf die durchschnittliche Qualität schaust.

  2. Aufgabe 2 · Was eine Prüfung leistet

    Ausgangslage
    Bei der Gewährleistungszusage steht der Einsatz ohne Prüfung deutlich im Minus.
    Deine Vermutung
    Reicht es, jede Antwort zu prüfen, damit der Einsatz im Plus liegt? Schätze den Saldo, bevor du nachsiehst.
    Versuch
    Wähle das Beispiel „Falsche Zusage zur Gewährleistung“ und stelle die Prüfquote nacheinander auf 0, 25, 50 und 100 Prozent. Senke danach die Wirksamkeit der Prüfung auf 50 Prozent und sieh dir den Saldo bei vollständiger Prüfung an.
    Nachdenken
    Warum nützt die Prüfung nur im Verhältnis zu ihrer Wirksamkeit? Was folgt daraus für die Frage, wer prüft und wie gründlich?
    Das solltest du sehen

    Bei einer Wirksamkeit von 80 Prozent steigt der Saldo von minus 1.232 Euro über minus 812 und minus 392 auf plus 448 Euro bei vollständiger Prüfung. Findet die Prüfung nur die Hälfte der Fehler, bleibt der Saldo auch bei vollständiger Prüfung bei minus 272 Euro.

    Übertragen: An welcher Stelle eines Prozesses in deinem Umfeld würdest du einen Menschen prüfen lassen, und woran würdest du messen, ob die Prüfung wirkt?

Warum ist das relevant?
Grenzen des Modells