Wie verhindert man falsche KI-Antworten?

Warum Modelle erfinden

Ein Sprachmodell sagt das nächste wahrscheinliche Wort voraus. Es hat keinen Begriff davon, ob eine Aussage stimmt. Fehlt Wissen, entsteht trotzdem ein flüssiger, überzeugender Satz – das ist keine Fehlfunktion, sondern die Funktionsweise.

Fünf wirksame Massnahmen

1. Nur aus Quellen antworten

Das Modell bekommt die relevanten Dokumentabschnitte mitgeliefert und die Anweisung, ausschliesslich daraus zu antworten. Findet sich nichts, lautet die Antwort „nicht gefunden" – nicht eine erfundene.

2. Fundstelle mitliefern

Jede Aussage wird mit dem Abschnitt verlinkt, aus dem sie stammt. Das macht Prüfung in Sekunden möglich statt in Minuten.

3. Sicherheit ausgeben

Das System gibt an, wie eindeutig die Grundlage war. Unterhalb einer festgelegten Schwelle geht der Vorgang zur Prüfung.

4. Zahlen nicht dem Modell überlassen

Beträge, Fristen und Berechnungen gehören in Programmcode. Ein Modell darf Werte auslesen, aber nicht rechnen.

5. Protokollieren und stichprobenartig prüfen

Ohne Protokoll merkt niemand, dass die Trefferquote seit einem Monat sinkt.

Was nicht hilft

• „Erfinde nichts" in die Anweisung schreiben. Hilft ein wenig, ersetzt aber keine Quellenbindung.
• Ein grösseres Modell. Bessere Modelle erfinden seltener, aber überzeugender – das kann die Lage sogar verschlechtern.