Was ist das Kontextfenster eines Sprachmodells?

Was hineingezählt wird

Alles, was das Modell bei einer Anfrage sieht:

• Die Systemanweisung
• Beigefügte Dokumentabschnitte
• Der bisherige Gesprächsverlauf
• Die aktuelle Frage
• Und die Antwort, die es erzeugt

Was passiert, wenn es voll ist

Je nach Aufbau wird der Anfang abgeschnitten oder die Anfrage abgewiesen. Bei langen Dialogen bedeutet das: Das Modell „vergisst", was am Anfang besprochen wurde – und tut es, ohne darauf hinzuweisen.

Grosses Fenster ist nicht automatisch besser

Zwei Gründe:

Kosten. Alles im Fenster wird bezahlt, bei jeder Anfrage erneut.

Qualität. Bei sehr langen Eingaben sinkt die Zuverlässigkeit, mit der ein Modell eine bestimmte Angabe wiederfindet – besonders wenn sie in der Mitte steht.

Ein gezielt ausgewählter Abschnitt von zwei Seiten liefert bessere Ergebnisse als ein vollständiges Handbuch.

Was daraus folgt

Nicht „alles hineinwerfen, das Modell wird schon", sondern gezielt zusammenstellen: die relevanten Abschnitte suchen und nur diese mitgeben. Das ist genau das Prinzip von RAG.

Praktischer Hinweis

Wenn ein Assistent nach längerem Gespräch anfängt, sich zu widersprechen, ist meist das Kontextfenster die Ursache – nicht das Modell.