21. Oktober 2026
Kontextfenster ist nicht gleich Kontextverständnis
Ein großes LLM Kontextfenster beschreibt zunächst nur, wie viel Text eine Anfrage aufnehmen kann. Daraus folgt nicht, dass ein Modell jede Passage gleich zuverlässig gewichtet oder aus einer großen Menge Material automatisch die beste Grundlage auswählt.
Das ist ein häufiger Fehler bei der Integration von LLMs: Wenn Dokumente, Chatverläufe, Richtlinien und Metadaten verfügbar sind, wird möglichst alles in den Prompt gelegt. Die Hoffnung ist verständlich: Mehr Information müsste doch zu besseren Antworten führen. In der Praxis kann das Gegenteil passieren.
Für eine konkrete Frage braucht ein Modell nicht möglichst viel Kontext, sondern den passenden LLM Kontext. Alles andere kann die relevante Information verdünnen.
Irrelevanter Text konkurriert mit der eigentlichen Aufgabe
Angenommen, ein Support-Assistent soll beantworten, wie ein bestimmtes Produkt konfiguriert wird. Im Prompt stehen neben der passenden Anleitung auch allgemeine Unternehmensinfos, alte Versionshinweise, mehrere ähnliche Konfigurationsbeispiele und ein langer Chatverlauf mit anderen Themen.
Dann muss das Modell zunächst herausarbeiten, was für die aktuelle Frage zählt. Ähnliche, aber unpassende Aussagen können die Antwort in eine falsche Richtung lenken. Widersprüchliche oder veraltete Inhalte können zusätzlich Unsicherheit erzeugen. Auch wenn die richtige Passage vorhanden ist, kann sie in der Menge untergehen.
Das Problem ist nicht nur fachlicher Natur. Jeder zusätzliche Abschnitt erweitert den Interpretationsraum. Für Prompt Engineering heißt das: Kontext ist kein neutraler Speicherplatz. Er beeinflusst, welche Hinweise das Modell für wichtig hält und wie eindeutig die Aufgabe erscheint.
Eine nützliche Frage lautet daher nicht: Was könnten wir dem Modell noch mitgeben? Sondern: Welche Information braucht es, um genau diese Frage belastbar zu beantworten?
Position und Reihenfolge sind Teil des Prompts
Nicht nur die Auswahl des Kontexts zählt. Auch seine Anordnung kann eine Rolle spielen. Wichtige Fakten sollten nicht zwischen langen Hintergrundabschnitten, Tabellenbeschreibungen oder alten Gesprächsteilen vergraben sein.
Ein praktisches Muster ist eine klare Reihenfolge:
- Die aktuelle Aufgabe präzise formulieren.
- Verbindliche Regeln und Einschränkungen nennen.
- Die wenigen relevanten Quellenabschnitte bereitstellen.
- Das erwartete Ausgabeformat definieren.
Wenn beispielsweise eine Antwort ausschließlich auf bereitgestellten Texten beruhen soll, gehört diese Regel sichtbar zur Aufgabe. Der konkrete Quellenauszug sollte eindeutig zuordenbar sein. Lange Vorreden, doppelte Anweisungen und Material ohne Bezug zur Frage erschweren dagegen die Verarbeitung.
Das bedeutet nicht, dass jedes Detail entfernt werden muss. Ein Fehlerfall, eine Produktversion oder eine Berechtigungsvorgabe kann entscheidend sein. Entscheidend ist die Relevanz zur aktuellen Aufgabe, nicht die bloße Verfügbarkeit der Information.
Mehr Kontext hat auch Betriebskosten
Große Prompts sind nicht nur ein Qualitätsrisiko. Sie benötigen mehr Tokens. Das kann die Latenz erhöhen und die Kosten pro Anfrage steigern. Bei Anwendungen mit vielen Anfragen summiert sich auch Kontext, der für die jeweilige Antwort keinen Nutzen hatte.
Ein pauschal befülltes Kontextfenster ist deshalb oft eine schlechte Standardstrategie. Es verbindet höhere Betriebskosten mit einer weniger klaren Aufgabenstellung. Besonders problematisch wird das, wenn immer wieder dieselben umfangreichen Dokumente übertragen werden, obwohl nur einzelne Abschnitte zur Nutzerfrage passen.
Retrieval statt Alles-hineinkippen
Die bessere Alternative ist gezieltes Retrieval LLM: Vor dem eigentlichen Modellaufruf werden die Inhalte ausgewählt, die zur Frage passen. Das können Dokumentabschnitte, Wissensdatenbankeinträge, Ticketdetails oder Teile eines Gesprächsverlaufs sein.
Ein sinnvoller Ablauf sieht typischerweise so aus:
- Nutzerfrage und gewünschte Aufgabe erfassen.
- Mögliche Quellen nach inhaltlicher Nähe suchen.
- Unpassende, doppelte und veraltete Ausschnitte aussortieren.
- Die ausgewählten Stellen mit eindeutiger Aufgabenanweisung an das Modell geben.
- Prüfen, ob die Antwort tatsächlich auf diesem Material basiert.
Retrieval ist dabei kein Selbstzweck. Eine Suche kann ebenfalls unpassende Treffer liefern. Deshalb braucht es Regeln für Aktualität, Berechtigungen, Duplikate und den Umgang mit widersprüchlichen Quellen. Dennoch ist die Richtung klar: Wenige, passende Ausschnitte sind oft hilfreicher als ein maximal gefülltes LLM Kontextfenster.
Gutes Prompt Engineering beginnt damit, Kontext als kuratierte Eingabe zu behandeln. Nicht alles, was verfügbar ist, gehört in die Anfrage. Prüft eure Prompts: Was davon braucht das Modell wirklich für diese Frage?