Prompt Caching: Die Reihenfolge im Prompt kostet Geld

Prompt Caching hängt am Anfang

Prompt Caching kann wiederkehrende Eingaben effizienter machen. Entscheidend ist dabei nicht nur, was im Prompt steht, sondern in welcher Reihenfolge. Der Cache greift auf einen identischen Anfang des Prompts. Er sucht also nicht beliebig nach gleichen Textbausteinen irgendwo im Request.

Für Anwendungen in Produktion ist das eine Architekturfrage. Wenn viele Requests denselben System-Prompt, dieselben Werkzeugdefinitionen und denselben Dokumentkontext verwenden, liegt genau dort der wiederverwendbare Teil. Dieser Teil muss am Anfang stehen.

Eine frühe Änderung entwertet den Rest

Eine Änderung weit vorn macht alles dahinter zum Cache-Miss. Das gilt auch dann, wenn der gesamte nachfolgende Prompt exakt gleich geblieben ist.

Ein typisches ungünstiges Muster sieht so aus:

Zeitstempel: 2026-10-07T09:30:00Z
Nutzer: Maria
Aktuelle Frage: Wie ändere ich meine Adresse?
 
System-Anweisung: Du beantwortest Support-Anfragen präzise.
Werkzeuge: Suche, Kundendaten, Ticket-Erstellung
Dokumentkontext: Richtlinien und Produktinformationen

Der Zeitstempel, der Nutzername und die Frage ändern sich praktisch bei jeder Anfrage. Der gemeinsame Anfang ist damit früh unterbrochen. Die stabilen und möglicherweise umfangreichen Teile folgen zwar, können aber nicht mehr auf dem gemeinsamen Präfix aufbauen.

Das Problem ist nicht auf sichtbare Nutzerdaten beschränkt. Auch ein Zeitstempel im System-Prompt macht den Cache ungültig, wenn er bei jeder Anfrage neu gesetzt wird. Dasselbe gilt für eine wechselnde Reihenfolge der Werkzeugdefinitionen. Inhaltlich können die Werkzeuge identisch sein. Für einen Präfix-Vergleich ist eine andere Reihenfolge trotzdem eine Änderung.

Die robuste Reihenfolge

Die Regel ist einfach: Stabile Teile nach vorn, Variables nach hinten.

System-Anweisung: Du beantwortest Support-Anfragen präzise.
Werkzeuge in fester Reihenfolge: Suche, Kundendaten, Ticket-Erstellung
Dokumentkontext: Richtlinien und Produktinformationen
 
Zeitstempel: 2026-10-07T09:30:00Z
Nutzer: Maria
Aktuelle Frage: Wie ändere ich meine Adresse?

So beginnt jeder vergleichbare Request mit demselben Abschnitt. Erst nachdem der wiederverwendbare Kontext vollständig platziert ist, folgen Anfrage-spezifische Daten.

Das ist besonders relevant, wenn Werkzeugdefinitionen oder feste Dokumente viel Kontext einnehmen. Sie gehören nicht nur logisch zum Setup, sondern auch technisch an eine stabile Position. Ihre Reihenfolge sollte deterministisch sein. Wenn Definitionen etwa aus mehreren Quellen zusammengesetzt werden, muss die Sortierung vor dem Senden feststehen.

Prompt-Template gezielt prüfen

Prüfe dein Template nicht nur auf Inhalt, sondern auf Veränderlichkeit. Eine nützliche Einteilung hat drei Gruppen:

Der mittlere Bereich verdient Aufmerksamkeit. Wird ein Dokument aktualisiert, verändert das erwartbar den gemeinsamen Anfang ab dieser Stelle. Das ist kein Fehler. Problematisch wird es, wenn eigentlich stabile Inhalte unbeabsichtigt pro Request anders formatiert, anders sortiert oder mit dynamischen Metadaten ergänzt werden.

Auch Leerzeichen, Reihenfolgen und automatisch erzeugte Abschnitte solltest du bewusst behandeln, sofern sie Teil des gesendeten Prompts sind. Das Ziel ist nicht, jeden Prompt künstlich gleich zu machen. Das Ziel ist, den tatsächlich gemeinsamen Kontext sauber vor den individuellen Request zu setzen.

Nicht vermuten, Nutzungsangaben prüfen

Ob die Reihenfolge in deiner Integration wirkt, sollte nicht nur aus dem Template abgeleitet werden. Prüfe in der Antwort die Nutzungsangaben zu Cache-Treffern. Diese Angaben zeigen, ob ein Request vom Cache profitiert hat oder ob der Kontext erneut verarbeitet wurde.

Vergleiche dafür bewusst gleichartige Anfragen: einmal mit stabilem Anfang und einmal mit einer variablen Information ganz vorn. So wird sichtbar, ob dynamische Werte, Werkzeugreihenfolgen oder System-Metadaten den gemeinsamen Präfix brechen.

Mein Rat: Behandle die Prompt-Reihenfolge wie einen Teil der Schnittstelle. System-Prompt, Werkzeuge und feste Dokumente sind der stabile Rahmen. Die konkrete Anfrage kommt danach.

Schau heute in dein Prompt-Template: Steht etwas Variables ganz oben?