Embeddings: Ähnlich heißt nicht relevant

Ähnlichkeit ist kein Urteil über die Antwort

Embeddings bilden Text als Vektoren ab. Liegen zwei Vektoren nahe beieinander, gelten ihre Texte als semantisch ähnlich. Das ist für Vektorsuche nützlich: Eine Anfrage nach Zugriffsrechten kann auch Abschnitte zu Berechtigungen oder Rollen finden, ohne dass exakt dieselben Wörter vorkommen.

Die entscheidende Einschränkung: Vektorähnlichkeit bewertet thematische Nähe, nicht die Relevanz für eine konkrete Frage. Ein Treffer kann das richtige Thema behandeln und dennoch keine brauchbare Antwort enthalten.

Angenommen, die Frage lautet: „Ist Funktion X aktiviert?“ Ein ähnlicher Abschnitt könnte erklären, wie Funktion X konfiguriert wird. Ein anderer enthält eine ältere Dokumentation, nach der sie standardmäßig aktiv war. Wieder ein anderer sagt ausdrücklich, dass sie deaktiviert ist. Alle drei Texte können semantisch nah an der Frage liegen. Nur einer beantwortet sie im passenden Kontext.

Für RAG ist das zentral. Ein Sprachmodell kann nur mit dem arbeiten, was der Retrieval-Schritt liefert. Kommt ein thematisch passender, aber sachlich unpassender Chunk in den Kontext, steigt das Risiko einer falschen oder unvollständigen Antwort.

Chunking bestimmt, was überhaupt gefunden werden kann

Vor der Vektorsuche wird ein Dokument in Abschnitte, sogenannte Chunks, zerlegt. Diese Zerlegung ist keine bloße Vorverarbeitung. Sie definiert die Einheiten, die gesucht, bewertet und später an das Modell übergeben werden.

Zu große Chunks vermischen mehrere Aussagen. Ein Abschnitt kann dann gleichzeitig eine Regel, eine Ausnahme und eine historische Änderung enthalten. Der Embedding-Vektor repräsentiert einen breiten Mittelwert des Inhalts; die konkrete Antwort wird schwerer auffindbar.

Zu kleine Chunks haben das gegenteilige Problem: Der Kontext geht verloren. Eine Verneinung, eine Bedingung oder eine Überschrift kann im Nachbarabschnitt stehen. Ein isolierter Satz wie „Dies gilt nicht für externe Konten“ ist ohne vorherige Regel kaum verwertbar.

Ein typisches Ziel ist daher: Chunks entlang fachlicher Grenzen schneiden, etwa nach Überschriften, Absätzen, Einträgen einer FAQ oder einzelnen Verfahrensschritten. Ein kleiner Überlappungsbereich kann helfen, Übergänge zu erhalten. Entscheidend ist nicht eine universelle Chunk-Größe, sondern dass ein Chunk eine möglichst vollständige Aussage trägt.

Zusätzlich sollten Metadaten erhalten bleiben: Dokumenttitel, Abschnitt, Version, Gültigkeitsbereich oder Aktualitätsstand. Sie helfen später bei Filterung und Bewertung.

RAG Hybrid-Suche statt entweder oder

Vektorsuche ist stark bei Umschreibungen und verwandten Begriffen. Sie ist aber nicht darauf ausgelegt, exakte Zeichenfolgen besonders zu priorisieren. Das ist problematisch bei Produktnamen, Fehlercodes, Kennungen, API-Feldern oder juristisch definierten Begriffen.

Die RAG Hybrid-Suche kombiniert deshalb zwei Perspektiven:

• Stichwortsuche findet exakte oder seltene Begriffe zuverlässig.
• Vektorsuche findet semantisch ähnliche Formulierungen.

Bei einer Anfrage mit einer Kennung sollte ein Chunk, der diese Kennung enthält, nicht verschwinden, nur weil ein allgemeinerer Text semantisch etwas näher liegt. Umgekehrt soll eine Frage in Alltagssprache auch dann Treffer liefern, wenn die Dokumentation eine andere Terminologie nutzt.

Die Ergebnisse beider Suchwege werden zusammengeführt. Dabei können Metadaten zusätzlich harte Grenzen setzen, etwa auf eine bestimmte Dokumentversion oder einen Bereich. Das ersetzt keine Relevanzbewertung, verhindert aber viele offensichtlich unpassende Treffer.

Re-Ranking bewertet die Frage gegen den Treffer

Nach der ersten Suche liegen meist mehrere Kandidaten vor. Sie sind schnell ermittelt, aber ihre Reihenfolge folgt häufig einer groben Ähnlichkeitsbewertung. Re-Ranking ist der zweite Schritt: Die Anfrage wird jeweils zusammen mit einem Kandidaten betrachtet, um die Relevanz neu zu bewerten und die Reihenfolge anzupassen.

Das ist besonders hilfreich, wenn mehrere Chunks ähnliche Begriffe enthalten, aber unterschiedliche Aussagen treffen. Ein Re-Ranker kann besser unterscheiden, ob ein Abschnitt eine Definition erklärt, eine Ausnahme nennt oder die konkrete Frage beantwortet.

Ein robuster Ablauf sieht daher so aus:

1. Dokumente in inhaltlich geschlossene Chunks zerlegen und Metadaten speichern.
2. Kandidaten über Stichwort- und Vektorsuche abrufen.
3. Kandidaten zusammenführen und bei Bedarf filtern.
4. Die besten Kandidaten per Re-Ranking nach Frage-Relevanz sortieren.
5. Nur die vorderen, passenden Abschnitte in den RAG-Kontext geben.

Embeddings Relevanz entsteht damit nicht allein durch einen besseren Vektor. Relevanz ist eine Pipeline-Eigenschaft: Der passende Kontext muss als Einheit vorliegen, über mehrere Signale gefunden und vor der Antwort erneut bewertet werden.

Prüft eure Suche: Findet sie, was ähnlich klingt, oder was die Frage beantwortet?