RAG
Ein Sprachmodell antwortet auf Basis von Textstellen, die vorher passend zur Frage gesucht wurden.
Retrieval-Augmented Generation, kurz RAG, verbindet eine Suche mit einem Sprachmodell. Bevor das Modell antwortet, sucht ein System in einer eigenen Wissensbasis die Textstellen heraus, die am besten zur Frage passen, und gibt sie dem Modell als Kontext mit. So beantwortet ein Modell Fragen zu Inhalten, die es aus dem Training nicht kennt, zum Beispiel zu deinen Dokumenten oder zu Podcast-Transkripten.
So läuft es ab:
- Zerlegen: Die Inhalte werden in Abschnitte geteilt.
- Einbetten: Jeder Abschnitt wird als Vektor (Embedding) gespeichert, meist in einer Vektordatenbank.
- Suchen: Die Frage wird ebenfalls in einen Vektor übersetzt, und die ähnlichsten Abschnitte werden geholt.
- Antworten: Das Sprachmodell formuliert die Antwort aus diesen Abschnitten und kann sie als Quellen nennen.
Stärken:
- Eigenes und aktuelles Wissen ohne neues Training des Modells
- Antworten mit nachvollziehbaren Quellen
Grenzen:
- Die Antwort ist nur so gut wie die gefundenen Abschnitte und die Qualität der Quelltexte.
- Das Modell kann Stellen falsch zusammenfassen oder falsch verknüpfen.
Best Practice: Lass dir immer die Quellen zeigen und prüf wichtige Aussagen dort nach. RAG ersetzt kein Gegenlesen, es macht es nur schneller.
Beispiel bei uns: Ungeprüftes Wissen durchsucht die Transkripte aller Folgen von MANGOBLAU/AI per RAG und nennt zu jeder Antwort Folge und Zeitstempel.
