RAG-System erklärt: So beantwortet KI Fragen aus Ihren eigenen Dokumenten

Was ist ein RAG-System?

Ein RAG-System ist eine KI-Architektur, bei der ein großes Sprachmodell (LLM) seine Antworten nicht allein aus dem erzeugt, was es im Training gelernt hat, sondern aus Dokumenten, die ihm zum Zeitpunkt der Anfrage gezielt bereitgestellt werden. RAG steht für Retrieval-Augmented Generation – „durch Abruf angereicherte Generierung“. Der Begriff stammt aus einer Veröffentlichung von Patrick Lewis und Kollegen bei Meta AI aus dem Jahr 2020, ist aber erst mit ChatGPT und dem Bedürfnis, KI mit eigenen Unternehmensdaten zu verbinden, zum Standardmuster geworden.

Das Problem, das RAG löst, kennt jeder, der ein Sprachmodell nach internen Dingen gefragt hat: Es weiß nichts über Ihre Preisliste, Ihre Verträge oder Ihr Produkthandbuch – und erfindet im Zweifel eine plausible Antwort. Ein RAG-System gibt dem Modell das relevante Wissen in dem Moment, in dem es gebraucht wird. Die Antwort bleibt sprachlich so gut wie bei ChatGPT, inhaltlich kommt sie aus Ihren Quellen, und sie lässt sich belegen.

Wie funktioniert Retrieval-Augmented Generation?

Ein RAG-System besteht aus zwei Phasen. Die erste läuft einmalig beziehungsweise bei jeder Aktualisierung der Dokumente, die zweite bei jeder Anfrage.

Phase 1: Indexierung der Wissensbasis

• ▸Dokumente sammeln: PDFs, Word-Dateien, Wiki-Seiten, Tickets, E-Mails, Datenbankeinträge – alles, was später abfragbar sein soll.
• ▸Chunking: Die Dokumente werden in Abschnitte („Chunks“) von typischerweise 200 bis 1.000 Wörtern zerlegt. Zu kleine Chunks verlieren Zusammenhang, zu große verwässern die Suche. Chunking-Strategien entlang von Überschriften und Absätzen schlagen starre Zeichenzahlen deutlich.
• ▸Vektorisierung (Embedding): Jeder Chunk wird von einem Embedding-Modell in einen Zahlenvektor übersetzt – eine numerische Darstellung seiner Bedeutung. Texte mit ähnlichem Inhalt liegen im Vektorraum nah beieinander, auch wenn sie unterschiedliche Wörter verwenden.
• ▸Speichern: Vektoren plus Metadaten (Quelle, Datum, Abteilung, Zugriffsrechte) landen in einer Vektordatenbank wie pgvector, Qdrant, Weaviate oder Pinecone.

Phase 2: Abruf und Generierung bei jeder Anfrage

• ▸Die Nutzerfrage wird mit demselben Embedding-Modell vektorisiert.
• ▸Retrieval: Die Vektordatenbank liefert die Chunks, deren Vektoren der Frage am nächsten liegen – eine semantische Suche, die „Urlaubsanspruch“ und „wie viele freie Tage habe ich“ als dasselbe Thema erkennt. Moderne Systeme kombinieren Vektorsuche mit klassischer Stichwortsuche (Hybrid Search) und sortieren die Treffer mit einem Re-Ranking-Modell.
• ▸Augmentation: Die besten drei bis zehn Chunks werden zusammen mit der Frage und einer Anweisung („Antworte nur auf Basis der folgenden Quellen, nenne die Fundstelle“) in den Prompt des Sprachmodells eingefügt.
• ▸Generation: Das LLM formuliert die Antwort aus dem bereitgestellten Kontext und zitiert idealerweise die Quelle. Findet das Retrieval nichts Passendes, soll das Modell das sagen – statt zu raten.

Was unterscheidet RAG von einem LLM?

Die Frage ist schief gestellt, taucht aber ständig auf: RAG ist kein Konkurrent zum LLM, sondern ein Aufsatz darauf. Das LLM ist das Sprachmodell – GPT, Claude, Gemini, Llama, Mistral. RAG ist die Methode, es mit externem Wissen zu versorgen. Ein LLM allein antwortet aus seinem Trainingsstand, der Monate alt ist und Ihre Daten nicht enthält. Ein LLM mit RAG antwortet aus Ihren aktuellen Dokumenten. Das Modell bleibt dasselbe; was sich ändert, ist die Informationsquelle.

Ist ChatGPT ein RAG-System? Im Kern ist ChatGPT ein Sprachmodell mit Chat-Oberfläche. Wenn es das Web durchsucht oder hochgeladene Dateien liest, nutzt es allerdings RAG-Mechanismen: Es ruft Inhalte ab und generiert daraus. Auch „Projekte“ und „Custom GPTs“ mit Wissensdateien arbeiten nach diesem Prinzip. Ein unternehmensweites RAG-System geht weiter – mit eigener Wissensbasis, Rechteverwaltung, Quellenangaben und Anbindung an interne Systeme.

RAG oder Fine-Tuning – wann lohnt sich was?

In der Praxis ist RAG für über 90 % der Unternehmensanwendungen die richtige Wahl: Es ist günstiger, aktualisierbar und nachvollziehbar. Fine-Tuning lohnt sich, wenn das Modell eine bestimmte Ausdrucksweise oder ein Ausgabeformat zuverlässig beherrschen soll – und wird dann oft mit RAG kombiniert. Ein Sonderfall sind riesige Kontextfenster moderner Modelle: Wer nur 50 Seiten abfragen will, kann sie komplett in den Prompt laden. Bei 5.000 Seiten, Rechteverwaltung und Kostenkontrolle führt an RAG kein Weg vorbei.

Welche Vorteile bietet ein RAG-System?

• ▸Weniger Halluzinationen: Das Modell antwortet aus vorgelegten Quellen und kann angewiesen werden, bei fehlendem Kontext passen zu sagen.
• ▸Aktualität: Neue Preisliste hochladen – die KI kennt sie sofort, ohne Training und Wartezeit.
• ▸Belegbarkeit: Jede Antwort kann auf Dokument und Abschnitt verweisen. Für Compliance, Kundenservice und interne Suche ist das der entscheidende Unterschied zu einer Black Box.
• ▸Datenschutz und Zugriffskontrolle: Die Dokumente bleiben in Ihrer Infrastruktur; über Metadaten lässt sich steuern, welcher Nutzer welche Quellen sehen darf.
• ▸Modellunabhängigkeit: Das Sprachmodell ist austauschbar. Wird ein besseres oder günstigeres Modell verfügbar, bleibt die Wissensbasis unverändert.
• ▸Kosten: Statt ein Modell mit Millionen Dokumenten zu trainieren, zahlen Sie nur für die Tokens der tatsächlich abgerufenen Auszüge.

Wofür eignet sich RAG besonders?

• ▸Interne Wissenssuche: Mitarbeitende fragen in natürlicher Sprache nach Prozessen, Richtlinien, Verträgen oder technischen Dokumentationen – statt SharePoint zu durchwühlen.
• ▸Kundenservice: Ein Chatbot, der aus Handbüchern, FAQ und Ticket-Historie antwortet und die Quelle nennt. Weil die Antworten aus geprüften Dokumenten stammen, sinkt auch das Haftungsrisiko, das wir im Beitrag zur KI-Chatbot-Haftung beschreiben.
• ▸Vertrieb und Angebote: Produktdaten, Referenzen und frühere Angebote abrufen, um Anfragen schnell und konsistent zu beantworten.
• ▸Recht und Compliance: Verträge, Normen und interne Regelwerke abfragen – mit Fundstelle.
• ▸Technischer Support und Instandhaltung: Fehlercodes, Wartungsanleitungen und Servicehistorie eines Geräts in einer Antwort.
• ▸Gedächtnis für KI-Agenten: KI-Agenten, die Aufgaben ausführen, brauchen Firmenwissen – RAG ist ihr Langzeitgedächtnis.

Wie baut man ein RAG-System auf?

Die Bausteine sind 2026 Standardware; die Arbeit steckt in der Datenqualität. So gehen wir vor:

• ▸1. Anwendungsfall und Fragen definieren: 30 bis 50 echte Fragen sammeln, die das System beantworten soll, mit den „richtigen“ Antworten. Das ist später Ihr Testset.
• ▸2. Quellen auswählen und bereinigen: Veraltete Versionen, Duplikate und Entwürfe raus. Ein RAG-System, das drei widersprüchliche Preislisten findet, antwortet widersprüchlich.
• ▸3. Pipeline aufsetzen: Dokumente einlesen (inklusive Tabellen und Scans per OCR), sinnvoll chunken, mit Metadaten versehen, einbetten, in die Vektordatenbank schreiben. Frameworks wie LangChain oder LlamaIndex beschleunigen das, fertige Plattformen wie Azure AI Search, Google Vertex AI Search oder Amazon Bedrock Knowledge Bases nehmen die Infrastruktur ab.
• ▸4. Retrieval optimieren: Hybrid Search, Re-Ranking, Anzahl der abgerufenen Chunks, Metadaten-Filter. Hier entstehen die meisten Qualitätsgewinne.
• ▸5. Prompt und Modell festlegen: Klare Anweisung, nur aus Quellen zu antworten; Quellenangabe erzwingen; Modell nach Kosten und Qualität wählen – oft reicht ein kleineres Modell, wenn der Kontext gut ist.
• ▸6. Evaluieren und betreiben: Testset durchlaufen lassen, Trefferquote und Antwortqualität messen, Nutzerfeedback sammeln, Dokumente aktuell halten. Ein RAG-System ist ein Produkt, kein Projekt.

Herausforderungen und typische Fehler

• ▸Schlechte Daten: Das häufigste Problem. Unstrukturierte PDFs mit Tabellen, gescannte Dokumente, veraltete Inhalte. Datenaufbereitung ist 60 % des Aufwands.
• ▸Falsches Chunking: Wird eine Tabelle in der Mitte zerschnitten oder eine Klausel von ihrer Überschrift getrennt, findet die Suche sie nicht oder das Modell versteht sie falsch.
• ▸Retrieval-Fehler: Die richtige Antwort steht im Dokument, wird aber nicht abgerufen – wegen unpassender Formulierung, zu vieler ähnlicher Chunks oder fehlender Metadaten-Filter. Deshalb ist ein Testset Pflicht.
• ▸Zu viel Kontext: Zehn halbwegs passende Chunks sind schlechter als drei richtige. Mehr Kontext kostet Tokens und verwirrt das Modell.
• ▸Fehlende Rechteverwaltung: Wenn die Gehaltsliste im Index liegt, findet sie jeder, der danach fragt. Zugriffsrechte müssen im Retrieval durchgesetzt werden, nicht erst in der Oberfläche.
• ▸Halluzination trotz RAG: Das Modell ignoriert den Kontext oder ergänzt ihn. Gegenmittel: strikte Prompts, Quellenpflicht, bei sensiblen Anwendungen eine Prüfung durch Menschen – siehe Human-in-the-Loop.

Unser Fazit

RAG ist die Brücke zwischen generativer KI und Ihrem tatsächlichen Geschäft. Es macht aus einem Sprachmodell, das alles und nichts weiß, ein System, das Ihre Dokumente kennt, Quellen nennt und sich mit jedem neuen Dokument aktualisiert. Die Technik ist ausgereift und bezahlbar; der Erfolg hängt an sauberen Daten, durchdachtem Retrieval und ehrlicher Evaluation. Wer diese drei Dinge ernst nimmt, hat in wenigen Wochen eine Wissenssuche, die das Unternehmen jeden Tag nutzt.