RAG ist eine Architektur, die Sprachmodellen ermöglicht, vor der Antwortgenerierung externe Wissensbasen zu durchsuchen, statt ausschließlich auf Trainingsdaten zurückzugreifen. Das Ergebnis: faktenbasierte, aktuelle Antworten mit nachvollziehbaren Quellen.
Analogy: Das offene Buch im Gegensatz zum Lernen aus dem Gedächtnis. RAG ermöglicht es der KI, definierte Wissensbasen — wie interne Dokumente, Handbücher oder Datenbanken — zu konsultieren und auf Basis konkreter Quellen zu antworten.
RAG vs. klassisches LLM
| Aspekt | Klassisches LLM | LLM mit RAG |
|---|---|---|
| Wissensquelle | Statische Trainingsdaten | Live-Dokumente extern |
| Aktualität | Bis zum Trainings-Cutoff | Immer aktuell |
| Halluzinationen | Hohes Risiko | Deutlich reduziert |
| Quellenangabe | Nicht möglich | Ja, pro Antwort |
| Eigenes Wissen | Nicht integrierbar | Kern des Systems |
Wie RAG funktioniert
- Anfrage empfangen: Nutzer stellt eine Frage oder Aufgabe
- Retrieval: System durchsucht gespeicherte Dokumente semantisch — nach Bedeutung, nicht nach Schlüsselwörtern
- Augmentierung: Gefundene Passagen werden als Kontext an das Sprachmodell übergeben
- Generierung: Das Modell formuliert Antworten auf Basis der gefundenen Quellen, optional mit Zitaten
Name: Retrieval (Suchen) + Augmented (Anreichern) + Generation (Antworten)
Praxisanwendungen im Mittelstand
Internes Wissensmanagement: Mitarbeiter fragen Handbücher und SOPs in natürlicher Sprache ab; das System antwortet mit Quellenangaben.
Kundensupport: KI-Agenten beantworten Anfragen auf Basis aktueller Produktdokumentation und FAQs — präzise, konsistent, immer auf dem neuesten Stand.
Compliance und Recht: Regulatorische Fragen werden mit Verweis auf konkrete Gesetze, Verträge und interne Richtlinien beantwortet.
Häufige Fragen
RAG vs. Fine-Tuning? Fine-Tuning trainiert das Modell selbst nach — aufwendig und bei jeder Wissensänderung zu wiederholen. RAG hält Wissen extern, jederzeit ohne Neutraining aktualisierbar.
Welche Dokumentenformate werden unterstützt? PDFs, Word-Dokumente, Excel-Tabellen, E-Mails, Webseiten, Datenbankeinträge — im Wesentlichen alles, was in Text umgewandelt werden kann.
Datensicherheit? Wissensbasen verbleiben auf eigener Infrastruktur oder DSGVO-konformen Cloud-Anbietern.
Eliminiert RAG Halluzinationen vollständig? Es reduziert sie drastisch, eliminiert sie aber nicht vollständig. Wenn Informationen nicht in der Wissensbasis vorhanden sind, kann das Modell auf Trainingswissen zurückgreifen. Qualitatives Retrieval-Design und Guardrails sind essenziell.
Verwandte Begriffe
- KI-Agent — Wie Agenten RAG nutzen
- Knowledge Graph — RAG mit strukturiertem Wissen
- Halluzinationen — Was RAG verhindert
- LLM — Das Modell hinter RAG