Große Sprachmodelle beeindrucken im Alltag — und enttäuschen im Unternehmenseinsatz, sobald es konkret wird. Auf die Frage nach der Kündigungsfrist im Wartungsvertrag mit Kunde X kann ein Modell nur raten, denn dieses Wissen stand nie in seinen Trainingsdaten. Genau dieses Problem löst Retrieval Augmented Generation, kurz RAG — der derzeit pragmatischste Weg, KI mit firmeneigenem Wissen produktiv zu machen.
Das Prinzip: Nachschlagen statt auswendig wissen
RAG kombiniert zwei Schritte. Zuerst durchsucht das System die eigenen Wissensquellen — Dokumente, Wikis, Ticketsysteme, Verträge — nach den Passagen, die zur Frage passen. Dann formuliert das Sprachmodell die Antwort auf Basis genau dieser Fundstellen, idealerweise mit Quellenangabe. Das Modell muss das Firmenwissen also nicht „gelernt“ haben, es bekommt die relevanten Auszüge zur Laufzeit gereicht. Das reduziert Halluzinationen deutlich und macht Antworten überprüfbar.
Warum RAG meist besser passt als eigenes Training
Der Reflex, ein Modell mit eigenen Daten nachzutrainieren, ist verständlich — aber selten wirtschaftlich. Feintuning ist teuer, muss bei jeder Wissensänderung wiederholt werden und kann Berechtigungen nicht abbilden. RAG dagegen arbeitet immer auf dem aktuellen Dokumentenstand, respektiert Zugriffsrechte auf Ebene der Quellen und lässt sich mit überschaubarem Aufwand aufsetzen. Für die typischen Anwendungsfälle — interner Wissensassistent, Support-Unterstützung, Vertrags- und Dokumentenauskunft — ist es fast immer die richtige Architektur.
Die eigentliche Arbeit liegt in den Daten
Ein RAG-System ist nur so gut wie das Wissen, das es findet. Veraltete Handbücher, sieben Versionen derselben Richtlinie, Wissen in Köpfen statt in Dokumenten — all das schlägt direkt auf die Antwortqualität durch. Erfolgreiche Projekte beginnen deshalb nicht mit der Modellauswahl, sondern mit einer Bestandsaufnahme der Wissensquellen: Was ist aktuell, was ist redundant, was fehlt? Dazu kommen Berechtigungen: Der Assistent darf der Praktikantin keine Gehaltslisten zitieren, nur weil sie danach fragt.
Klein starten, messbar bleiben
Bewährt hat sich ein fokussierter Pilot: ein Anwendungsfall, eine begrenzte Wissensbasis, eine klar definierte Nutzergruppe — etwa der Support mit seiner Knowledge Base. Nach vier bis sechs Wochen zeigt sich an harten Kennzahlen wie Antwortqualität und Suchzeitersparnis, ob der Ausbau lohnt. So bleibt das Vorhaben ein Investitionsprojekt mit Rendite statt eines Experiments ohne Ende.
Fazit
RAG macht aus generischer KI einen Assistenten, der die eigene Organisation kennt — aktuell, nachvollziehbar und mit kontrollierbaren Kosten. Wenn Sie einen geeigneten Pilotfall identifizieren möchten, unterstützen wir Sie gern: Kontakt aufnehmen.
