RAG einfach erklärt: So nutzt KI Ihr Firmenwissen

Wie RAG funktioniert: vier Schritte

Der Effekt: keine halluzinierten Fakten aus dem Trainingswissen, keine veralteten Preislisten. Ändert sich ein Dokument, ändert sich die Antwort, ohne dass das Modell neu trainiert werden muss.

• Vorbereiten: Ihre Dokumente werden in sinnvolle Abschnitte zerlegt und als durchsuchbare Vektoren abgelegt.
• Suchen: Kommt eine Frage, findet das System die passenden Abschnitte, unabhängig von der Wortwahl.
• Belegen: Die gefundenen Stellen werden der Anfrage des Modells beigefügt, samt Herkunft.
• Antworten: Das Modell formuliert die Antwort nur aus diesen Stellen und nennt die Quellen.

Ein Beispiel aus der Praxis

Ein Handwerksbetrieb speichert Leistungsverzeichnisse, Hersteller-Datenblätter und interne Arbeitsanweisungen. Die Frage 'Was gilt bei uns bei Reklamationen innerhalb der Gewährleistung?' wird beantwortet aus den eigenen AGB und der internen Regelung, mit Verweis auf beide Dokumente. Dieselbe Frage stellt ein öffentlicher Chatbot aus allgemeinem Halbwissen zusammen, ohne Bezug zu Ihrem Betrieb.

RAG oder Fine-Tuning: der Unterschied in einem Satz

RAG bringt Ihr Wissen zur Antwortzeit ins Modell, Fine-Tuning bringt Ihr Wissen dauerhaft ins Modell hinein. RAG ist günstig, aktuell und nachprüfbar; Fine-Tuning lohnt für Stil und Fachsprache. Die ausführliche Entscheidungstabelle steht auf unserer Trainings-Seite (unten verlinkt).

Warum RAG und lokale LLMs zusammen gehören

RAG benötigt Zugriff auf Ihre Dokumente. Läuft das Modell lokal, bleiben auch die Dokumente im Haus, das System funktioniert offline, und die Suchdaten stehen nicht bei einem Cloud-Anbieter. Für sensible Unternehmensdaten ist das die risikoärmste Architektur.