RAG oder Fine-Tuning? So nutzt KI dein Unternehmenswissen

Ein Sprachmodell hat nicht automatisch Zugriff auf deine internen Objektakten, Preislisten und Checklisten. Dafür musst du ihm Informationen gezielt bereitstellen. RAG sucht passende Fundstellen und gibt sie dem Modell für die Antwort mit. Fine-Tuning verändert dagegen das Modell durch zusätzliches Training. Die Verfahren konkurrieren deshalb nicht immer miteinander: Oft geht es um Fakten auf der einen und um Verhalten oder Ausgabeformate auf der anderen Seite.

RAG: erst suchen, dann antworten

RAG steht für Retrieval-Augmented Generation, auf Deutsch etwa: Antworten, die durch eine vorherige Suche ergänzt werden. Der Gedanke stammt aus der Forschung: 2020 stellte ein Team um Patrick Lewis ein Verfahren vor, das ein Sprachmodell mit einem durchsuchbaren Textbestand kombiniert, damals einem Wikipedia-Index. Im Büroalltag läuft das so:

1. Deine Dokumente werden in Abschnitte zerlegt und in einem Suchindex abgelegt.
2. Jemand stellt eine Frage.
3. Das System sucht die passendsten Abschnitte heraus.
4. Das Sprachmodell bekommt Frage und Fundstellen und formuliert die Antwort, idealerweise mit Hinweis, aus welchem Dokument sie stammt.

Der Vorteil: Das Modell muss dafür nicht neu trainiert werden. Ändert sich eine Preisliste, aktualisierst du die Quelle und den Suchindex. Erst wenn alte Fassungen entfernt, neue Inhalte indexiert und gegebenenfalls Zwischenspeicher aktualisiert sind, kann die Suche den neuen Stand verlässlich liefern. Fundstellen lassen sich als Quellen mitgeben; ob die Antwort sie richtig wiedergibt, musst du weiterhin prüfen.

Der Haken liegt in der Suche. Wird ein Abschnitt ohne seine Umgebung abgelegt, geht oft verloren, worum es überhaupt geht, zum Beispiel für welche Firma oder welchen Zeitraum eine Zahl gilt. Anthropic zeigte 2024 in eigenen Tests, dass es hilft, jedem Abschnitt eine kurze Einordnung voranzustellen und Stichwortsuche mit Bedeutungssuche zu kombinieren: Die Quote der nicht gefundenen Treffer unter den besten 20 sank dort von 5,7 auf 2,9 Prozent. Es ist ein Ergebnis aus einer Testumgebung, aber es zeigt: Die Qualität einer RAG-Lösung entscheidet sich an der Suche.

Fine-Tuning: Verhalten nachtrainieren

Beim Fine-Tuning wird ein bestehendes Modell mit zusätzlichen Beispielen weitertrainiert. Das kann etwa den Ton, ein Ausgabeformat oder die Bearbeitung wiederkehrender Aufgaben verbessern. Es garantiert weder ein fehlerfreies Format noch korrekte Inhalte. OpenAI nennt unter anderem strukturierte Ausgaben und die Korrektur wiederkehrender Fehler bei Anweisungen als Einsatzfelder. Neues Wissen kann dem Modell zusätzlich über die Eingabe, den sogenannten Prompt, bereitgestellt werden.

In zwei Forschungsarbeiten zeigte sich, warum Fine-Tuning für wechselndes Faktenwissen schwierig ist: Eine Studie von 2023 fand Vorteile für RAG gegenüber dem dort getesteten unüberwachten Fine-Tuning. Eine Arbeit von 2024 beobachtete unter ihren Versuchsbedingungen, dass das Lernen neuer Fakten Halluzinationen begünstigen kann. Das sind keine Beweise dafür, dass Fine-Tuning grundsätzlich kein Wissen vermitteln könnte. Für aktuelle, belegbare Unternehmensinformationen ist eine gepflegte Suche aber oft die praktischere Lösung.

Auch beim Nachtraining gibt es unterschiedliche Wege. LoRA trainiert zusätzliche, kleinere Matrizen, während die ursprünglichen Modellgewichte eingefroren bleiben. Im untersuchten GPT-3-Setup mit 175 Milliarden Parametern berichteten die Autoren 10.000-mal weniger trainierbare Parameter und einen dreifach geringeren GPU-Speicherbedarf gegenüber vollständigem Fine-Tuning. Die Werte sind keine pauschale Einspargarantie. Bei gehosteten Angeboten kommt die Verfügbarkeit hinzu: OpenAI schränkte 2026 den Zugang zum Self-Service-Fine-Tuning ein. Für aktive Bestandskunden endet die Möglichkeit neuer Trainingsläufe am 6. Januar 2027; bestehende Modelle bleiben nur bis zur Abschaltung ihres jeweiligen Basismodells nutzbar. Das betrifft dieses Angebot, nicht Fine-Tuning als Verfahren.

Der Vergleich in einer Tabelle

Die Tabelle fasst die Belege und unsere Einschätzung zusammen. Die Kosten sind bewusst nur grob eingeordnet, weil sie vom Anbieter, vom Umfang und von deinen Daten abhängen.

Typische Fehler

Veraltete Dokumente. Mehrere Fassungen derselben Unterlage können zu widersprüchlichen Treffern führen. Lege fest, welche Version gilt, wer sie verantwortet und wann sie abläuft. Entferne ungültige Fassungen auch aus dem Suchindex.

Keine Rechteprüfung. Wird alles in einen gemeinsamen Topf geworfen, kann jede Frage an jede Akte gelangen. Die Sicherheitsorganisation OWASP warnt in ihrer Top-10-Liste für Anwendungen mit Sprachmodellen (Ausgabe 2025) vor unzureichender Zugriffskontrolle auf die Suchdatenbank und empfiehlt fein abgestufte Rechte sowie Datenbanken, die Berechtigungen kennen. Das System muss also vor der Suche prüfen, wer fragt, und darf nur liefern, was diese Person auch im Original sehen dürfte.

Zu viel Text auf einmal. Moderne Modelle verarbeiten sehr lange Eingaben, doch das heißt nicht, dass sie sie gut nutzen. Dafür gibt es den Begriff Context Rot: Die Zuverlässigkeit sinkt, je länger die Eingabe wird. Das Forschungsteam von Chroma veröffentlichte im Juli 2025 eine Studie mit 18 Modellen. Ergebnis: Die Leistung lässt mit der Eingabelänge nach, selbst bei einfachen Aufgaben. Thematisch ähnliche, aber unpassende Textstellen verschlechterten das Ergebnis zusätzlich. Bei Fragen zu einem langen Gesprächsverlauf schnitten alle getesteten Modellfamilien mit einer kurzen, gezielt ausgewählten Eingabe besser ab als mit dem gesamten Verlauf. Die Autoren betonen, dass ihre Aufgaben bewusst einfach waren und sie im Alltag noch größere Probleme erwarten. Schon 2023 zeigte eine Studie, dass Modelle Informationen aus der Mitte langer Eingaben schlechter nutzen als vom Anfang oder Ende. Für RAG heißt das: wenige, gut gewählte Fundstellen statt alles auf einmal.

Quellenangabe ohne Gegenprobe. Auch mit Quellenangabe kann ein Modell einen Abschnitt falsch zusammenfassen. Prüfe regelmäßig Stichproben, bei Geld oder Verträgen immer (unsere Einschätzung).

Fakten ins Modell trainieren. Wenn sich Preise oder Regeln ändern, ist ihre Pflege in einer überprüfbaren Datenquelle meist einfacher als weiteres Training. Auch das gezielte Entfernen gelernter Inhalte kann aufwendig sein. Für solche Informationen empfehlen wir in der Regel RAG statt Fine-Tuning.

Kein Testset. Viele Projekte starten, ohne festzulegen, woran sich Erfolg messen lässt. Sammle vor dem Start 20 bis 30 echte Fragen aus dem Alltag samt richtiger Antwort und Fundstelle. Damit kannst du nach jeder Änderung an Dokumenten, Suche oder Modell prüfen, ob es besser oder schlechter geworden ist (unsere Einschätzung).

Wann was passt

Unsere Faustregel lautet: erst ein guter Prompt, dann RAG, und Fine-Tuning zuletzt. Im Einzelnen:

• Es geht um Fakten, die sich ändern oder die du belegen willst: RAG.
• Es geht um Ton, Aufbau oder ein festes Ausgabeformat: zuerst ein guter Prompt mit Mustertexten. Reicht das nicht und hast du viele gute Beispiele, kommt Fine-Tuning infrage.
• Beides: RAG liefert die Fakten, ein Prompt oder ein nachtrainiertes Modell die Form.
• Es sind nur wenige Seiten: Du kannst geeignete Unterlagen oft direkt als Kontext bereitstellen, ohne einen Suchindex aufzubauen. Die Umgebung muss für diese Daten freigegeben sein; auch kopierte Inhalte brauchen eine passende Rechtsgrundlage und Zugriffskontrolle.

Ein Beispiel aus dem Maklerbüro

Eine typische Situation: Ein Maklerbüro hat Objektakten mit Grundrissen und Energieausweisen, interne Checklisten und eine Sammlung von E-Mail-Vorlagen. Es gibt zwei Wünsche.

Für Fragen zu Checklisten oder vorhandenen Dokumenten kann RAG passende Fundstellen liefern. „Welche Unterlagen fehlen in dieser Akte?“ braucht aber zusätzlich einen vollständigen Aktenbestand und eine verbindliche Soll-Liste. Aus einer erfolglosen Suche folgt nicht, dass das Dokument tatsächlich fehlt. Deshalb sollte ein solcher Vollständigkeitscheck Aktenmetadaten und feste Prüfregeln nutzen. Die Rechte müssen in jedem Fall gelten: Wer eine Akte nicht öffnen darf, darf auch keine Antwort daraus erhalten.

Zweitens sollen Exposé-Entwürfe nach dem Hausstil klingen. Hier genügen meist ein paar gute Mustertexte im Prompt. Erst wenn das nicht reicht und viele geprüfte Beispiele vorliegen, lohnt der Gedanke an Fine-Tuning.

Bei einem Beraterbüro ist das Bild ähnlich: Produktunterlagen wechseln, also gehören sie in ein RAG-System, jeweils mit Datum und Gültigkeit.

Dein nächster Schritt

Du möchtest wissen, welche deiner Unterlagen sich für eine KI-Suche eignen und wo du anfangen solltest? In einem unverbindlichen Erstgespräch sortieren wir gemeinsam, was du hast, was du davon brauchst und welcher Weg zu deinem Büro passt.

Dieser Beitrag wurde mit Unterstützung von künstlicher Intelligenz erstellt und redaktionell geprüft.