RAG oder Fine-Tuning? Der Vergleich einfach erklärt
RAG oder Fine-Tuning? Beide Verfahren bringen ein Sprachmodell dazu, mit Ihrem Unternehmenswissen zu arbeiten, aber auf völlig unterschiedliche Weise: RAG gibt dem Modell bei jeder Frage passende Dokumente mit, Fine-Tuning trainiert das Modell selbst weiter. Dieser Ratgeber erklärt Funktionsweise, Bestandteile und Varianten, vergleicht beide in einer Tabelle, zeigt Nutzen und Grenzen, die rechtlichen Punkte aus DSGVO und KI-Verordnung und wann sich eine eigene Lösung lohnt.
Die Antwort in einem Satz
RAG ändert, was das Modell weiß, Fine-Tuning ändert, wie das Modell sich verhält. Wer Fragen zu Handbüchern, Verträgen, Richtlinien oder Produktdaten beantworten möchte, beginnt fast immer mit RAG. Wer ein festes Format, eine Fachsprache oder eine wiederkehrende Klassifikation braucht, die mit guten Anweisungen allein nicht zuverlässig gelingt, prüft Fine-Tuning.
Wie RAG funktioniert
- Dokumente aufbereiten: Handbücher, Wiki-Seiten, PDFs und Tickets werden in Abschnitte zerlegt und als Vektoren in einer Datenbank gespeichert, zusammen mit Quelle und Zugriffsrechten.
- Suchen: Zu jeder Frage sucht das System die inhaltlich passenden Abschnitte, oft kombiniert mit klassischer Stichwortsuche.
- Antworten: Die gefundenen Abschnitte gehen zusammen mit der Frage an das Sprachmodell, das daraus eine Antwort formuliert und die Quellen nennt.
Ändert sich ein Dokument, wird nur dieses neu eingelesen. Das Modell bleibt unverändert und lässt sich austauschen. Wie eine solche interne Wissenssuche im Betrieb aussieht, beschreibt unsere Seite KI-Wissensdatenbank.
Wie Fine-Tuning funktioniert
- Beispiele sammeln: Hunderte bis Tausende Paare aus Eingabe und gewünschter Ausgabe, etwa E-Mail und korrekte Kategorie oder Rohtext und fertiger Bericht.
- Trainieren: Ein vorhandenes Modell wird mit diesen Beispielen weiter trainiert. Bei verbreiteten Verfahren wie LoRA werden nur kleine Zusatzgewichte angepasst.
- Bewerten: Das neue Modell wird an zurückgehaltenen Beispielen geprüft, bevor es in Betrieb geht.
Das Ergebnis ist ein eigenes Modell oder eine eigene Modellvariante. Neues Wissen kommt nur durch erneutes Training hinein.
Der Vergleich: Bestandteile und Eigenschaften
| Merkmal | RAG | Fine-Tuning |
|---|---|---|
| Was sich ändert | Der Kontext jeder Anfrage | Die Gewichte des Modells |
| Bausteine | Dokumentenaufbereitung, Vektordatenbank, Suche, Sprachmodell | Trainingsdaten, Trainingslauf, Bewertung, Modellbetrieb |
| Aktualität | Neue Dokumente sofort nutzbar | Wissen auf dem Stand des letzten Trainings |
| Quellenangabe | Ja, je Antwort | Nein, Wissen ist nicht mehr zuordenbar |
| Zugriffsrechte | Pro Dokument und Person steuerbar | Was im Modell steckt, kann jede Person abrufen |
| Stärke | Fakten, Nachschlagen, wechselndes Wissen | Stil, Format, Fachsprache, Klassifikation |
| Datenbedarf | Vorhandene Dokumente | Viele sorgfältig geprüfte Beispiele |
| Löschen von Daten | Dokument entfernen, Index aktualisieren | Neues Training ohne die Daten |
| Modellwechsel | Einfach | Training muss wiederholt werden |
Varianten und Mischformen
- Klassisches RAG: Vektorsuche plus Sprachmodell, der übliche Einstieg.
- Hybride Suche: Vektor- und Stichwortsuche kombiniert, oft mit einem zweiten Sortierschritt. Hilft bei Artikelnummern, Paragrafen und Fachbegriffen.
- Agentisches RAG: Ein KI-Agent entscheidet selbst, welche Quellen er in mehreren Schritten abfragt, etwa Dokumente und zusätzlich das ERP.
- Vollständiges Fine-Tuning: alle Gewichte werden angepasst, nur bei offenen Modellen und großem Datenbestand sinnvoll.
- Parameter-effizientes Fine-Tuning (LoRA): kleine Zusatzgewichte, schneller und mit weniger Rechenaufwand.
- Kombination: ein feinabgestimmtes Modell für Format und Ton, RAG für die Fakten.
Oft reicht keines von beiden: Gute Anweisungen und einige Beispiele im Prompt lösen viele Aufgaben bereits. Der Vergleich lohnt sich erst, wenn diese einfachste Stufe gemessen nicht genügt.
Nutzen und Grenzen
RAG, Nutzen: aktuelles Wissen ohne Training, belegbare Antworten mit Quelle, Rechte pro Dokument, freier Modellwechsel. Grenzen: Die Antwort ist nur so gut wie die Suche; schlecht strukturierte oder widersprüchliche Dokumente führen zu schwachen Antworten, und jede Anfrage braucht mehr Kontext und damit mehr Rechenleistung.
Fine-Tuning, Nutzen: konsistentes Format und Verhalten, kürzere Prompts, bei kleinen Modellen schnelle Antworten. Grenzen: Fakten werden nicht verlässlich gespeichert, Quellen fehlen, Trainingsdaten müssen aufwendig erstellt und geprüft werden, und bei jedem neuen Basismodell beginnt die Arbeit erneut.
In beiden Fällen gilt: Sprachmodelle können plausible, aber falsche Antworten erzeugen. Ohne Testfragen mit bekannten Antworten und laufende Messung lässt sich kein Verfahren seriös beurteilen.
Rechtliche Punkte: DSGVO und KI-Verordnung
Löschung: Betroffene können verlangen, dass sie betreffende personenbezogene Daten unverzüglich gelöscht werden, wenn einer der genannten Gründe zutrifft, etwa weil die Daten für ihren Zweck nicht mehr notwendig sind (DSGVO, Art. 17 Abs. 1, abgerufen am 13. November 2026). Bei RAG wird ein Dokument entfernt und der Index aktualisiert. Aus einem feinabgestimmten Modell lassen sich einzelne Daten nicht gezielt entfernen, deshalb gehören personenbezogene Daten möglichst nicht in Trainingsdaten. Mehr dazu im Ratgeber Löschkonzept.
Auftragsverarbeitung: Verarbeitet ein Modellanbieter personenbezogene Daten in Ihrem Auftrag, arbeiten Sie nur mit Auftragsverarbeitern, die hinreichende Garantien für geeignete technische und organisatorische Maßnahmen bieten (DSGVO, Art. 28 Abs. 1, abgerufen am 13. November 2026). Siehe Ratgeber Auftragsverarbeitungsvertrag.
Fine-Tuning und Anbieterpflichten: Im Falle einer Änderung oder Feinabstimmung eines Modells sollen die Pflichten der Anbieter von KI-Modellen mit allgemeinem Verwendungszweck auf diese Änderung oder Feinabstimmung beschränkt sein, etwa durch Ergänzung der technischen Dokumentation um neue Trainingsdatenquellen (Verordnung (EU) 2024/1689, Erwägungsgrund 109, abgerufen am 13. November 2026). Wer ein Modell feinabstimmt, sollte also prüfen, ob er dafür Anbieterpflichten übernimmt.
Transparenz und KI-Kompetenz: Ist ein System für die direkte Interaktion mit Menschen bestimmt, werden diese informiert, dass sie mit einem KI-System interagieren, es sei denn, das ist offensichtlich (Verordnung (EU) 2024/1689, Art. 50 Abs. 1, abgerufen am 13. November 2026). Art. 4 gilt seit dem 2. Februar 2025: In der Fassung der Verordnung (EU) 2026/1744 ergreifen Anbieter und Betreiber Maßnahmen, um die Entwicklung der KI-Kompetenz ihres Personals zu unterstützen, ohne ein bestimmtes Niveau für jede einzelne Person garantieren zu müssen (Verordnung (EU) 2026/1744, Art. 1 Nr. 5, abgerufen am 13. November 2026). Den organisatorischen Rahmen beschreibt der Ratgeber KI-Governance.
Wann sich eine eigene Lösung lohnt
Für erste Versuche reichen fertige Werkzeuge, etwa Microsoft Copilot mit Zugriff auf SharePoint. Eine eigene Lösung lohnt sich, wenn:
- Antworten aus vielen Quellen kommen sollen, etwa Dokumente, Tickets, ERP und Fachsoftware;
- Zugriffsrechte pro Dokument und Person zuverlässig gelten müssen;
- Sie die Antwortqualität mit eigenen Testfragen messen und Verbesserungen belegen wollen;
- Daten in der EU bleiben und das Modell austauschbar sein soll;
- eine Aufgabe nachweislich ein feinabgestimmtes Modell braucht und Sie die Trainingsdaten selbst kontrollieren möchten.
Wir bauen RAG-Systeme mit Rechten pro Dokument, Quellenangaben und Messung der Antwortgenauigkeit, und prüfen Fine-Tuning dort, wo Messwerte dafür sprechen, gehostet in der EU als Standard. Es gilt ein Festpreis für den schriftlich vereinbarten Umfang, Sie sehen das Ergebnis vor dem Livegang, und Quellcode und Rechte gehören Ihnen. Mehr auf unserer Seite KI-Wissensdatenbank, für die Einordnung vorab die KI-Beratung.
Für die Entscheidung helfen außerdem die Ratgeber Was kostet ein Chatbot, Was kostet ein KI-Agent und KI-Berater finden.
Häufige Fragen
Was ist RAG einfach erklärt?
RAG (Retrieval Augmented Generation) heißt: Vor jeder Antwort sucht die Software passende Abschnitte aus Ihren Dokumenten und gibt sie dem Sprachmodell mit. Das Modell antwortet auf Grundlage dieser Abschnitte und kann die Quelle nennen. Das Modell selbst wird dabei nicht verändert.
Was ist Fine-Tuning einfach erklärt?
Beim Fine-Tuning wird ein vorhandenes Sprachmodell mit eigenen Beispielen weiter trainiert. Danach antwortet es dauerhaft in einem bestimmten Stil, Format oder Fachgebiet, ohne dass man ihm die Beispiele jedes Mal mitgeben muss.
Was ist besser, RAG oder Fine-Tuning?
Für Fragen zu Unternehmenswissen, das sich ändert und belegbar sein soll, ist RAG fast immer der bessere Start. Fine-Tuning lohnt sich, wenn ein Modell ein bestimmtes Verhalten zuverlässig lernen soll, etwa ein festes Ausgabeformat, eine Fachsprache oder eine Klassifikation mit vielen Beispielen.
Kann man RAG und Fine-Tuning kombinieren?
Ja. Ein feinabgestimmtes Modell kann über RAG auf aktuelle Dokumente zugreifen. Das Fine-Tuning bestimmt dann Stil und Format, RAG liefert die Fakten. Diese Kombination lohnt sich meist erst, wenn ein reines RAG-System nachweislich an Grenzen stößt.
Lernt das Modell bei RAG aus den eigenen Unternehmensdaten?
Nein. Bei RAG werden Ihre Dokumente nur zum Zeitpunkt der Frage als Kontext mitgegeben. Ob ein Anbieter Eingaben für eigenes Training nutzt, regelt dessen Vertrag. Prüfen Sie das vor dem Einsatz und halten Sie es im Auftragsverarbeitungsvertrag fest.
Wird man durch Fine-Tuning zum Anbieter nach der KI-Verordnung?
Das kann passieren. Wer ein KI-Modell mit allgemeinem Verwendungszweck ändert oder feinabstimmt, kann für diese Änderung Anbieterpflichten übernehmen, die laut KI-Verordnung auf die Änderung beschränkt sein sollen. Bei RAG bleibt das Modell unverändert, diese Frage stellt sich dort so nicht.
Schriftliches Angebot anfordern
Beschreiben Sie in wenigen Zeilen, was Sie brauchen. Innerhalb eines Werktags erhalten Sie ein schriftliches Angebot: Umfang, Zeitplan und Festpreis oder Stundenschätzung. Die Anfrage ist unverbindlich.