Fine-Tuning ist der Prozess, bei dem ein bereits trainiertes, allgemeines Sprachmodell mit einem kleineren, domänenspezifischen Datensatz nachtrainiert wird. Das Modell lernt dabei Fachsprache, Kommunikationsstil und branchenspezifische Anforderungen.
Kernmerkmale:
- Spezialisiert: Das Modell lernt Ihre Fachsprache, Ihren Stil und Ihre Anforderungen
- Effizient: Kürzere Prompts, konsistentere Ausgaben, weniger Nacharbeit
- Aufwendig: Erfordert Trainingsdaten, Zeit und technisches Know-how
Fine-Tuning vs. RAG
| Kriterium | RAG | Fine-Tuning |
|---|---|---|
| Wissen | Extern, jederzeit aktualisierbar | Im Modell eingebrannt, statisch |
| Aufwand | Gering — Dokumente einpflegen | Hoch — Trainingsdaten, Compute, Zeit |
| Stärke | Aktualität, Quellenangaben, Flexibilität | Stil, Tonalität, konsistentes Verhalten |
| Empfehlung | Für die meisten Unternehmensanwendungen | Wenn Stil und Verhalten, nicht Fakten, im Vordergrund stehen |
Grundsatz: Erst RAG ausprobieren. Fine-Tuning nur wenn RAG nachweislich nicht ausreicht.
Wann lohnt sich Fine-Tuning?
- Konsistente Markenstimme: Automatisierte Kundenkommunikation in Corporate Language
- Hochspezialisierte Fachsprache: Nischenterminologie wie spezieller Maschinenbau oder Nischenrecht
- Hohe Ausgabevolumen: Kleinere, spezialisierte Modelle können kosteneffizienter sein
- Strukturierte Ausgabeformate: Zuverlässige Erzeugung von JSON, XML oder internen Dokumentformaten
Sinnvolle Anwendungen im Mittelstand
Kundenkommunikation: Konsistente Markenstimme für E-Mails, Angebote, Berichte.
Technische Dokumentation: Maschinenbauer trainieren Modelle auf interne Normen und Spezifikationen.
Datenextraktion: Zuverlässige strukturierte Datenextraktion aus unstrukturierten Texten.
Häufige Fragen
Wie viele Trainingsdaten brauche ich? Für einfache Stil-Anpassungen reichen oft einige Hundert Beispiele. Für komplexe Aufgaben können Tausende nötig sein. Qualität der Daten ist wichtiger als Menge.
Was kostet Fine-Tuning? Bei Cloud-Anbietern wie OpenAI/Azure: Hunderte bis mehrere Tausend Euro, plus Datenvorbereitung.
Verliere ich beim Fine-Tuning allgemeines Wissen? „Catastrophic Forgetting” ist möglich. Gute Praktiken (niedrige Lernrate, ausgewogene Daten) minimieren dieses Risiko.
Kann ich mein Fine-Tuned-Modell geheim halten? Ja — Cloud-Lösungen halten Modelle privat; Open-Source-Modelle bieten vollständige Kontrolle.
Verwandte Begriffe
- RAG — Die Alternative zum Fine-Tuning
- LLM — Das Basismodell für Fine-Tuning
- Prompt Engineering — Oft die einfachere Alternative
- DSGVO-konforme KI — Trainingsdaten datenschutzkonform nutzen