Embeddings sind numerische Repräsentationen von Text, die semantische Bedeutung in einem mathematischen Raum abbilden. Sie bilden die Grundlage für semantische Suche, RAG-Systeme und KI-Agenten.
Technisch ist ein Embedding ein Vektor — eine Liste von Zahlen (etwa 1.536 bei OpenAI ada-002), die die semantische Position eines Textes beschreibt. Zwei Texte mit ähnlicher Bedeutung haben ähnliche Vektoren, auch wenn sie völlig unterschiedliche Wörter verwenden.
Kernmerkmale:
- Semantisch: Versteht Bedeutung, nicht nur exakte Wortübereinstimmungen
- Numerisch: Text wird zu Zahlen — maschinenverarbeitbar
- Universell: Funktioniert für Texte, Bilder, Audio
Keyword-Suche vs. Embedding-Suche
| Kriterium | Keyword-Suche | Embedding-Suche |
|---|---|---|
| Sucht nach | Exakten Wortübereinstimmungen | Semantischer Ähnlichkeit |
| Findet | Nur exakte Treffer | Auch Synonyme und verwandte Inhalte |
| Beispiel | „Kfz-Versicherung” findet nicht „Autoversicherung” | „Kfz-Versicherung” findet auch „Autoversicherung”, „Fahrzeugschutz” |
| Einsatz | Exakte Codes, IDs, Produktnummern | Dokumente, Fragen, natürliche Sprache |
Wie Embeddings in der Praxis funktionieren
- Dokumente einbetten: Alle Dokumente der Wissensbasis werden durch ein Embedding-Modell in Vektoren umgewandelt und in einer Vektordatenbank gespeichert.
- Anfrage einbetten: Die Nutzeranfrage wird mit demselben Modell ebenfalls vektorisiert.
- Ähnlichkeit berechnen: Die Datenbank berechnet, welche gespeicherten Vektoren dem Anfrage-Vektor am nächsten liegen.
- LLM antwortet mit Kontext: Die gefundenen Dokumente werden dem LLM als Kontext übergeben — das ist der RAG-Mechanismus.
Drei Anwendungen im Mittelstand
Dokumentensuche: Mitarbeiter finden relevante Handbücher, Verträge oder SOPs durch natürlichsprachliche Anfragen — ohne exakte Begriffe kennen zu müssen.
Produktsuche: Kunden finden passende Produkte auch bei ungenauen Suchanfragen oder Synonymen — das System versteht die Suchintention.
E-Mail-Klassifizierung: Eingehende E-Mails werden semantisch klassifiziert und dem passenden Prozess zugeordnet, auch bei variierender Formulierung.
Häufige Fragen
Was ist eine Vektordatenbank? Eine Vektordatenbank speichert Embeddings und ist optimiert für schnelle Ähnlichkeitssuche. Beispiele: Weaviate, Pinecone, Qdrant. Sie ist das Herzstück jedes RAG-Systems.
Welches Embedding-Modell empfehle ich? Für deutschsprachige Inhalte empfehlen sich mehrsprachige Modelle wie OpenAI text-embedding-3-large oder multilingual-e5. Die Wahl hängt von Sprachanforderungen, Datenschutz und Budget ab.
Sind Embeddings dasselbe wie ein LLM? Nein. Embedding-Modelle erzeugen Vektoren, LLMs generieren Text. In RAG-Systemen arbeiten beide zusammen: Embeddings finden Dokumente, LLMs formulieren Antworten.
Wie viele Dokumente kann eine Vektordatenbank verwalten? Moderne Vektordatenbanken skalieren auf Milliarden Einträge. Für typische Mittelstandsanwendungen reichen Lösungen wie Weaviate oder Qdrant vollständig aus.
Verwandte Begriffe
- RAG — Embeddings in Aktion
- Vektor-Datenbanken — Wo Embeddings gespeichert werden
- Hybrid Search — Semantische und Keyword-Suche kombiniert
- LLM — Antwortet auf Basis der Embeddings