n8n RAG-Assistent bauen: eine KI, die deine Dokumente kennt

Ein normaler KI-Chatbot kennt alles – außer dein Business. Er weiß, wer Napoleon war, aber nicht, was in deinem Angebot steht, wie deine Methodik heißt oder was deine AGB regeln. Schlimmer noch: Fragst du ihn trotzdem, erfindet er die Antwort. Eine Stanford-Studie hat gemessen, dass GPT-4 bei juristischen Fragen in 43 % der Fälle halluziniert – also überzeugend klingenden Unsinn ausgibt (Magesh et al., Journal of Empirical Legal Studies, 2025). Die Lösung heißt RAG: eine KI, die vor jeder Antwort erst in deinen echten Dokumenten nachschlägt. Und du baust sie mit n8n – ohne eine Zeile Code.

Das Wichtigste auf einen Blick

• RAG = Retrieval-Augmented Generation: Die KI antwortet aus deinen Dokumenten, nicht aus ihrem Trainingswissen
• RAG senkte die Halluzinationsrate in der Stanford-Studie von 43 % auf ~17 % (JELS, 2025) – kein Wundermittel, aber ein großer Sprung
• Das Embedden eines mittleren Dokumentenbestands kostet mit OpenAI Cent-Beträge (0,02 $ pro 1 Mio. Tokens)
• n8n bringt fertige Nodes für Embeddings und 12+ Vector Stores mit – u. a. Qdrant, Supabase, Pinecone
• Mit selbst gehostetem Qdrant bleiben alle Daten auf deinem Server – DSGVO-konform

Warum scheitert ein normaler KI-Bot an deinem eigenen Wissen?

Wissensarbeiter verbringen laut McKinsey fast 20 % ihrer Arbeitswoche allein mit der Suche nach internen Informationen (McKinsey Global Institute, The Social Economy, 2012) – ein Fünftel der Zeit, nur um herauszufinden, was man eigentlich schon weiß. Genau hier soll KI helfen. Nur: Ein Standard-LLM kann es nicht.

Der Grund ist einfach. Ein Sprachmodell wie GPT weiß nur, was in seinen Trainingsdaten stand – und dein internes Handbuch, deine Angebote, deine Projektdoku waren nicht dabei. Der naheliegende Ausweg, einfach „alles in den Prompt zu kopieren”, scheitert an zwei Grenzen: Das Kontextfenster ist begrenzt, und jedes Mal den kompletten Dokumentenbestand mitzuschicken wäre langsam und teuer.

Und wenn das Modell die Antwort nicht kennt, schweigt es nicht – es rät. Das ist der gefährlichste Teil: Die erfundene Antwort klingt genauso souverän wie die richtige.

Was ist RAG – in einem Satz erklärt?

RAG steht für Retrieval-Augmented Generation. Statt die Frage direkt ans Modell zu geben, schaltest du einen Zwischenschritt davor: Das System durchsucht zuerst deine Dokumente nach den relevantesten Stellen und gibt diese Stellen dann zusammen mit der Frage ans Modell. Das Modell antwortet also auf Basis deiner echten Inhalte – nicht aus dem Gedächtnis.

Der Ablauf in drei Schritten:

1. Retrieval: Finde die passenden Textstellen zur Frage in deiner Wissensbasis
2. Augmentation: Hänge diese Stellen an die Frage an
3. Generation: Das LLM formuliert die Antwort – gestützt auf die gelieferten Stellen

Der Effekt ist messbar. In der bereits erwähnten Stanford-Untersuchung sank die Halluzinationsrate von 43 % (GPT-4 ohne RAG) auf rund 17 % beim besten RAG-gestützten Tool (JELS, 2025). Wichtig für eine ehrliche Erwartung: RAG eliminiert Halluzinationen nicht – auch spezialisierte Systeme lagen noch bei 17–33 %. Aber der Unterschied zwischen „fast jede zweite Antwort falsch” und „jede sechste” entscheidet, ob du dem System überhaupt vertrauen kannst.

Wie funktioniert die Suche technisch? (Embeddings & Vector Store)

Damit die KI „passende Textstellen” findet, reicht kein Stichwort-Vergleich – sonst würde eine Frage nach „Kündigungsfrist” ein Dokument verfehlen, das von „Vertragsende” spricht. RAG sucht deshalb nach Bedeutung, nicht nach exakten Wörtern.

Das geht über zwei Bausteine:

• Embeddings: Jeder Textabschnitt wird in eine Zahlenreihe (einen Vektor) übersetzt, die seine Bedeutung abbildet. Ähnliche Inhalte bekommen ähnliche Vektoren – egal, welche Wörter genau verwendet wurden.
• Vector Store: Eine Datenbank, die diese Vektoren speichert und blitzschnell die ähnlichsten zu einer Frage findet.

Zum Befüllen (dem „Indexieren”) zerlegst du deine Dokumente einmalig in Häppchen, wandelst jedes in ein Embedding um und legst es im Vector Store ab. Bei jeder Frage wird die Frage selbst zum Vektor – und der Store liefert die inhaltlich nächsten Textstellen zurück.

Die gute Nachricht für Selbstständige: Das Erzeugen der Embeddings ist fast kostenlos. OpenAIs text-embedding-3-small kostet 0,02 $ pro 1 Mio. Tokens – das entspricht grob 750.000 Wörtern (OpenAI). Das leistungsstärkere text-embedding-3-large liegt bei 0,13 $ (OpenAI). Einen kompletten Dokumentenordner zu indexieren kostet dich also Cent-Beträge.

Embedding-Modell	Preis / 1M Tokens	Dimensionen*	Empfehlung
text-embedding-3-small	0,02 $	1536	Standard für die meisten Fälle
text-embedding-3-large	0,13 $	3072	Wenn maximale Trennschärfe nötig ist

*Dimensionen seit Modell-Launch (OpenAI, Januar 2024), bei beiden Modellen kürzbar.

Welche n8n-Nodes brauchst du für RAG?

n8n bringt alle RAG-Bausteine als fertige Nodes mit – du steckst sie zusammen wie bei jedem anderen Workflow. Die zentralen:

Node	Aufgabe
Embeddings OpenAI	Wandelt Text in Vektoren um (Docs)
Vector Store (Qdrant, Supabase, Pinecone …)	Speichert und findet die Vektoren
Question and Answer Chain	Die klassische RAG-Kette: holt Stellen, formuliert Antwort
Vector Store Question Answer Tool	Macht den Vector Store zum Werkzeug eines AI Agents (Docs)

Daraus ergeben sich zwei bewährte Architekturmuster:

• Klassisches RAG: Question and Answer Chain → Vector Store Retriever → [Vector Store]. Ideal für einen reinen Frage-Antwort-Assistenten.
• Agentisches RAG: AI Agent → Vector Store Question Answer Tool → [Vector Store]. Hier ist die Wissensbasis nur eines von mehreren Werkzeugen – der Agent kann zusätzlich E-Mails schreiben, im CRM nachsehen usw. (Der Einstieg in AI Agents steht im Beitrag n8n KI-Agenten bauen.)

Der Qdrant-Node etwa bietet vier Modi: Dokumente einfügen, viele abrufen, als Vector Store für eine Chain dienen oder als Tool für einen Agenten (n8n Docs). Denselben Aufbau gibt es für Supabase, Pinecone, PGVector und rund ein Dutzend weiterer Stores.

Welcher Vector Store passt zu dir? (mit DSGVO-Blick)

Für Selbstständige im DACH-Raum ist die Wahl des Vector Stores auch eine Datenschutz-Entscheidung – deine Dokumente sind schließlich das, was indexiert wird.

Vector Store	Kosten	DSGVO / Datenhoheit	Für wen
Qdrant	Open Source (Apache 2.0), self-hosted kostenlos	🟢 Läuft auf deinem eigenen EU-Server – volle Kontrolle	DSGVO-Maximalisten, Self-Hoster
Supabase (pgvector)	In allen Plänen inkl., Free-Tier mit 500 MB	🟢 EU-Region wählbar, auch selbst hostbar	Wer schon Supabase/Postgres nutzt
Pinecone	Free-Tier (nur AWS us-east-1), ab ~50 $/Monat im Standard	🟡 Managed, Free-Tier ohne EU-Hosting	Wer Komfort vor Datenhoheit stellt

Meine Empfehlung: Für maximale DSGVO-Konformität führt kaum ein Weg an Qdrant auf dem eigenen Server vorbei. Du hostest es per Docker neben deiner n8n-Instanz – wie in der Anleitung zum Self-Hosting auf Hetzner beschrieben – und keine deiner Dateien verlässt jemals deine Infrastruktur. Wer ohnehin schon Postgres oder Supabase im Einsatz hat, nimmt pgvector und spart sich einen zusätzlichen Dienst. (Kombinierst du Qdrant mit einem lokalen Modell via Ollama, bleibt sogar die Frage selbst auf deinem Server – dann verlassen wirklich keine Daten das Haus.)

Pinecone ist technisch stark, aber das kostenlose Kontingent liegt nur in den USA – für datenschutzkritische Kundendaten die schwächere Wahl. (Pinecone-Konditionen ändern sich – prüfe den aktuellen Stand vor dem Start auf pinecone.io/pricing.)

Dein RAG-Assistent in n8n – der Aufbau

Du brauchst zwei Workflows: einen zum Indexieren (füllt die Wissensbasis) und einen zum Antworten (beantwortet Fragen). Das ist der wichtigste Denkfehler, den Einsteiger machen – sie bauen nur den zweiten.

Voraussetzungen: eine n8n-Instanz, ein OpenAI-API-Key, ein laufender Vector Store (z. B. Qdrant per Docker), deine Dokumente (z. B. in einem Google-Drive-Ordner oder als Uploads).

Workflow 1 – Wissensbasis indexieren

Trigger (z. B. Google Drive: neue Datei)
  → Dokument laden (PDF/Text extrahieren)
  → Text Splitter: in Chunks à ~500 Tokens zerlegen
  → Embeddings OpenAI: jeden Chunk in einen Vektor wandeln
  → Vector Store (Qdrant): "Insert Documents"

Diesen Workflow lässt du einmal über deinen Bestand laufen. Danach genügt der Trigger, um neue Dokumente automatisch nachzuindexieren – die Wissensbasis bleibt aktuell, ohne dass du daran denken musst.

Workflow 2 – Fragen beantworten

Chat Trigger (Frage kommt rein)
  → Question and Answer Chain
      ├── Chat Model: gpt-4o-mini
      └── Vector Store Retriever → Qdrant
  → Antwort zurück an den Chat

Sobald eine Frage eintrifft, wird sie zum Vektor, der Retriever holt die passendsten Textstellen aus Qdrant, und das Chat Model formuliert daraus die Antwort. Willst du zusätzlich, dass der Assistent auch handeln kann (E-Mail schreiben, Termin anlegen), ersetzt du die Chain durch einen AI Agent mit dem Vector Store Question Answer Tool – dann ist dein Wissen eines seiner Werkzeuge.

Ein sauberer System-Prompt macht den Unterschied:

Du bist der Wissens-Assistent für [Dein Business].
Beantworte Fragen ausschließlich auf Basis der bereitgestellten Dokumente.
Wenn die Antwort dort nicht steht, sage das ehrlich – erfinde nichts.
Nenne wenn möglich das Quelldokument. Antworte auf Deutsch.

Die Zeile „erfinde nichts” ist entscheidend: Sie weist das Modell an, im Zweifel zuzugeben, dass es die Antwort nicht in den Dokumenten findet – statt zu raten.

Die häufigsten Stolperfallen (und wie du sie vermeidest)

Chunking zu grob oder zu fein. Zerlegst du Dokumente in zu große Häppchen, verwässert die Suche; zu kleine reißen den Zusammenhang auseinander. Als Startpunkt haben sich 400–512 Tokens pro Chunk mit 10–20 % Überlappung etabliert (NVIDIA, Weaviate). Das ist eine Konvention, kein Gesetz – der optimale Wert hängt vom Dokumenttyp ab, also teste mit deinen echten Inhalten.

Veraltete Wissensbasis. Ein RAG-Assistent ist nur so gut wie seine Dokumente. Ändert sich ein Angebot, muss der Chunk neu indexiert werden. Genau dafür ist der automatische Indexier-Workflow da – er hält die Basis frisch, ohne dein Zutun.

Blindes Vertrauen. Auch mit RAG bleibt eine Restfehlerquote. Für alles, was rechtlich oder finanziell heikel ist, lässt du den Assistenten die Quelle mitliefern – so kann der Mensch die Antwort in zwei Sekunden gegenprüfen.

Was bringt das konkret? Use Cases für Selbstständige

• Kunden-Support-Assistent: beantwortet wiederkehrende Fragen aus deiner Doku, deinen FAQ und AGB – 24/7, auf deiner Website.
• Interner Wissens-Assistent: „Was haben wir mit Kunde X zuletzt vereinbart?” – Antwort aus Projektnotizen und E-Mails, statt zehn Minuten zu suchen.
• Angebots-Helfer: zieht aus vergangenen Angeboten und Leistungsbeschreibungen einen Entwurf für das nächste.
• Onboarding für neue Mitarbeiter oder VAs: eine KI, die dein Handbuch kennt und Rückfragen sofort beantwortet.

Solche auf das eigene Business trainierten Assistenten habe ich mehrfach für Kunden gebaut – ein Beispiel findest du unter Kundenprojekte.

Dass das Thema kein Nischen-Hype ist, zeigt der Markt: Unternehmen gaben 2025 rund 37 Mrd. $ für generative KI aus – gut das Dreifache der 11,5 Mrd. $ von 2024 (Menlo Ventures, 2025). RAG ist dabei laut demselben Report die zweithäufigste eingesetzte Anpassungstechnik – gleich nach dem simplen Prompt-Design.

Häufige Fragen zu RAG mit n8n

Was ist der Unterschied zwischen RAG und einem normalen KI-Agenten? Ein normaler Agent antwortet aus seinem Trainingswissen und den Tools, die du ihm gibst. RAG ergänzt genau eine Fähigkeit: gezielt in deinen eigenen Dokumenten nachzuschlagen, bevor er antwortet. In der Praxis kombiniert man beides – der Agent nutzt die Wissensbasis als eines seiner Werkzeuge.

Brauche ich Programmierkenntnisse für einen RAG-Workflow in n8n? Nein. Embeddings-Node, Vector Store, Q&A-Chain und Chat Model verbindest du per Drag-and-Drop. Programmierkenntnisse helfen nur bei Sonderfällen wie eigenem Vorverarbeiten der Dokumente.

Ist ein RAG-Assistent DSGVO-konform? Das hängt an der Infrastruktur. Mit selbst gehostetem Qdrant und einem lokalen Modell bleiben alle Daten auf deinem Server – dann ist die Lösung DSGVO-konform. Nutzt du die OpenAI-API, gehen Text und Fragen zu US-Servern; dafür brauchst du einen gültigen Auftragsverarbeitungsvertrag (DPA).

Was kostet der Betrieb? Die Embeddings sind der kleinste Posten – Cent-Beträge selbst für große Bestände. Laufende Kosten entstehen vor allem durch die Antwort-Generierung (Chat Model). Mit gpt-4o-mini bleibt auch ein viel genutzter Assistent im niedrigen einstelligen Euro-Bereich pro Monat. Ein selbst gehosteter Vector Store wie Qdrant ist kostenlos.

Kann RAG halluzinieren? Ja, aber deutlich seltener. In der Stanford-Studie sank die Rate von 43 % auf ~17 % (JELS, 2025). Restrisiko bleibt – deshalb den Assistenten immer die Quelle mitnennen lassen, damit du kritische Antworten gegenprüfen kannst.

Welchen Vector Store empfiehlst du für den Einstieg? Wenn du Wert auf Datenschutz legst: Qdrant, self-hosted per Docker. Wenn du schnell starten willst und schon Supabase nutzt: pgvector. Beide sind über fertige n8n-Nodes angebunden.

---

Nächste Schritte

Wenn du noch keine n8n-Instanz hast, führt dich der n8n Einsteiger-Guide in 60 Minuten zum ersten Workflow. Für den datenschutzkonformen Betrieb von Vector Store und KI empfehle ich die Self-Hosting-Anleitung auf Hetzner. Und wer die Grundlagen von KI-Agenten nachholen will, findet sie in n8n KI-Agenten bauen.

Willst du einen RAG-Assistenten für dein Business, der deine Dokumente kennt? Schreib mir.

---

Quellen

• OpenAI: text-embedding-3-small – abgerufen 2026-07-14
• OpenAI: text-embedding-3-large – abgerufen 2026-07-14
• n8n Docs: Qdrant Vector Store – abgerufen 2026-07-14
• n8n Docs: Embeddings OpenAI – abgerufen 2026-07-14
• n8n Docs: Vector Store Question Answer Tool – abgerufen 2026-07-14
• Magesh et al.: Hallucination-Free? Assessing Legal AI Tools (JELS) – abgerufen 2026-07-14
• McKinsey Global Institute: The Social Economy – abgerufen 2026-07-14
• Menlo Ventures: State of Generative AI in the Enterprise 2025 – abgerufen 2026-07-14
• Qdrant: GitHub / Lizenz – abgerufen 2026-07-14
• Supabase Docs: pgvector – abgerufen 2026-07-14
• Pinecone: Pricing – abgerufen 2026-07-14
• NVIDIA: Finding the Best Chunking Strategy – abgerufen 2026-07-14

---

Über den Autor

Ich bin Chris Schweigler, n8n-Experte aus Österreich. Ich entwickle KI-Assistenten und Automatisierungssysteme für Selbstständige – von einfachen FAQ-Bots bis zu RAG-Assistenten, die die komplette Wissensbasis eines Unternehmens kennen. Kontakt