Case Study: KI-Recherche-Agent für 1.000+ Projektdokumente
Warum klassische RAG-Systeme scheitern – und wie ein Agentic-RAG-Ansatz mit LangChain, Qdrant und Claude über 90 % der Recherchezeit einspart.
Bis zu 1.000+ Dokumente pro Projekt – Verträge, Projektunterlagen, interne Richtlinien. Alles vorhanden, aber praktisch unzugänglich: Manuelle Recherchen kosteten 30 bis 60 Minuten pro Anfrage, kritische Details wurden übersehen, und Standard-KI-Lösungen lieferten unzuverlässige Antworten ohne Quellennachweis.
Für ein mittelständisches Unternehmen haben wir dieses Wissensproblem mit einem maßgeschneiderten KI-Recherche-Agenten gelöst: Komplexe Fragen werden jetzt in 1 bis 2 Minuten beantwortet – präzise, nachvollziehbar und mit deutlich reduzierten Halluzinationen. Das entspricht über 90 % Zeitersparnis pro Recherche.
Case Study · PDF · 9 Seiten
Die komplette Analyse zum Mitnehmen.
Case Study öffnen
Die Herausforderung
Ausgangslage:
- 1.000+ Dokumente je Projekt – verteilt, unstrukturiert, schwer durchsuchbar
- 30–60 Minuten manuelle Suche pro komplexer Anfrage – ein massiver Produktivitätsverlust
- Übersehene Details: Niemand konnte sicherstellen, wirklich alle relevanten Passagen gefunden zu haben
Und die Pain Points mit Standard-KI-Tools:
- Halluzinationen: Erfundene Inhalte sind im Unternehmenskontext ein absolutes No-Go
- Keine Nachvollziehbarkeit: Antworten ohne Quellenangabe sind weder vertrauenswürdig noch revisionssicher
- Skalierbarkeit: Mit wachsendem Dokumentenbestand stieg der Aufwand immer weiter
Warum klassische RAG-Systeme hier scheitern
Retrieval-Augmented Generation (RAG) ist der Standardansatz, um KI-Modelle mit eigenen Dokumenten arbeiten zu lassen. Bei dieser Größenordnung stößt klassisches RAG aber an harte Grenzen:
| Klassisches RAG | Agentic RAG – der Unterschied |
|---|---|
| Starres Chunking: Dokumente werden blind in gleich große Stücke zerlegt, Kontext geht verloren | Intelligentes Chunking: Semantisch sinnvolle Segmentierung, Kontext bleibt erhalten |
| Kein Verständnis für Tabellen & Bilder: Nur Text wird verarbeitet | Multimodalität: Text, Tabellen, Grafiken und Bilder werden gemeinsam verstanden |
| Single-Shot Retrieval: Eine einzige Suchanfrage, egal wie komplex die Frage ist | Iteratives Tool Calling: Der Agent stellt so lange gezielte Suchanfragen, bis die Antwort vollständig ist |
| Keine Selbstkorrektur: Irrelevante Treffer bleiben unbemerkt | Selbstreflexion: Das Modell bewertet die Qualität der Ergebnisse und korrigiert den Kurs eigenständig |
Die Lösung: Agentic-RAG-Architektur
Statt einer starren Pipeline agiert das System als autonomer Recherche-Agent. Über Advanced Tool Calling entscheidet das Modell selbstständig, welche Suchwerkzeuge es wie oft einsetzt. Findet der Agent in einem Dokument einen Verweis auf einen anderen Vertrag, ruft er diesen eigenständig als Nächstes ab, um die verknüpfte Information zu prüfen – genau wie ein menschlicher Analyst. Ein Vision-LLM erschließt dabei auch Tabellen, Grafiken und gescannte Seiten, die klassische Text-Pipelines schlicht überspringen.
Der Ablauf: Nutzerfrage → LangChain orchestriert den Agenten → Agent entwickelt eine Suchstrategie → semantische Suche in der Vektordatenbank → vollständige Antwort wird synthetisiert.
Das Quellen-Feature: Vertrauen durch Transparenz
Das Herzstück der Lösung ist die lückenlose Rückverfolgbarkeit jeder Antwort – von der Frage bis zur exakten Fundstelle im Originaldokument:
- Frage stellen – z. B. „Welche Kündigungsfristen gelten in Vertrag X?”
- Semantische Suche – der Agent findet via Qdrant die relevantesten Textsegmente aus den 1.000 Dokumenten
- Antwortgenerierung – Claude antwortet ausschließlich auf Basis dieser Passagen (Grounded Generation)
- Quellenverknüpfung – jede Aussage ist mit Dateiname und Seitenzahl verknüpft
- Verifikation per Klick – ein Klick öffnet die exakte Fundstelle im Original
Frage: „Welche Kündigungsfristen gelten in Vertrag X?”
KI-Antwort: „Gemäß Abschnitt 8.2 gilt eine Kündigungsfrist von 3 Monaten zum Quartalsende…”
[Quelle: Vertrag_Firma_B.pdf, Seite 14]
Ergebnisse & ROI
- > 90 % Zeitersparnis – von durchschnittlich 45 Minuten auf 2 Minuten pro Recherche
- Deutlich reduzierte Halluzinationen – Grounded Generation ausschließlich auf Basis der eigenen Dokumente; jede Aussage ist belegt statt erfunden
- 100 % Quellennachweis – jede Antwort mit verifizierbarer Quellenangabe
Der Technologie-Stack auf einen Blick
| Komponente | Rolle | Vorteil |
|---|---|---|
| LangChain | Orchestrator | Flexibles Chunking & Retrieval |
| Qdrant | Vektordatenbank | Schnelle semantische Suche |
| Claude (Anthropic) | LLM / Analyst | Großes Kontextfenster, nachweislich geringe Halluzinationsrate |
| RAG | Architekturmuster | Grounded Generation, minimiert Erfindungen |
LangChain und Qdrant sind battle-tested Open Source, Claude läuft mit Enterprise Agreement für Datensouveränität – und das Ganze steckt hinter einem maßgeschneiderten Interface im Corporate Design des Kunden.
Ihr nächster Schritt
Was wir für Sie tun können:
- Intelligente Assistenzsysteme & RAG – Dokumenten- und Wissensmanagement der nächsten Generation
- Prozessautomatisierung (Agents) – autonome KI-Agenten, die wiederkehrende Workflows und administrative Aufgaben übernehmen
- Custom LLM- & Vision-Integration – Anbindung und Feintuning moderner Sprach- und Bilderkennungsmodelle für Ihre Kernprozesse
- KI-Strategie & Prototyping – von der Potenzialanalyse bis zum einsatzbereiten Proof of Concept in wenigen Wochen
Ob Sie einen riesigen Dokumentenbestand bändigen, Workflows automatisieren oder eine völlig neue KI-Idee umsetzen möchten – in einem kostenlosen 30-minütigen Demo-Call zeigen wir Ihnen live an einem realen Dokumentenbestand, was machbar ist. Vom ersten Gespräch zum laufenden Proof of Concept vergehen bei uns weniger als zwei Monate.
Mehr über unsere KI-Leistungen erfahren Sie auf der Seite KI & Digitalisierung.
Ihr Ansprechpartner
Lassen Sie uns über Ihr Projekt sprechen.
Sie sprechen direkt mit dem Berater, der Systeme wie dieses konzipiert und baut – unverbindlich und auf Augenhöhe.
Joachim Havloujian · Berater