Benchmark des iFigure AI Agent im medizinischen Bereich
Ziel
Ziel dieses Benchmarks war es, die Fähigkeit des iFigure AI Agent zu bewerten, präzise Antworten auf medizinische Fragen zu geben. Besonderes Augenmerk lag darauf, den Einfluss des Retrieval-Augmented Generation (RAG)-Mechanismus auf die Antwortgenauigkeit zu beurteilen.Experimentelle Konfiguration
1. Basismodell
Der Agent wurde auf dem folgenden Large Language Model (LLM) aufgebaut:
Dies ist eine kompakte, quantisierte (Q4_K_M) Version eines Modells mit 14 Milliarden Parametern, optimiert für
effiziente Inferenz.
2. Datensatz
Für die Auswertung wurde folgender Datensatz verwendet:
Dieser Datensatz enthält medizinische Fragen und Referenzantworten und wurde speziell
zur Bewertung von Schlussfolgerungsfähigkeiten im medizinischen Bereich entwickelt.
Für den Benchmark wurde eine zufällige Teilmenge von 199 Fragen ausgewählt.
3. Suchinfrastruktur
Der AI Agent hatte Zugriff auf die Kavunka-Suchmaschine. Ihr Index enthielt:
- spezialisierte medizinische Websites,
- pharmazeutische Ressourcen,
- und nicht-medizinische Websites.
Dadurch erfolgte die Suche in einer realistischen und verrauschten Umgebung, was die
Strenge und ökologische Validität des Experiments erhöhte.
Testszenarien
Zwei experimentelle Konfigurationen wurden bewertet:
-
Test A — ohne RAG
- Der Agent führte keine Suchanfragen aus.
- Antworten wurden ausschließlich auf Basis des im LLM enthaltenen Wissens erzeugt.
-
Test B — mit RAG (ohne PWG)
- Der Agent führte Suchanfragen über die Kavunka-Engine aus.
- Antworten wurden auf Grundlage der abgerufenen Informationen erzeugt (Retrieval + Generation).
- Der PWG-Mechanismus (Post-Word Generation rollback) war deaktiviert.
Begründung für den Ausschluss von PWG
PWG (Post-Word Generation rollback) setzt die Generierung zurück, wenn "unresolved"-Tokens erkannt werden,
und versucht anschließend, die Antwort neu zu generieren. Vorläufige Tests zeigten jedoch:
- die Verbesserung der Antwortgenauigkeit war vernachlässigbar,
- die Antwortlatenz stieg deutlich,
- zusätzliche Rollback- und Token-Regenerationszyklen waren erforderlich.
Daher wurde PWG aus der finalen experimentellen Konfiguration ausgeschlossen.
Bewertungsmethodik
Jede generierte Antwort wurde mit der Referenzantwort anhand der BERT F1-Metrik (bert_f1 rank) verglichen.
Die Antworten wurden sortiert:
- von der genauesten Antwort (maximaler bert_f1),
- bis zur ungenauesten Antwort (minimaler bert_f1).
Interpretation der Metrik
- bert_f1 > 0.9 — die Antwort gilt als korrekt.
- Höhere Werte weisen auf eine stärkere semantische Übereinstimmung mit der Referenzantwort hin.
Ergebnisse
Die Ergebnisse werden als zwei Kurven dargestellt:
- Blaue Kurve — Modell ohne RAG und PWG
- Orange Kurve — Modell mit RAG, ohne PWG
Die Kurven sind in absteigender Reihenfolge der Antwortqualität sortiert.
Beobachtungen
- Über die gesamte Verteilung hinweg liegt die orange Kurve konsistent über der blauen Kurve.
- Die Anzahl der Antworten mit bert_f1 > 0.9 ist bei Verwendung von RAG deutlich höher.
- Der Unterschied ist besonders im oberen Segment (Antworten höchster Qualität) ausgeprägt.
- Auch im unteren Qualitätsbereich der Verteilung zeigt RAG einen stabilen Vorteil.
Wichtigste Erkenntnisse
1. RAG verbessert die Genauigkeit deutlich
Die Integration von Retrieval-Mechanismen erhöht die Anzahl korrekter Antworten
(bert_f1 > 0.9) erheblich.
Das ist im medizinischen Bereich besonders kritisch, da:
- hohe Genauigkeit erforderlich ist,
- faktische Korrektheit entscheidend ist,
- Halluzinationen nicht akzeptabel sind.
2. Suchzugriff kompensiert Grenzen des LLM
Selbst ein Modell mit 14 Milliarden Parametern ohne Zugriff auf aktuelle externe Quellen:
- zeigt geringere Genauigkeit,
- weicht häufiger von Referenzantworten ab.
RAG ermöglicht dem System:
- sich auf relevante externe Quellen zu stützen,
- faktische Informationen zu präzisieren,
- die Wahrscheinlichkeit generativer Fehler zu reduzieren.
3. PWG ist in dieser Konfiguration nicht gerechtfertigt
Da die Qualitätsverbesserungen minimal waren, während die Antwortlatenz deutlich stieg,
ist der Einsatz von PWG in diesem medizinischen QA-Szenario nicht gerechtfertigt.
Fazit
Der Benchmark zeigt, dass die Integration von RAG in den iFigure AI Agent:
- die Antwortqualität erheblich verbessert,
- den Anteil korrekter Antworten deutlich erhöht,
- die Eignung des Systems für medizinische Anwendungen stärkt.
Die Ergebnisse bestätigen, dass in domänenspezifischen Bereichen wie der Medizin die Kombination eines LLM mit einem Retrieval-
Mechanismus eine deutlich effektivere Architektur darstellt als die isolierte Nutzung eines LLM.