Benchmark von iFigure: Bewertung der Antwortqualität zu Minecraft

Einleitung

Dieser Artikel stellt eine Benchmark-Studie des iFigure AI Agent vor, deren Ziel es war, seine Fähigkeit zur präzisen Beantwortung von Fragen zum Videospiel Minecraft zu bewerten. Das Hauptziel der Studie bestand darin zu untersuchen, in welchem Ausmaß Retrieval-Augmented Generation (RAG) und ein Mechanismus zur Generierungskontrolle (PWG) die Genauigkeit der von einem Large Language Model erzeugten Antworten beeinflussen.

Modellkonfiguration

Datensatz

Suchsystem

Drei unabhängige experimentelle Konfigurationen wurden bewertet:

• 1. Ohne RAG und PWG

  • Es wurden keine Suchanfragen ausgeführt
  • Antworten wurden ausschließlich auf Grundlage des internen Wissens des Sprachmodells erzeugt

• 2. Mit RAG, ohne PWG

  • Der Agent fragte die Kavunka-Suchmaschine ab
  • Abgerufene Informationen wurden in die Antworten einbezogen
  • Es wurden keine Generierungsbeschränkungen angewendet

• 3. Mit RAG und PWG

  • Die Suchfunktion war aktiviert
  • Der PWG-Mechanismus (Permitted Word Generation) wurde angewendet
  • Die Generierung unzuverlässiger oder nicht autorisierter Formulierungen wurde eingeschränkt

Alle Antworten wurden vom höchsten bis zum niedrigsten BERT F1-Wert sortiert (von links nach rechts).

• Blaue Linie — ohne RAG und PWG
• Orange Linie — mit RAG, ohne PWG
• Grüne Linie — mit RAG und PWG

Modell ohne RAG

• Deutlich niedrigere durchschnittliche BERT F1-Werte
• Schneller Rückgang der Antwortqualität
• Viele Antworten unterhalb der Korrektheitsschwelle von 0.9

Modell mit RAG

• Erheblicher Genauigkeitszuwachs
• Mehrheit der Antworten über 0.9
• Gleichmäßiger abfallende Kurve

RAG + PWG

• Die Leistung ähnelt stark dem Standard-RAG
• Keine signifikante Verbesserung der Metrik beobachtet
• Etwas stabileres Verhalten im unteren Leistungsbereich

Einfluss von RAG

Der Einsatz von Retrieval-Augmented Generation führte zu einer deutlichen Verbesserung der Antwortqualität:

• Mehr korrekte Antworten
• Geringere Halluzinationsrate
• Stärkere Nutzung geprüfter externer Quellen

RAG kompensierte die intrinsischen Parametergrenzen des Sprachmodells wirksam, indem eine aktuelle und autoritative Wissensbasis einbezogen wurde.

Einfluss von PWG

Im Rahmen dieses Benchmarks zeigte der PWG-Mechanismus:

• keinen messbaren Anstieg von BERT F1
• keine wesentliche Veränderung der Gesamtform der Kurve

In praktischen Einsatzszenarien erfüllt PWG jedoch eine andere Funktion:

• reduziert selbstbewusst falsche Antworten
• signalisiert dem Nutzer häufiger Unsicherheit
• verringert die Wahrscheinlichkeit erfundener Fakten

Sein primärer Wert liegt daher in einer besseren Nutzererfahrung und Systemzuverlässigkeit, nicht in einer direkten Verbesserung formaler semantischer Ähnlichkeitsmetriken.

Die Benchmark-Ergebnisse stützen die folgenden Schlussfolgerungen:

1. RAG verbessert die Genauigkeit deutlich

In diesem Experiment:

• wurde kein statistisch signifikanter Genauigkeitsgewinn beobachtet
• die Unterschiede im Vergleich zu Standard-RAG waren minimal

Dennoch verbessert PWG die Systemzuverlässigkeit im realen Einsatz.

3. Die Kombination aus LLM + RAG ist optimal

Die Architektur aus:

• LLM + Suchindex + RAG

zeigte die höchste Wirksamkeit für domänenspezifische Frage-Antwort-Aufgaben.