Бенчмарк iFigure AI Agent у медичній галузі
Мета
Метою цього бенчмарку було оцінити здатність iFigure AI Agent давати точні відповіді на медичні запитання. Особливу увагу приділено оцінці впливу механізму Retrieval-Augmented Generation (RAG) на точність відповідей.Експериментальна конфігурація
1. Базова модель
Агент був побудований на основі такої великої мовної моделі (LLM):
Це компактна, квантизована (Q4_K_M) версія моделі з 14 мільярдами параметрів, оптимізована для
ефективного інференсу.
2. Набір даних
Для оцінювання використовувався набір даних:
Цей набір містить медичні запитання та еталонні відповіді й спеціально
призначений для оцінювання здатності до міркування в медичній галузі.
Для бенчмарку було випадково відібрано 199 запитань.
3. Пошукова інфраструктура
AI Agent мав доступ до пошукової системи Kavunka. Її індекс містив:
- спеціалізовані медичні сайти,
- фармацевтичні ресурси,
- а також немедичні сайти.
Отже, пошук виконувався в реалістичному й шумному середовищі, що підвищило
строгість та екологічну валідність експерименту.
Сценарії тестування
Було оцінено дві експериментальні конфігурації:
-
Тест A — без RAG
- Агент не виконував жодних пошукових запитів.
- Відповіді генерувалися лише на основі знань, закладених у LLM.
-
Тест B — з RAG (без PWG)
- Агент виконував пошукові запити за допомогою рушія Kavunka.
- Відповіді генерувалися на основі знайденої інформації (retrieval + generation).
- Механізм PWG (Post-Word Generation rollback) був вимкнений.
Обґрунтування виключення PWG
PWG (Post-Word Generation rollback) передбачає відкат генерації, коли виявляються "unresolved" токени,
і спробу повторно згенерувати відповідь. Однак попереднє тестування показало:
- покращення точності відповідей було незначним,
- затримка відповіді суттєво збільшувалася,
- були потрібні додаткові цикли відкату й повторної генерації токенів.
Тому PWG було виключено з фінальної експериментальної конфігурації.
Методологія оцінювання
Кожна згенерована відповідь порівнювалася з еталонною відповіддю за метрикою BERT F1 (bert_f1 rank).
Відповіді сортувалися:
- від найточнішої (максимальний bert_f1),
- до найменш точної (мінімальний bert_f1).
Інтерпретація метрики
- bert_f1 > 0.9 — відповідь вважається правильною.
- Вищі значення означають ближчу семантичну відповідність еталонній відповіді.
Результати
Результати подано у вигляді двох кривих:
- Синя крива — модель без RAG і PWG
- Помаранчева крива — модель з RAG, без PWG
Криві відсортовано в порядку спадання якості відповідей.
Спостереження
- По всьому розподілу помаранчева крива стабільно розташована вище за синю.
- Кількість відповідей із bert_f1 > 0.9 значно більша при використанні RAG.
- Різниця особливо помітна у верхньому сегменті (відповіді найвищої якості).
- У нижньому хвості розподілу RAG також демонструє стабільну перевагу.
Ключові висновки
1. RAG суттєво підвищує точність
Інтеграція retrieval-механізмів суттєво збільшує кількість правильних відповідей
(bert_f1 > 0.9).
Це особливо критично в медицині, де:
- потрібна висока точність,
- фактична коректність є обов'язковою,
- галюцинації неприйнятні.
2. Доступ до пошуку компенсує обмеження LLM
Навіть модель із 14 мільярдами параметрів без доступу до актуальних зовнішніх джерел:
- демонструє нижчу точність,
- частіше відхиляється від еталонних відповідей.
RAG дозволяє системі:
- спиратися на релевантні зовнішні джерела,
- уточнювати фактичну інформацію,
- зменшувати ймовірність генеративних помилок.
3. PWG не виправданий у цій конфігурації
Оскільки покращення якості були мінімальними, а затримка відповіді суттєво зросла,
використання PWG у цьому медичному QA-сценарії не є виправданим.
Висновок
Бенчмарк показує, що інтеграція RAG в iFigure AI Agent:
- суттєво покращує якість відповідей,
- значно збільшує частку правильних відповідей,
- підвищує придатність системи для медичних застосувань.
Результати підтверджують, що в доменно-специфічних галузях, таких як медицина, поєднання LLM із retrieval-
механізмом є значно ефективнішою архітектурою, ніж ізольоване використання LLM.