ИИ уже уверенно ищет статьи, пересказывает абстракты и помогает писать обзоры литературы. Но новая работа с arXiv показывает неприятную деталь: когда от AI-агента требуется не просто найти источники, а собрать корректный научный вывод, качество резко проседает. Авторы представили бенчмарк SciConBench и отдельную «чистую» среду оценки SciConHarness. В честных условиях лучший агент набрал только 0.337 по factual F1 — метрике, которая учитывает и правильность фактов, и полноту ответа.
Это важно не только для исследователей ИИ. Научная синтезация всё чаще используется в медицине, фарме, биотехе, регуляторике и корпоративном R&D. Ошибка в таком ответе — не просто «галлюцинация чат-бота», а потенциально неверная интерпретация доказательств.
Что именно проверяли в SciConBench
SciConBench построен на 9,11 тыс. вопросов и экспертно написанных выводах из систематических обзоров. Это принципиальный выбор: систематические обзоры обычно уже содержат аккуратно сформулированный итог по группе исследований, а не одиночный результат из одной статьи.
Задача для AI-агента выглядит реалистично: найти релевантные научные источники, сопоставить данные и сформулировать вывод. Затем ответ разбивается на «атомарные факты» — небольшие утверждения, которые можно проверить по эталонному выводу. Так оцениваются три показателя:
- factual precision — насколько утверждения в ответе верны;
- factual recall — насколько полно агент покрыл важные элементы правильного вывода;
- factual F1 — баланс между точностью и полнотой.
Такой подход лучше обычной оценки «похож ли ответ на эталонный текст». В науке важно не стилистическое совпадение, а то, не потерял ли агент ключевое ограничение, не перепутал ли направление эффекта и не сделал ли вывод сильнее, чем позволяют данные.
Почему «чистая» оценка меняет картину
Отдельная часть работы — SciConHarness, clean-room среда для проверки AI-агентов. Её задача — уменьшить утечки данных и контролировать веб-взаимодействие. Это критично: если модель уже видела нужный обзор, вопрос или близкий эталон во время обучения либо через неконтролируемый поиск, тест превращается не в проверку рассуждения, а в проверку памяти.
Главный вывод авторов: без clean-room оценки мы систематически переоцениваем способность ИИ к научной синтезации.
В открытом вебе агент может наткнуться на готовый ответ, фрагмент систематического обзора или вторичный пересказ. В clean-room режиме таких поблажек меньше, и показатели падают. Именно там лучший агент показывает factual F1 всего 0.337. Это не означает, что ИИ бесполезен для науки. Но это означает, что текущие AI-агенты пока плохо справляются с ролью автономного «научного аналитика», особенно в областях вроде здравоохранения.
| Элемент исследования | Что он показывает |
|---|---|
| SciConBench | Крупный набор вопросов и экспертных выводов из систематических обзоров |
| SciConHarness | Среда clean-room для контроля поиска и снижения утечек данных |
| Factual precision | Долю корректных фактов в ответе агента |
| Factual recall | Насколько полно ответ покрывает важные факты эталона |
| Лучший результат | 0.337 factual F1 в чистых условиях |
Что не так с потребительскими AI-ответами
Авторы также проверили потребительские AI-сервисы. Результат ожидаемо тревожный: системы часто дают неполные, а иногда и противоречивые выводы даже тогда, когда правильный ответ доступен. Это особенно показательно: проблема не только в отсутствии информации, но и в том, как агент выбирает, сжимает и соединяет доказательства.
Типичная ошибка научного AI-ответа — не фантастический вымысел, а более тонкое и опасное искажение. Например, система может опустить низкое качество доказательств, проигнорировать неоднородность исследований, перепутать «нет достаточных данных» с «эффекта нет» или превратить осторожный вывод обзора в уверенную рекомендацию.
Это важный сигнал для пользователей ChatGPT, Claude, Gemini и других AI-инструментов: даже современные модели и агентные режимы не должны быть последней инстанцией в научных и медицинских вопросах. В потребительских продуктах удобный ответ часто выглядит убедительнее, чем он заслуживает по качеству доказательств.
Практические выводы для врачей, биотеха и R&D
Если AI используется для обзора литературы, его стоит рассматривать как ускоритель рутины, а не как автономного эксперта. Без проверки человеком особенно рискованны ответы, где есть клинические рекомендации, сравнение эффективности терапии, оценка безопасности, выводы по малым выборкам или перенос результатов с одной популяции на другую.
- Требуйте ссылки на первичные источники, а не только красивую сводку.
- Проверяйте направление вывода: помогает ли вмешательство, не помогает или данных недостаточно.
- Отдельно ищите ограничения: размер выборки, дизайн исследований, риск систематической ошибки, неоднородность результатов.
- Не смешивайте обзор и рекомендацию: систематический обзор может описывать данные, но не всегда задаёт клиническое действие.
- Используйте двойную проверку: AI-сводка плюс ручная сверка с оригинальным систематическим обзором.
Для разработчиков вывод ещё жёстче: красивые демо с веб-поиском не доказывают способность агента к open-domain scientific conclusion synthesis. Нужны тесты, где исключены утечки, а оценка идёт по фактам, а не по общему впечатлению от текста.
Итог: ИИ полезен, но научный вывод ему пока нельзя делегировать
SciConBench фиксирует зрелый и неприятный этап развития AI-агентов. Они уже умеют искать, читать и формулировать, но всё ещё часто теряют смысл научного вывода. Особенно плохо это сочетается с доменами, где ошибка влияет на здоровье, инвестиции в разработки или регуляторные решения.
Главный урок исследования: качество научной синтезации нельзя измерять обычными бенчмарками и поверхностными сравнениями. Нужна чистая оценка, проверка атомарных фактов и понимание того, что уверенный текст не равен правильному выводу. Пока factual F1 лучших агентов остаётся на уровне 0.337, безопасная стратегия проста: использовать ИИ как помощника, но оставлять финальное научное суждение экспертам.
