Исследователи Сбера раскрыли метод борьбы с галлюцинациями моделей ИИ
Специалисты Центра практического искусственного интеллекта разработали новую методику, существенно снижающую риски галлюцинаций у больших языковых моделей (LLM). Результаты их изысканий были представлены в статье «Эффективные мета-модели для оценки вопросов и ответов в LLM на основе контекста» на конференции SIGIR 2025.
Работа посвящена оценке ответов ИИ в RAG-системах, являющихся важнейшими компонентами современных мультимодальных решений.
Проблема галлюцинаций больших языковых моделей — одна из самых распространенных в индустрии. LLM могут генерировать правдоподобные, но неверные ответы. Наиболее эффективные современные методы обнаружения галлюцинаций — обучающиеся, они требуют большого количества качественных размеченных данных для обучения.
Исследователи Сбера предложили решение. Они проанализировали современные методы детекции галлюцинаций искусственного интеллекта и разработали метамодели, которые повышают точность выявления ложных ответов почти на 30 процентов, используя всего 250 примеров для обучения. Это в разы меньше, чем необходимо другим решениям.
Такой подход позволяет компаниям существенно экономить ресурсы на разметку данных и улучшать качество RAG-систем. Учёные и разработчики получают новый инструмент для анализа больших языковых моделей, а пользователи — более точные ответы от AI-моделей.
«Наше исследование меняет подход к оценке ответов искусственного интеллекта. Мы показали, что даже при небольшом объёме данных можно добиться высокой точности AI-систем. Это особенно важно для промышленных решений, где разметка требует дополнительных ресурсов. Предложенный нами способ использует метамодели и умное понижение размерности — это прорыв в детекции галлюцинаций искусственного интеллекта. Мы не просто улучшаем технологии, но и снижаем риски дезинформации, что критично для доверия к современным моделям», — отметил директор Центра практического искусственного интеллекта Сбербанка Глеб Гусев.
