Эксперты ВТБ предложили методы снижения угроз ИИ-галиций

Специалисты выделили основные стратегии борьбы с галлюцинациями нейросетей, которые представляют собой генерацию текста, похожего на правдоподобный, но содержащего ошибочные факты, недостоверные данные или ссылки на несуществующие источники.

«Бывают ситуации, когда нейросеть предлагает несуществующие книги в списке рекомендаций или формирует условия продукта, которых на самом деле нет. Такие ошибки выглядят правдоподобно, но вводят в заблуждение. Прежде всего, снизить количество галлюцинаций можно за счет четко сформулированных запросов. Чем точнее и понятнее формулировка, тем меньше вероятность, что модель начнет фантазировать. Однако самый надежный способ контроля — это вмешательственная проверка результата человеком», — сообщил руководитель направления разработки ИИ-решений ВТБ Лев Меркулов.

Как отметил лидер команды по разработке моделей Алексей Пустынников, для предотвращения искажений информации со стороны ИИ важно понимать и учитывать характер самих ошибок.

«Галлюцинации в работе языковых моделей можно условно разделить на несколько типов. Есть фактические галлюцинации, когда модель выдает проверяемую информацию с ошибками. Есть фабрикация фактов, когда нейросеть просто придумывает данные, которые невозможно подтвердить. И отдельная группа — галлюцинации при следовании инструкциям: модель может выполнить другую операцию вместо заданной, не учесть контекст или допустить логические ошибки, например, утверждать, что дважды два равно шести», — сказал Алексей Пустынников.

Причины возникновения ИИ-галиций связаны с особенностями обучения и работы языковых моделей. Они формируют ответы на основе вероятностных связей в данных, а не на понимании фактов.

«Другой распространенной причиной ИИ-галиций являются сложные и абстрактные задачи. Чтобы снизить такие ошибки, мы рекомендуем использовать несколько подходов. Один из них — продуманная постановка вопросов и инструкций для модели, чтобы она лучше понимала задачу. Ещё один способ — так называемая цепочка рассуждений, когда сложный запрос разбивается на простые шаги. Часто применяются и специальные системы, которые перед формированием ответа ищут информацию в проверенных базах данных. Кроме того, модели дообучаются на данных из конкретной области, чтобы они лучше понимали термины и нюансы. А специальные защитные механизмы — AI guardrails — помогают отслеживать ответы и вовремя останавливать модель, если она выдает что-то неверное», — подчеркнул Лев Меркулов.

В практике банка применяются каскадные решения, когда несколько моделей последовательно обрабатывают данные и корректируют результаты друг друга. Подобный подход используется, например, в задачах распознавания текста и речи, прогнозирования снятия наличности и инкассации банкоматов.

Помимо этого, отдельное внимание эксперты уделяют качеству исходных данных.

«Один из базовых подходов — фильтрация данных, при которой в обучающие выборки включаются только тексты с минимальным количеством недостоверной информации и источники, в достоверности которых можно быть уверенными», — добавил Алексей Пустынников.

Эксперты ВТБ подчеркивают, что использование искусственного интеллекта требует не только технической зрелости, но и ответственного отношения к качеству данных, прозрачности алгоритмов и контролю за результатами.