В России разработали методику борьбы с "галлюцинациями" нейросетей

Специалисты из Университета Решетнева разработали инновационный подход для снижения «галлюцинаций» у нейросетей. Под «галлюцинациями» подразумеваются ситуации, когда искусственный интеллект генерирует ложную или вымышленную информацию, выдавая ее за правдивую. По информации пресс-службы университета, предложенная методика может быть успешно применена в различных сферах, включая образование, государственный портал «Госуслуги», а также в медицине и юриспруденции, повышая надежность работы ИИ в этих критически важных областях.

Как объясняют эксперты университета, существующие решения, такие как RAG-системы (Retrieval-Augmented Generation), лишь частично справляются с этой проблемой. В таких системах модель сначала осуществляет поиск соответствующих данных в обширной базе знаний, а затем на их основе формирует ответ. Хотя этот метод и способствует уменьшению числа ошибок, он не исключает их полностью. Сбои по-прежнему могут возникать по ряду причин: из-за опечаток в исходных данных, противоречивых пользовательских запросов или неполноты информации в источниках.

Команда исследователей под руководством доцента кафедры систем автоматизированного и интеллектуального обеспечения Анастасии Поляковой провела тщательный анализ типичных случаев «галлюцинаций» нейросетей и разработала их подробный классификатор. На базе этих исследований был создан автоматизированный механизм стресс-тестирования. Этот механизм способен самостоятельно генерировать тестовые запросы, сопоставлять полученные от ИИ ответы с эталонными и оценивать их точность, используя специализированные метрики и анализ семантического сходства.

Ключевым результатом работы стал прототип модуля мониторинга, функционирующего в режиме реального времени. Он осуществляет запись всех входящих запросов и контекста диалога, вычисляет вероятность выдачи недостоверной информации и назначает модели показатель уверенности в ее ответе. В случае обнаружения ошибки или низкой уверенности модуль оперативно оповещает оператора, позволяя своевременно вмешаться.

Университет подчеркивает универсальность разработанной методики. Она не имеет привязки к определенной модели нейросети и легко масштабируется, что позволяет применять ее в широком спектре приложений: от чат-ботов для абитуриентов до сложных систем в сфере государственных услуг, медицины и юриспруденции.