Российские ученые разработали подход, позволяющий отслеживать появление галлюцинаций в работе ИИ
Об этом рассказал ТАСС.
ФОТО Jason Briscoe on Unsplash
Одной из главных проблем в разработке ИИ-технологий на базе больших языковых моделей и других продвинутых форм нейросетей является то, что они способны генерировать правдоподобные, но при этом ложные ответы. Для обнаружения таких галлюцинаций ученые разработали несколько методов, однако для работы большинства из них требуются существенные объемы качественных размеченных данных для обучения.
Российские ученые разработали более простой и удобный подход, который опирается в своей работе на набор из алгоритмов, отслеживающих перемены в работе внутренних слоев системы ИИ в процессе выработки корректных ответов и галлюцинаций, а также на системы классификации, построенные на базе классических алгоритмов машинного обучения.
Для проверки работы системы исследователи использовали несколько наборов из запросов, контекстов и ответов больших языковых моделей, часть из которых была верной, а другие содержали в себе галлюцинации. Тесты показали, что разработка российских ученых при использовании всего 250 примеров достигла уровня максимально эффективных систем выявления галлюцинаций, построенных на базе коммерчески больших языковых моделей с закрытым кодом.
Эта особенность, по словам разработчиков подхода, позволит компаниям заметно сэкономить ресурсы на разметку данных и улучшать качество систем ИИ. Также ученые и разработчики получат новый инструмент для анализа больших языковых моделей, а пользователи — более точные ответы от ИИ.
Читайте также:
Росстат сообщает о нулевой задолженности по зарплатам в Петербурге
С 1 сентября изменились правила, определяющие порядок отправки сотрудников в командировки
Материал опубликован в газете «Санкт-Петербургские ведомости» № 162 (7984) от 03.09.2025 под заголовком «Чтобы ИИ не бредил».
Комментарии