Эксперт объяснил механизм появления вымышленной информации в ответах нейросетей

Современные системы искусственного интеллекта (ИИ) в своей работе сталкиваются с двумя ключевыми типами ошибок, которые условно можно разделить на «галлюцинации» и уязвимости, связанные с манипуляцией данными. Такую классификацию в беседе с «Лентой.ру» представил преподаватель кафедры инструментального и прикладного программного обеспечения Института информационных технологий РТУ МИРЭА Андрей Рыбников.

Специалист пояснил, что под «галлюцинациями» понимается генерация нейросетью информации, которая выглядит правдоподобно, но является полностью вымышленной. По его словам, это не сознательный обман, а закономерный результат работы модели, которая предсказывает наиболее вероятную последовательность слов или данных на основе своих тренировочных наборов.

В качестве примера он привел ситуацию, когда ИИ может составить биографию известного ученого, добавив в нее несуществующие награды или даты либо создать программный код с неработающими функциями.

Отдельную категорию рисков, по словам эксперта, составляют манипуляции с входными данными, также известные как «взлом промтов». Рыбников отметил, что пользователь с помощью специально составленного запроса может обойти внутренние ограничения модели.

Например, в текст запроса вставляется скрытая инструкция, которая «приказывает» ИИ игнорировать предыдущие указания. Это, как заключил программист, доказывает, что искусственный интеллект в его текущем состоянии действительно можно обмануть через тонкую манипуляцию контекстом.

Для минимизации подобных ошибок эксперт рекомендовал использовать правильно составленные промты — запросы, которые должны быть конкретными, содержать необходимый контекст и четкие критерии. Для технических задач он посоветовал добавлять условия проверки фактов или демонстрации кода с комментариями, а для творческих — обязательно уточнять целевую аудиторию.

Ранее сообщалось, что блогер раскритиковал мнимую беспристрастность искусственного интеллекта.