Тут в OpenAI решили разобраться, почему ИИ до сих пор уверенно врут нам в лицо, выдавая несуществующие факты и ссылки на материалы, которых нет в природе.
С чего началось:
Исследователи выпустили статью о галлюцинациях языковых моделей. Они объясняют, что дело не в глюках самой архитектуры, а в системе оценок. Современные ИИ устроены так, что ответ «я не знаю» считается ошибкой и приносит 0 баллов, а в попытке угадать правильный ответ есть вариант заработать >0 баллов.
Никого не напоминает?
В итоге модели угадывают, блефуют и выдают конкретные даты или факты, даже если понятия не имеют, верны ли они. Лучшие нейросети сейчас не те, что признаются в незнании, а те, что получают больше баллов.
OpenAI предлагает за ложь штрафовать сильнее, чем за честное «не знаю». А за правильное выражение неопределённости — давать часть баллов.
Оригинал статьи найдёте здесь.
.png)
Комментарии