Звучит уверенно — значит, знает? Два примера из кино о том, как проверять нейросеть

Фрэнк из «Поймай меня, если сможешь» работает в больнице под видом врача. Медицинского образования у него нет. В разговоре с настоящими врачами он использует удобный вопрос: «Do you concur?» — «Вы согласны?». Очень полезная фраза, когда ты вообще не понимаешь, что происходит.

Врачи обсуждают случай, а Фрэнк переводит вопрос на другого участника. Внешне всё выглядит как проверка подчинённых старшим коллегой. Халат, должность и уверенный голос помогают ему сохранить видимость компетентности. Со стороны легко принять такую подачу за знание.

То же ощущение — «звучит уверенно, значит, знает» — легко поймать и при чтении ответа нейросети. Даже когда часть ответа оказалась догадкой. В исследовании OpenAI один из факторов объясняют обучением и оценками: угадывание может приносить больше баллов, чем признание неопределённости. Это, конечно, не сознательный блеф Фрэнка, но проверять, что стоит за уверенным тоном, нам всё равно приходится.

Для работы с документом добавьте к запросу:

Потом откройте этот фрагмент. Такая проверка полезнее оценки того, насколько уверенно звучит ответ.

Иван Грозный попадает в московскую квартиру семидесятых. Телефон, магнитофон, электричество — всё приходится осваивать на ходу. Царь сохранил опыт и характер, просто мир вокруг успел измениться на несколько столетий, и привычные объяснения теперь постоянно подводят.

Иван Васильевич пытается понять новую обстановку через то, что уже знает. Часть старого опыта помогает, часть приводит к совершенно неожиданным выводам. При этом он вполне способен узнать что-то новое от людей вокруг — только для этого сведения должны до него дойти.

Получить новые сведения важно и помощнику, которого спрашивают о сегодняшних событиях. Например, нейросеть может хорошо знать историю сервиса, но пропустить его последнее обновление. У обучающих данных есть граница актуальности. Она не гарантирует знания всего до этой даты; более свежие сведения могут поступать через поиск, документы и диалог. Поэтому вопрос «какая сейчас последняя версия?» лучше сверять с источником.