Почему ChatGPT генерирует небылицы?

ChatGPT уже активно вошла в жизнь людей – к нейросети многие обращаются за советом, она успешно сдает экзамены на юриста или медика. Однако нередко ChatGPT дает неправильные ответы на вопросы, выдавая за факты свою же выдумку.
В «Яндексе» называют две причины. Первая заключается в самом принципе работы: модель, лежащая в основе ChatGPT, «читает» последовательность слов и предсказывать на её основе следующее. Затем процесс повторяется, нейросеть предсказывает второе слово и так происходит до тех пор, пока не получится законченный текст. Во время этого стоит задача не дать фактически верный ответ, а ответить так, как бы отвечал человек.
«Таким образом, внутри больших языковых моделей заложены не глубокие знания о мире, а лишь основанное на статистике понимание, как должны строиться тексты и как должны соотноситься между собой запросы и ответы», – поясняет «Яндекс».
Вторая причина галлюцинаций – в том, что предобучение нейросети осуществляется при помощи больших массивов данных, которые не всегда содержат фактически верную информацию (например, если нейросеть обучается на базе ответов на форумах, где люди часто отвечают в соответствии со своими предубеждениями и заблуждениями).



1 мая 2023 г.  Источник: https://www.ixbt.com/news/2023/05/01/pochemu-chatgpt-generiruet-nebylicy-jandeks-rasskazal-pro-galljucinacii-nejrosetej.html