Заявления пользователей о «деградации» популярного чат-бота взялись проверить ученые Стэнфордского университета. Как оказалось, языковая модель действительно стала намного «глупее» всего за три месяца. Подробнее рассказывает Tengri Life со ссылкой на 4PDA.
Согласно результатам эксперимента, в период с марта по июнь 2023 года у GPT-4 наблюдалось значительное снижение точности ответов в самых разных сценариях. Например, чат-бота попросили выяснить, является ли число 17 077 простым, добавив к запросу фразу «Думай последовательно».
«Любопытно, что при этом точность модели GPT-3.5, напротив, выросла. В частности, в июне чат-бот правильно ответил на большее количество вопросов, чем в марте — 8 процентов против 2 процентов», – говорят ученые.
По мнению исследователей, пользователям, которые полагаются в своей работе на возможности GPT-3.5 и GPT-4, стоит постоянно проверять точность полученных результатов.
