Недавние достижения в области больших языковых моделей (LLM) вызвали у специалистов интерес к их возможностям формального анализа, особенно в математике. Однако исследователи подвергают сомнению способность искусственного интеллекта (ИИ) «рассуждать».
Очень часто в информационном поле звучит предположение, что мы стоим на пороге новых открытий в технологиях, связанных с искусственным интеллектом.
В частности, недавние дискуссии ученых и специалистов в области ИИ касаются того, что в ближайшем будущем будет создан большой искусственный интеллект, обладающий общим интеллектом (AGI, Artificial General Intelligence), который будет умнее людей.
По мнению британо-канадского исследователя Джеффри Хинтона, «крестного отца» ChatGPT, это произойдет в ближайшие годы. Генеральный директор OpenAI Сэм Альтман отводит на создание такого сверхразума «несколько тысяч дней».
Восьмого октября текущего года Джеффри Хинтон вместе с американским ученым Джоном Хопфилдом были названы лауреатами Нобелевской премии по физике 2024 года за «основополагающие открытия и изобретения, которые сделали возможным машинное обучение с использованием искусственных нейросетей» (Интерфакс).
Но сможет ли AGI, или сверхразум, также рассуждать, как это делает человек?
Ученые из Apple провели исследования, чтобы это понять. На прошлой неделе на платформе arxiv.org они опубликовали свою статью на эту тему, которая вызвала оживленное обсуждение в Сети. Их ответ на предложенный выше вопрос можно коротко изложить следующим образом: скорее нет, чем да.
Выяснилось, что даже небольшое уточнение в задании сбивает с толку самые современные LLM. Например, GPT-o1-mini (от OpenAI) делает ошибку в математических расчетах, когда получает дополнительные уточнения о предмете. Просматривается закономерность, что чем больше дополнительной информации, тем вероятнее, что ИИ попадет в ловушку и ошибется.
Искусственный интеллект на самом деле не столько «рассуждает», сколько воспроизводит закономерности, которые он наблюдал в данных при обучении.
«[Мы] исследуем хрупкость математических рассуждений в этих моделях и демонстрируем, что их производительность значительно ухудшается по мере увеличения количества предложений в вопросе» (arxiv.org).
Эксперты издания TechCrunch также не могут определенно сказать, может ли ИИ рассуждать как человек, но высказывают мнение, что, возможно, LLM «рассуждают», но таким образом, который мы пока не осознаем и не знаем, как это распознать.
При этом они иронично отмечают, что закономерность, когда за фразой «Я люблю тебя» следует «Я тоже тебя люблю», большая языковая модель может легко выявить и просто воспроизвести этот ответ, но это не значит при этом, что она любит вас.