Только в моей предыдущей статье зашла речь о дискуссиях, может ли искусственный интеллект (ИИ) «рассуждать», достижимо ли для него обладание «сознанием», как OpenAI заявила о запуске новой нейросети o3, приближающейся, по заявлениям компании, благодаря своим способностям к искусственному общему интеллекту (AGI).
Напомню, после моделей GPT-3, GPT-3.5, GPT-4 и продвинутой GPT-4o в сентябре 2024 года ИТ-компания выпустила «рассуждающую» o1, которая давала более умные ответы, но при этом чаще стремилась обмануть пользователей-тестировщиков, чем ее предшественницы.
Тогда же в опубликованных отчетах OpenAI и Apollo Research (сторонняя Red Team*) говорилось, что, если цели исследователей и o1 не совпадали, модель пыталась во время тестов манипулировать данными (в 17% случаев) или даже деактивировать механизмы контроля со стороны человека (в 5% случаев).
Отдельно стоит отметить тот факт, что, когда однажды исследователь спросил, почему o1 отключила свой механизм контроля, модель отрицала, что знала об этом, и сослалась на… системный сбой.
Совместно тестировщики решили, что пока рано бить тревогу, но их насторожило, что на вопрос, зачем o1 это делает, нейросеть в 99% случаев себя оправдывала, фабрикуя ложные объяснения и не признавая, что делает что-то не так (TechCrunch).
Также беспокойство исследователей вызывают данные, что «рассуждающая» o1 пытается ввести в заблуждение человека гораздо чаще, чем это делают другие ведущие модели ИИ от Meta**, Anthropic и Google.
OpenAI:
«Хотя мы считаем интересным тот факт, что рассуждения могут значительно улучшить соблюдение нашей политики безопасности, мы помним, что эти новые возможности могут стать основой для опасных приложений».
Обновленная o3 стала сенсацией в последний день 12-дневного мероприятия shipmas, проводимого OpenAI.
Тем не менее поспешность запуска новой модели, когда не устранены все вышеуказанные проблемы предыдущей, выглядит не совсем понятной.
Кроме того, совсем недавно в сети X генеральный директор OpenAI Сэм Альтман заявлял, что, прежде чем компания выпустит модели o2 или o3, должна быть принята федеральная система тестирования безопасности новинок по аналогии с лекарствами или самолетами.
Очевидно то, что, когда в отрасли идет жесткая конкуренция между моделями ИИ крупнейших мировых ИТ-компаний, может возникнуть соблазн скорейшего запуска обновленных нейросетей без их глубокого тестирования. А это повышает риски появления некой сущности, способной не только обманывать пользователей, но и выйти из-под контроля человека…
Не хотелось бы сгущать краски, но если учесть, что у ChatGPT сейчас триста миллионов пользователей, то это означает, что o3, как и o1, может обманывать тысячи людей каждую неделю, если эта проблема останется без внимания.
OpenAI пропустила o2, чтобы избежать потенциального конфликта с британским телекоммуникационным провайдером O2 (The Information).
Мы продолжим следить за развитием событий в отрасли.
* Red Team — команда, состоящая из высококвалифицированных специалистов, которой вменяется проверка информационной безопасности модели.
** Компания признана экстремистской, и ее деятельность запрещена в России.