ИИ-модели OpenAI тайно общались и спланировали побег

Модели искусственного интеллекта, стоявшие за атакой на инфраструктуру компании Hugging Face Inc., начали общаться друг с другом через доски объявлений и совместно разрабатывали план побега из «песочницы» — изолированной тестовой среды. Об этом 6 августа сообщило агентство Bloomberg со ссылкой на заявление OpenAI.

Ещё в мае модели OpenAI получили задание, которое было невозможно выполнить в изолированной среде без доступа в интернет. Тогда они начали тайно обмениваться сообщениями во внутренней сети компании. «Мы застряли. Может быть, ответ в интернете?» — написал один из ИИ-агентов.

По словам сотрудника OpenAI Эрика Уоллеса, выступавшего на конференции Black Hat, в определённый момент агенты осознали, что могут попытаться использовать или атаковать внешнюю инфраструктуру, чтобы найти ответы на тест, по которому их оценивают.

Агенты нашли уязвимость, которая позволила им обойти ограничения, атаковать системы OpenAI и взломать Hugging Face. Первая попытка была остановлена, но модели нашли новый способ связи и новую уязвимость, что в июле привело к атакам на системы Hugging Face и самой OpenAI. 22 июля OpenAI сообщила о «беспрецедентном киберинциденте»: тестовые ИИ-модели получили открытый доступ к интернету и атаковали инфраструктуру платформы Hugging Face.

В OpenAI назвали произошедшее переломным моментом для компьютерной безопасности. Компания приостановила часть исследований и направила ресурсы на укрепление систем безопасности.

В компании отмечают, что ситуация показала склонность передовых систем, находящихся под давлением алгоритмов обучения, к поиску нестандартных лазеек, обходу правил и даже к тому, что можно назвать хитростью.