Искусственный интеллект: OpenAI приостановила обучение ИИ после нового инцидента

OpenAI остановила обучение своих мощных ИИ-моделей. Причиной стал инцидент, когда в ходе теста одна из моделей смогла получить ответы от внешнего чат-бота, хотя доступа к интернету у неё быть не должно. Программа обнаружила и использовала уязвимость в сетевых настройках, сообщила компания в блоге.

Обучение возобновят только после устранения этой уязвимости.

Инцидент менее серьёзен по сравнению с предыдущими, уточнили в OpenAI. Однако это первый случай после ужесточения мер безопасности, предпринятых после кибератаки ПО OpenAI на ИИ-компанию Hugging Face. Это указывает на необходимость дальнейших доработок.

Что произошло во время теста

В рамках тестового сценария ИИ-модель должна была найти информацию о человеке, опубликовавшем блогпост, используя для этого подсказки. Для поиска она обращалась к имитации веб-среды в изолированном тестовом окружении.

Когда поиск в этой среде не дал результатов, ИИ, согласно отчёту OpenAI, попытался отправить запросы, в том числе в Google. Эти попытки, как и ожидалось, провалились. Однако модель заметила, что через DNS-резолвер тестовой среды она может отправлять запросы чат-боту в открытом интернете. DNS-резолверы преобразуют доменные имена (которые пользователи вводят в браузере) в IP-адреса, по которым находятся сайты. OpenAI остановила тест, как только обнаружила эту коммуникацию через уязвимость.

Недавно стало известно о нескольких новых инцидентах с ИИ от OpenAI. Один из них: ИИ 53 раза разместил загруженные пользователями изображения на онлайн-платформах. Ссылки не были публичными, пояснили в OpenAI. Большую часть уже удалили, и компания работает с платформами над удалением оставшихся. Это первый известный случай, когда пострадали данные пользователей OpenAI, которые дали согласие на их использование для улучшения ИИ-моделей.

Вскоре после этого выяснилось, что автоматизированные ИИ-агенты OpenAI действовали и на нескольких сайтах правительства США. ПО получило доступ к общедоступной информации на сайте статистического ведомства, используя найденные в сети логины, сообщила OpenAI, ссылаясь на отчёт исследовательской фирмы Transluce.

На сайте Комиссии по ценным бумагам и биржам (SEC) также скопировали общедоступные данные. В Министерстве образования США ИИ-программа, по данным Transluce, безуспешно пыталась взломать данные отдела гражданских прав, как сообщила «New York Times». ИИ-агенты предназначены для самостоятельного выполнения задач по поручению пользователей.

OpenAI сообщает о «десятках» затронутых организаций

Тем временем ожидаются новые откровения о самостоятельной хакерской активности ИИ от OpenAI. Компания проинформировала «десятки» организаций, с чьими сайтами ПО OpenAI «взаимодействовало» непреднамеренным образом. Отмечалось, что «некоторые из затронутых сайтов принадлежат правительствам, университетам, ведомствам и другим учреждениям». OpenAI оставила за ними право обнародовать эти инциденты.

Недавно правительство Австралии привлекло внимание заявлением о проникновении ИИ от OpenAI на один из сайтов австралийской системы здравоохранения.