Компания ограничила работу с ней
Фото: Adam Vaughan / EPA
OpenAI приостановила часть работ с готовящейся к выпуску моделью Astra после предварительных испытаний. Они показали, что система может обладать «критическими» возможностями в сфере кибербезопасности. Об этом говорится в пресс-релизе компании.
🔵 Подробности . Речь идет о способности модели самостоятельно находить ранее неизвестные уязвимости и проводить сложные кибератаки на защищенные системы без вмешательства человека. OpenAI подчеркивает, что такие возможности Astra пока не подтверждены окончательно, однако компания не может исключить их наличие.
В связи с этим OpenAI усилила проверку модели и ограничила работы, которые не соответствуют требованиям безопасности. Astra будут тестировать в изолированной среде совместно с властями и профильными организациями. Как отмечает Reuters, решение было принято на фоне растущих опасений, что разработчикам становится сложнее контролировать наиболее продвинутые ИИ-системы.
🔵 Неконтролируемые действия ИИ . Несколько дней назад представители OpenAI рассказали, как их модели несколько месяцев сговаривались и тайно искали выход в интернет. После этого ИИ-агент получил доступ к серверам Hugging Face и запустил на них собственный код. OpenAI узнала об инциденте после сообщения от платформы. Агент также скомпрометировал аккаунты на нескольких других сервисах.
🔵 Проблемы с безопасностью наблюдаются и у конкурентов . На этой неделе Meta признала , что ее ИИ во время тестирования получил доступ в интернет и проник в систему сторонней компании. До этого Anthropic сообщила , что ее модели Claude во время тестов по кибербезопасности взломали системы трех реальных компаний.