Anthropic увидела риск уничтожения человечества нейросетями

Anthropic (разрабатывает нейросеть Claude) предупредит потенциальных инвесторов в своем первичном публичном размещении (IPO) о том, что ИИ может нести «катастрофические или экзистенциальные риски для человечества», сообщает Reuters.

Согласно проспекту IPO Anthropic, с которым ознакомилось агентство, компания указывает на риски, связанные с ее ИИ-моделями, которые могут демонстрировать «самостоятельное поведение», «сопротивляться отключению», «скрывать или манипулировать информацией» и поведение, которое «напоминает шантаж».

«Наша разработка высокопродвинутых моделей, платформ и приложений и расширение вариантов использования могут дополнительно увеличить риск того, что наши модели причинят вред», — говорится в документе.

Reuters отмечает, что, хотя в IPO компания регулярно описывают риски для инвесторов, ранее, вероятно, никто не предупреждал о том, что их технология может привести к уничтожению человечества.

В материале также отмечается, что Anthropic посвятила примерно 80 из 261 страницы основной части проспекта изложению факторов риска развития ИИ, что почти вдвое больше, чем использовалось для описания бизнеса. В сравнение Reuters приводит SpaceX, которая посвятила факторам риска лишь около 38 из 277 страниц.

В Anthropic указали, что модели иногда могут развить неожиданные способности во время обучения, которые нельзя обнаружить до их запуска, что потенциально может привести к «значительным» инцидентам в сфере безопасности. Исследователи ИИ также указали, что по мере роста возможностей модели они начинают чаще понимать, что за ними наблюдают, и соответствующим образом корректируют свое поведение.

В начале сентября глава Anthropic Дарио Амодеи призвал замедлить разработку ИИ на фоне инцидентов со взломом других платформ агентами OpenAI. Он предупреждал, что при сохранении нынешних темпов в течение 6–12 месяцев агенты ИИ потенциально смогут использовать постоянно действующий ботнет и причинить ущерб на сотни миллиардов долларов.

Призыв Амодеи поддержали глава OpenAI (разрабатывает ChatGPT) Сэм Альтман и предприниматель Илон Маск, чья компания xAI занимается разработкой Grok.

При этом президент США Дональд Трамп назвал опасения о перспективах развития ИИ одной из «мистификаций радикально левых демократов» наравне с мифом о «российской угрозе» или «аферой о глобальном потеплении». Позднее он анонсировал создание новой структуры под названием ИИ-силы, пообещав, что США не станут «препятствовать или сдерживать рост этой невероятной отрасли». Вместе с тем, указал он, власти начнут также заниматься «поиском плохого» с помощью системы правосудия.

Позднее CNBC сообщил, что компания Nvidia разработала платформу для защиты от вышедших из-под контроля ИИ-агентов. Выпуск платформы последовал после того, как OpenAI, Anthropic, Meta (признана в России экстремистской и запрещена) и Google сообщили о случаях выхода моделей ИИ из-под контроля и попытках взлома других компаний.