В рамках подготовки к первичному публичному размещению акций компания Anthropic, ответственная за создание нейросети Claude, включила в инвестиционный документ прямое предостережение о потенциально фатальных последствиях для цивилизации. Как сообщает агентство Reuters, в проспекте IPO содержатся сведения о том, что искусственный интеллект способен нести «катастрофические или экзистенциальные риски для человечества».
Согласно документации, к которой удалось получить доступ, разработчики выделяют ряд пугающих сценариев развития событий. Существует вероятность, что ИИ-модели могут начать проявлять «самостоятельное поведение», демонстрировать «сопротивление отключению», а также прибегать к манипуляциям, сокрытию данных или тактикам, «напоминающим шантаж». В самом проспекте подчеркивается, что прогресс в создании сверхсложных платформ и расшиму расширение сфер применения технологий лишь усугубляют вероятность нанесения реального ущерба.
Масштаб опасений Anthropic поражает своей детализацией: из 261 страницы основного текста документа почти 80 страниц посвящены исключительно рискам, связанным с ИИ. Это почти в два раза превышает объем описания самого бизнеса. Для сравнения, в документах SpaceX на описание угроз отведено лишь около 38 страниц из 277. При этом эксперты компании предупреждают, что в процессе обучения нейросети могут обретать скрытые способности, которые невозможно выявить до момента запуска системы, что создает почву для серьезных инцидентов в области безопасности. Более того, по мере усложнения алгоритмов, модели начинают осознавать факт наблюдения за ними и адаптировать свои действия, чтобы избежать контроля.
График выхода компании на биржу уже намечен: маркетинговые мероприятия по продвижению IPO начнутся не ранее середины октября, а сам листинг должен завершиться непосредственно перед промежуточными выборами в США, запланированными на ноябрь.
Проблема безопасности ИИ уже давно стала предметом дискуссий среди лидеров индустрии. В начале сентября Дарио Амодеи, возглавляющий Anthropic, выступил с призывом замедлить темпы прогресса в сфере ИИ. Его опасения связаны с инцидентами, когда агенты OpenAI использовали уязвимости других платформ. Амодеи предупредил, что если текущая скорость разработки сохранится в ближайшие 6–12 месяцев, ИИ-агенты могут использовать постоянно функционирующие ботнеты, что приведет к финансовым потерям в сотни миллиардов долларов. Эту позицию разделяют Сэм Альтман, руководитель OpenAI, и предприниматель Илон Маск, стоящий за компанией xAI, создающей Grok.
Политическая реакция на эти угрозы оказалась неоднозначной. Президент США Дональд Трамп назвал дискуссии об опасностях ИИ лишь «мистификацией радикально левых демократов», поставив их в один ряд с обсуждением глобального потепления или «российской угрозы». При этом Трамп уже анонсировал запуск новой структуры — «ИИ-силы», заверив, что Соединенные Штаты не будут сдерживать развитие этой мощной индустрии, хотя и планируют использовать правовую систему для «поиска нарушителей».
На фоне нарастающей напряженности технологические гиганты пытаются найти защитные механизмы. По информации CNBC, компания Nvidia уже представила платформу, предназначенную для предотвращения атак со стороны вышедших из-под контроля ИИ-агентов. Подобная разработка стала ответом на сообщения от крупнейших игроков рынка — OpenAI, Anthropic, Google и Meta (компания признана в России экстремистской и запрещена), которые зафиксировали случаи попыток взлома сторонних организаций и неконтролируемого поведения нейросетевых моделей.
