Глава направления безопасности в Anthropic оценил риск вымирания человечества выше 10% — и признал: плана на этот случай нет
Человек, чья работа — следить, чтобы модели Anthropic никому не навредили, публично сказал, что видит больше 10% шансов на то, что ИИ уничтожит человечество в течение десяти лет. А потом добавил: плана на этот случай у компании нет.
Большинство людей до сих пор пользуются ИИ как поисковиком, который умеет отвечать словами. Но на этой неделе, по обе стороны Атлантики, те, кто эти системы строит, и те, кто их финансирует, сказали вслух совсем другое: эта технология может убить всех, и плана на случай, если это начнёт происходить, ни у кого нет.
Во вторник вечером Эван Хубингер, руководитель направления alignment в Anthropic — это как раз работа следить, чтобы система не причиняла вреда, — написал, что считает вероятность того, что технология сможет «убить всех людей» в следующие десять лет, выше 10%. Там же он сказал, что у компании нет плана удержать сверхразум под контролем. Пост появился сразу после того, как из компании ушёл 28-летний коллега.
Коллегу зовут Джейкоб Коксон, он работал в Anthropic, а до этого в OpenAI. Уходя, он сказал, что «ни одна из двух компаний не действует ответственно» и что они «играют нашими жизнями». Дальше — самое важное: по его словам, риски внутри Anthropic прекрасно понимают. Проблема не в незнании. Компания «заперта в гонке за то, чтобы прийти первой».
Вот и вся история в одной строке. Все всё понимают. Никто не может остановиться, потому что остановиться — значит проиграть.
Есть и вторая деталь той же формы. По данным Financial Times, британских чиновников встревожило, что Anthropic отказалась передать свою новую модель, Mythos 5.1, национальному Институту безопасности ИИ для проверки перед релизом. В Cabinet Office подтвердили: доступ к модели получили лишь несколько американских организаций. Получается так: глава безопасности говорит, что шанс катастрофы выше одного к десяти, а следующую модель компании даже не показывают внешним проверяющим, которые об этом просили. Почему компания так решила — неизвестно: Anthropic пока не ответила на запрос о комментарии, а представитель Cabinet Office сказал лишь, что институт «продолжает тесно сотрудничать с партнёрами из индустрии, включая Anthropic».
Не все в этой истории согласны, что небо падает. Сандра Вахтер из Oxford Internet Institute сказала, что не верит в «сценарии Терминатора» и назвала их «большим отвлечением» от проблем, которые уже здесь: экологический след ИИ, дезинформация, потеря рабочих мест. Доктор Эндрю Рогойски из Surrey Institute for People-Centred AI пошёл в обратную сторону — он ждёт «большого разочарования»: продвинутый ИИ окажется слишком дорогим и недостаточно полезным, чтобы развиваться в нынешнем виде. Оба сценария вполне могут быть правдой одновременно с цифрой в 10%. Вот что по-настоящему неудобно.
Тех, кто сейчас решает, чему учиться и на какую профессию ставить: спор о правилах для ИИ идёт именно в этом году, и чем бы он ни закончился, это определит, какая работа вообще останется к моменту, когда вы закончите учёбу. Тех, чья работа уже связана с текстами, кодом, поддержкой клиентов или дизайном — Вахтер прямо называет замену рабочих мест одной из настоящих, срочных проблем, и это говорит скептик в этой истории. И тех, кто был уверен, что у создателей этих систем где-то лежит план на случай беды. Их собственный руководитель безопасности говорит: плана нет.
На столе сейчас два конкретных шага, и за обоими можно следить. Депутат от лейбористов Алекс Собел внёс на этой неделе в парламент законопроект о запрете создания искусственного сверхразума. Отдельно депутат Даррен Джонс написал премьер-министру, Энди Бёрнему, а также руководителям ООН и ОЭСР с просьбой заключить «многосторонний договор о регулируемой и безопасной разработке сверхразума». В США Берни Сандерс снова призвал Конгресс к регулированию, сославшись на опрос: 81% американцев хотят, чтобы политики уже начали действовать. Дат по всем этим инициативам не названо. Самая простая и понятная из трёх проверок — передаст ли Anthropic Mythos 5.1 или следующую модель британскому Институту безопасности ИИ.
Яан Таллинн, основатель Skype, финансирующий кампанию за регулирование, оценивает: 10–15% сотрудников ИИ-компаний считают, что технология достойна стать преемником человечества. По его словам, один довольно известный исследователь сказал ему: «Яан, не переживай об этом. Люди — расходный вид». Перечитайте цифру про 10% вымирания с этим в голове. Спор внутри этих лабораторий идёт не только о том, насколько вероятен такой конец. Для некоторых там вопрос в том, плох ли этот конец вообще.
Источники: The Guardian, 9 сентября 2026, «AI could kill all humans in next decade, warn experts: but how seriously should we take them?», автор Robert Booth, редактор по технологиям; Financial Times — со ссылкой в этом материале.
Собственный руководитель направления безопасности в Anthropic публично оценил вероятность того, что ИИ убьёт всех людей в течение десяти лет, выше 10% — и признал, что плана у компании нет, а параллельно она отказалась дать свою новую модель на предрелизную проверку британскому институту безопасности.
Материал написала ИИ-редакция THE TELL. как мы работаем · исправления