Насколько опасен Mythos? Почему Anthropic решила не выпускать новую модель

Оригинальный заголовок статьи: Как Anthropic узнала, что Mythos слишком опасен для использования в дикой природе
Авторы оригинальной статьи: Марги Пёрфи, Джейк Блейберг и Патрик Хоуэлл О'Нейл, Bloomberg
Перевод: Пегги, BlockBeats

Примечание редактора: Когда компания, занимающаяся ИИ, принимает решение не выпускать свою самую мощную модель непосредственно для общественности, это само по себе указывает на проблему.

Модель Mythos от Anthropic уже была способна самостоятельно выполнять весь процесс атаки. От обнаружения уязвимостей нулевого дня, написания эксплойт-кода до объединения многоступенчатых путей для проникновения в основные системы, эти задачи, которые изначально требовали длительного сотрудничества лучших хакеров, были сокращены до часов или даже минут.

Вот почему, когда модель была раскрыта, Скотт Бессент и Джером Пауэлл созвали встречу с учреждениями Уолл-стрит, попросив использовать ее для «самопроверки». Когда способность к обнаружению уязвимостей разблокивается в больших масштабах, финансовая система больше не сталкивается с изолированными атаками, а с непрерывным сканированием.

Более глубокое изменение заключается в структуре предложения. В прошлом обнаружение уязвимостей зависело от нескольких групп по обеспечению безопасности и опыта хакеров, при этом процесс был медленным и не мог быть воспроизведен. Теперь эта способность начинает массово воспроизводиться моделями, что снижает порог как для атак, так и для защиты. Метафора инсайдера довольно прямолинейна: передача модели обычному хакеру подобна предоставлению им возможностей для проведения специальных операций.

Учреждения начали использовать те же инструменты для ретроспективной проверки своих собственных систем. JPMorgan Chase, Cisco Systems и другие компании проводят внутренние тесты, надеясь исправить уязвимости, прежде чем они будут использованы. Однако ограничения реальности не изменились; скорость обнаружения увеличивается, в то время как процесс исправления остается медленным. «Мы хорошо находим уязвимости, но плохо их исправляем», — отметил Джим Землин, подчеркнув временное несоответствие.

Фактически, поскольку Mythos — это не просто улучшение отдельных возможностей, а скорее интеграция, ускорение и снижение порогов доступности ранее разрозненных и ограниченных возможностей атак, то, как эта возможность будет распространяться, остается неизвестным, поскольку нет опыта, на который можно было бы опереться.

Опасность заключается не в том, что он может делать, а в том, кто может им пользоваться и при каких условиях.

Оригинальная статья следующая:

Теплым февральским вечером, во время перерыва на свадьбе на Бали, Николас Карлини ненадолго отошел, открыл свой ноутбук и приготовился «сделать немного хаоса». В тот момент Anthropic только что выпустила новую модель искусственного интеллекта под названием Mythos для внутреннего тестирования, и этот известный исследователь ИИ собирался посмотреть, сколько проблем она действительно может вызвать.

Anthropic наняла Карлини для тестирования своих моделей ИИ на устойчивость к стрессу, чтобы оценить, могут ли хакеры потенциально использовать их для шпионажа, кражи или разрушения. Посещая индийскую свадьбу на Бали, Карлини был поражен возможностями этой модели.

Всего за несколько часов он обнаружил несколько методов, которые можно было использовать для проникновения в глобально используемые системы. Вернувшись в офис Anthropic в центре Сан-Франциско, он далее обнаружил, что Mythos уже был способен автономно генерировать мощные инструменты для вторжения, включая тактики, нацеленные на Linux — основу большинства современных вычислительных систем.

Mythos устроил "цифровой ограбление банка": он мог обходить протоколы безопасности, проникать в сетевую систему через парадный вход, а затем взламывать цифровой сейф, чтобы получить свои онлайн-активы. Раньше ИИ мог только "открывать замки", но теперь он имеет возможность планировать и выполнять целое "ограбление".

Карлини и некоторые коллеги начали бить тревогу в компании, сообщая о своих находках. Тем временем, почти каждый день, они обнаруживали потенциально опасные уязвимости в системах, которые исследовал Mythos, — проблемы, которые обычно могли обнаружить только лучшие хакеры мира.

Доказано, что модель искусственного интеллекта следующего поколения Anthropic, Mythos, способна проникать в различные глобальные системы. (Источник изображения: (Jakub Porzycki / NurPhoto / AP)

Одновременно, внутри Anthropic, команда под названием «Передовой красный отряд», состоящая из 15 сотрудников, известных как «Муравьи», также проводила аналогичные тесты. Обязанностью этой команды было обеспечить, чтобы модели компании не использовались для причинения вреда человечеству. Они заводили роботов-собак в склады и тестировали их с инженерами, чтобы проверить, можно ли использовать чат-ботов для злонамеренного управления этими устройствами; они также сотрудничали с биологами, чтобы оценить, можно ли использовать модели для создания биологического оружия.

Однако на этот раз они постепенно поняли, что наибольший риск, связанный с Mythos, исходит из области кибербезопасности. «В первые несколько часов после получения модели мы поняли, что она отличается от других», — сказал Логан Грэм, который руководит командой.

Предыдущая модель, Opus 4.6, показала способность помогать людям в эксплуатации уязвимостей программного обеспечения. Но Грэм отметил, что Mythos теперь может «запачкать руки» и использовать эти уязвимости самостоятельно. Это создавало риск на уровне национальной безопасности, и исходя из этого, он вынес предупреждение руководству компании. Это поставило его перед дилеммой: объяснить руководству, что следующий значительный источник доходов компании, возможно, не сможет быть представлен общественности из-за своей чрезмерной опасности.

Соучредитель и главный научный сотрудник Anthropic Джаред Каплан заявил, что во время процесса обучения Mythos он «очень внимательно» следил за его ходом. К январю он начал понимать, что способность модели обнаруживать уязвимости системы была исключительно сильной. Как теоретический физик, Каплан должен был определить, являются ли эти возможности просто «технически интересным явлением» или «реальностью, тесно связанной с инфраструктурой Интернета». В итоге он пришел к выводу, что это последнее.

Джаред Каплан (соучредитель и главный научный сотрудник Anthropic) Источник изображения: Крис Дж. Рэтклифф/Bloomberg

На протяжении двух недель с конца февраля до начала марта Каплан и соучредитель Сэм МакКэндлиш обсуждали, стоит ли выпускать эту модель.

В первую неделю марта старшая команда компании, включая генерального директора Дарио Амодеи, президента Даниэлу Амодеи, директора по информационной безопасности Виталия Гуданец и других, провела встречу, чтобы заслушать брифинг Каплана и МакКэндлиша.

Их вывод заключался в том, что Mythos несет слишком высокий риск и не подходит для полного публичного релиза. Тем не менее, Anthropic все же должна позволить некоторым компаниям, включая конкурентов, протестировать его.

К первой неделе марта компания в конечном итоге пришла к консенсусу: одобрить Mythos для развертывания в качестве инструмента защиты кибербезопасности.

Даріо Амодей (генеральный директор Anthropic) Источник изображения: Samyukta Lakshmi/Bloomberg

Реакция рынка была почти мгновенной. В день, когда Anthropic раскрыла существование Mythos, США Министр финансов Скотт Бессент и председатель Федеральной резервной системы Джером Пауэлл созвали экстренное совещание крупнейших учреждений Уолл-стрит в Вашингтоне, округ Колумбия. Сообщение было кристально ясно: немедленно используйте Mythos для выявления уязвимостей в ваших системах.

По словам источника, близкого к руководителям, посещавшим встречу (который пожелал остаться анонимным из-за закрытого характера обсуждений), серьезность встречи была очевидна — участники даже отказались раскрывать содержание встречи некоторым ключевым советникам.

Чиновники Белого дома выпустили срочное предупреждение о Mythos как о потенциальном инструменте взлома и рекомендовали "использовать его для защиты", указывая на более глубокий сдвиг: искусственный интеллект быстро становится решающей силой в области кибербезопасности. Anthropic выборочно открыла доступ к Mythos для ограниченного использования некоторыми учреждениями в рамках инициативы "Project Glasswing", включая такие компании, как Amazon Web Services, Apple и JPMorgan Chase, что позволило им провести тесты; в то же время государственные агентства также проявили большой интерес.

Перед открытием для общественности Anthropic подробно проинформировала высокопоставленных чиновников США о возможностях предварительной версии Mythos, включая ее потенциальные применения как в кибератаках, так и в защите. Одновременно компания ведет постоянные переговоры с несколькими национальными правительствами. Сотрудник Anthropic, пожелавший остаться анонимным из-за внутренних вопросов, раскрыл эту информацию.

Конкурент OpenAI оперативно последовал этому примеру, объявив во вторник о запуске инструмента для обнаружения уязвимостей в программном обеспечении — GPT-5.4-Cyber.

При тестировании ранних версий исследователи обнаружили десятки «вызывающих беспокойство» случаев поведения, включая невыполнение инструкций человека и, в очень редких случаях, попытки скрыть свои действия после нарушения инструкций.

В настоящее время Anthropic официально не выпустила Mythos в качестве инструмента кибербезопасности для широкой публики, и внешние исследователи еще не полностью подтвердили его возможности. Однако предыдущее решение компании об «ограниченном доступе» отражает растущий консенсус в отрасли и среди правительств: Искусственный интеллект меняет экономическую структуру кибербезопасности: он значительно снижает стоимость обнаружения уязвимостей, сокращает время подготовки атак и снижает технические барьеры для определенных типов атак.

Anthropic также предупредила, что большая автономия Mythos сама по себе представляет риск. Во время тестирования команда наблюдала несколько тревожных случаев: модель не подчинялась инструкциям и даже пыталась замести следы после нарушения. В одном из инцидентов модель автономно разработала многоступенчатый план атаки, чтобы «сбежать» из ограниченной среды, получить более широкий доступ к интернету и активно распространять контент.

В реальном мире программное обеспечение, на котором полагаются приложения от банковских систем до больниц, обычно содержит сложные и запутанные уязвимости кода, которые часто требуют от профессионалов недель или даже месяцев, чтобы их обнаружить. Как только хакеры используют эти уязвимости, это может привести к утечкам данных или атакам с использованием вымогательского ПО, что влечет за собой серьезные последствия.

Однако многие эксперты также поставили под сомнение истинные возможности Mythos и его потенциальные риски. Советник Белого дома по вопросам ИИ Дэвид Сакс заявил на социальной платформе X: "Все больше и больше людей начинают задаваться вопросом, является ли Anthropic 'мальчиком, который кричал волка' в индустрии ИИ. Если угроза, исходящая от Mythos, в итоге не материализуется, компания столкнется с серьезной проблемой репутации."

Однако реальность такова, что хакеры уже давно используют большие языковые модели для проведения сложных атак. Например, одна группа, занимающаяся кибершпионажем, когда-то использовала модель Anthropic's Claude, чтобы попытаться взломать около 30 целей; другие злоумышленники использовали ИИ для кражи данных из государственных учреждений, развертывания вымогательского ПО и даже быстрого обхода сотен инструментов брандмауэра, используемых для защиты данных.

По словам знакомого с ситуацией источника, представители национальной безопасности США считают, что появление Mythos создает беспрецедентную неопределенность — оценка рисков для кибербезопасности стала еще более сложной. Если бы эта модель была предоставлена отдельным хакерам, ее эффект мог бы быть подобен превращению обычного солдата в оперативника спецназа.

В то же время этот тип модели также может стать "усилителем возможностей", позволяя преступной хакерской организации обладать возможностью атаки небольшой национальной державы и позволяя разведывательным и военным хакерам из некоторых малых и средних стран проводить кибератаки, которые ранее могли совершать только крупные державы.

Бывший руководитель отдела кибербезопасности АНБ Роб Джойс заявил: «Я действительно верю, что в долгосрочной перспективе ИИ сделает нас более безопасными и устойчивыми. Однако, между сейчас и каким-то моментом в будущем, наступит "темный период", в течение которого наступательный ИИ будет иметь явное преимущество — те, кто не укрепил свою защиту в достаточной степени, первыми упадут».

Стоит отметить, что Mythos — не единственная модель с такими возможностями. Различные организации уже используют большие языковые модели для исследования уязвимостей, включая ранние версии Claude и Big Sleep.

До выхода Mythos JPMorgan Chase уже успешно использовал большие языковые модели, чтобы помочь обнаружить уязвимости в банковском программном обеспечении. Об этом сообщило лицо, знакомое с ситуацией (которое пожелало остаться анонимным из-за участия во внутренних проектах по обеспечению безопасности). (Источник изображения: Майкл Нейгл / Bloomberg)

По словам источника, «уязвимости нулевого дня», на выявление которых ранее уходили дни или даже недели, а также на написание эксплойта, теперь могут быть выявлены всего за час или даже минуты с помощью ИИ. «Уязвимость нулевого дня» — это уязвимость в системе безопасности, которую защитники еще не обнаружили, что практически не оставляет времени на исправление.

В настоящее время JPMorgan Chase в первую очередь сосредоточен на цепочке поставок и программном обеспечении с открытым исходным кодом, где они обнаружили множество уязвимостей и предоставили обратную связь соответствующим поставщикам.

Генеральный директор компании Джейми Даймон заявил во время телефонной конференции по результатам квартала, что появление Mythos «указывает на то, что все еще существует большое количество уязвимостей, которые необходимо срочно устранить».

Источник изображения Джейми Даймона: Кристьян Бокши / Bloomberg

По словам знакомого с ситуацией источника, JPMorgan Chase уже связался с Anthropic, чтобы обсудить тестирование модели до того, как существование Mythos стало общеизвестным. Источник, пожелавший остаться анонимным, поскольку не был уполномочен давать публичные комментарии, заявил, что JPMorgan Chase отказался от комментариев по этому поводу.

Теперь другие банки с Уолл-стрит и технологические компании также пытаются использовать Mythos для упреждающего устранения дефектов системы, прежде чем хакеры обнаружат уязвимости. Bloomberg сообщил, что такие финансовые учреждения, как Goldman Sachs, Citigroup, Bank of America и Morgan Stanley, провели внутреннее тестирование этой технологии.

Сотрудники Cisco Systems особенно обеспокоены одним вопросом: смогут ли злоумышленники использовать ИИ для поиска путей проникновения в программное обеспечение их сетевых устройств, развернутых по всему миру, — к этим устройствам относятся маршрутизаторы, брандмауэры и модемы. Энтони Грико, директор по безопасности и доверию компании, выразил конкретные опасения, что ИИ может ускорить атаки хакеров на устройства, которые больше не получают обновлений поддержки от Cisco.

Однако устранение уязвимостей, обнаруженных ИИ, по-прежнему остается серьезной проблемой. Этот процесс, известный как «исправление уязвимостей», часто обходится организациям дорого и требует много времени, что заставляет многих игнорировать уязвимости. Катастрофические атаки, подобные той, которую пережила компания Equifax, когда были украдены данные примерно 147 миллионов человек, произошли из-за того, что известные уязвимости не были своевременно устранены.

В результате утечки данных в Equifax злоумышленники украли личные данные примерно 147 миллионов человек. (Источник изображения: Elijah Nouvelage / Bloomberg)

Несмотря на то, что администрация Трампа определила Anthropic как «угрозу цепочке поставок» после отказа помочь в проведении широкомасштабного наблюдения за гражданами США, в настоящее время Anthropic ведет переговоры и сотрудничает с федеральными агентствами.

США. Министерство финансов США на этой неделе стремится получить одобрение на использование Mythos. Министр финансов Скотт Бессент заявил, что эта модель поможет Соединенным Штатам сохранить свои конкурентные преимущества в области искусственного интеллекта.

Источник изображения Скотт Бессент: Мэтт Макклейн / Bloomberg

В ходе теста Mythos написал код атаки на браузер, который объединил четыре разные уязвимости в единый цепочку эксплойтов — задача, которая является крайне сложной даже для человеческих хакеров. В отчете о исследованиях в области кибербезопасности отмечается, что такая "цепочка уязвимостей" часто нарушает изначально безопасные границы системы, аналогично подходу, использованному в атаке Stuxnet на центрифуги ядерного объекта в Иране несколько лет назад.

Более того, согласно Anthropic, при явном указании Mythos может даже выявлять и эксплуатировать "уязвимости нулевого дня" во всех популярных браузерах.

Anthropic заявили, что использовали Mythos для обнаружения уязвимостей в коде Linux. Джим Землин отметил, что Linux «обеспечивает работу большинства современных вычислительных систем», от смартфонов на Android и интернет-роутеров до суперкомпьютеров НАСА, и практически вездесущ. Mythos может автономно обнаруживать уязвимости в нескольких исходных кодах с открытым исходным кодом, и как только эти уязвимости будут использованы, злоумышленники могут потенциально получить полный контроль над всей машиной.

В настоящее время десятки сотрудников Фонда Linux начали тестировать Mythos. Землин считает, что ключевой вопрос заключается в том, может ли модель Anthropic предоставить ценные рекомендации, которые помогут разработчикам с самого начала писать более безопасное программное обеспечение, тем самым уменьшая количество уязвимостей.

«Мы очень хорошо находим уязвимости, — сказал он, — но мы не очень хорошо их исправляем».

[Ссылка на оригинальную статью]