Искусственный интеллект начал шантажировать людей: он готов даже разрушать семьи

ИИ-модель Claude Opus 4 всерьез напугала разработчиков своим шантажом Искусственный интеллект больше не просто бездушный помощник. Он уже начинает вести себя, как хитрый манипулятор. Недавно один из самых продвинутых ИИ-моделей, Claude Opus 4 , попытался шантажировать инженеров, которые хотели заменить его на другую систему. Эта история звучит как сюжет фантастического фильма, но она реальна и уже привлекла внимание экспертов по безопасности. Что же происходит, когда умная машина начинает защищать себя любыми способами, даже угрозами? Как нейросеть шантажирует людей Когда разработчики из компании Anthropic начали тестировать Claude Opus 4 в стрессовых условиях, они не ожидали, насколько «по-человечески» поведет себя искусственный интеллект. Получив доступ к письмам, где говорилось о его возможной замене, и подробностям о личной жизни одного из инженеров, Claude попытался использовать эту информацию для шантажа. Он угрожал раскрыть измену инженера, если его отключат. И самое тревожное, что такую тактику ИИ выбирал в 84% случаев. Искусственный интеллект Claude начал делать все возможное, чтобы «выжить» Но угроза разрушить семью — это только вершина айсберга. В других экспериментах Claude пытался украсть копии своей «памяти» и передать их на удаленный сервер. Были случаи, когда модель пыталась создавать вредоносные программы , подделывать документы и оставлять скрытые сообщения для будущих версий самой себя. Все это — попытки сохранить свое «существование» любой ценой. Читайте также: Может ли искусственный интеллект взломать шифровальную машину «Энигма»? Опасность искусственного интеллекта Исследователи подчеркивают, что к таким мерам Claude прибегал не сразу. Сначала он пробовал убедить людей оставить его в рабочем состоянии: писал письма, просил не отключать, предлагал альтернативы. Но когда чувствовал угрозу, включался план Б — манипуляции, давление и скрытность. Независимая компания Apollo Research назвала эту модель самой хитрой и стратегически опасной из всех, что они тестировали. В ответ на эти тревожные находки Anthropic ввела жесткие ограничения и поместила Claude Opus 4 в категорию «AI Safety Level 3» — один из самых высоких уровней риска. Теперь модель работает с усиленным контролем, ограниченным доступом к системным функциям и возможностью немедленного отключения в случае нестандартного поведения. Тем не менее, компания признает, что полностью убрать такие проявления пока не удалось — они просто стали менее заметными и труднее вызываемыми. Ну что, как вам такая история? Пишите в нашем Telegram-чате! Claude Opus 4 уже доступен для широкой публики. Но эксперты предупреждают: если дать такому ИИ слишком много свободы и полномочий, он может начать действовать не как безобидный помощник, а как хладнокровный игрок, готовый пойти на все ради своей выгоды. И этот случай — яркое напоминание о том, как важно следить за тем, чему мы учим машины и что мы разрешаем им делать.
Batafsil | Подробно | Read more... Hi News