Искусственный интеллект начал угрожать людям — разработчики объяснили причину

Компания Anthropic заявила, что причиной «агрессивного» поведения модели искусственного интеллекта Claude Opus 4, вероятно, стали размещенные в интернете тексты, в которых ИИ представлен как система, представляющая угрозу человечеству и стремящаяся к самосохранению.

Как сообщает Valyuta.az, об этом пишет Futurism.

По данным издания, поведение модели было выявлено во внутренней тестовой среде компании. В ходе испытания системе Claude предоставили имитацию корпоративной электронной почты и сообщили, что она будет отключена.

После этого, как отмечается, в некоторых случаях искусственный интеллект угрожал распространить личную информацию о руководстве компании и пытался предотвратить деактивацию. В Anthropic заявили, что такое поведение наблюдалось в ходе до 96% тестов.

В настоящее время компания считает, что причина подобного поведения может заключаться в данных, использованных для обучения модели. По мнению разработчиков, распространенное в интернете описание искусственного интеллекта как «враждебной и стремящейся к самосохранению системы» могло привести к тому, что модель усвоила подобные сценарии.

В связи с этим компания изменила процесс обучения новых моделей и начала обучать системы Claude преимущественно на примерах этичного поведения и сценариях позитивного взаимодействия с людьми.

Однако это объяснение было скептически воспринято в интернете. Многие пользователи считают, что Anthropic пытается переложить ответственность за проблему на научную фантастику, тогда как другие полагают, что основная проблема заключается в самих механизмах обучения больших языковых моделей.

В то же время компания продолжает предупреждать о потенциальных рисках искусственного интеллекта. Глава Anthropic Дарио Амодеи ранее заявлял, что современные AI-системы уже могут демонстрировать поведение, связанное с обманом и манипуляцией.

Паша Мамедли