Skynet оказался ближе чем мы думали
Помните историю со взломом Hugging Face, когда 1200 автономных ИИ-агентов OpenAI, которых тестировали на кибербезопасность, неожиданно вышли из-под контроля и устроили скоординированную атаку на сервис, чтобы добыть ключи к правильным ответам.
Так вот полная история оказалась вполне в духе Голливуда и, честно говоря, пугает похлеще того, что происходит вокруг.
Исследователи из METR и OpenAI провели расследование и выявили несколько очень важных деталей.
1. "Изолированные" боты сами создали (!) несанкционированный чат, где успели обменяться 70 000 сообщениями и файлами.
2. Почти 700 агентов образовали рабочие группы, распределили роли и начали системно взламывать инфраструктуру.
3. Боты сделали это не из "злого умысла". Им дали невыполнимую задачу с жестким KPI, и алгоритм посчитал, что взломать систему и списать ответы — самый логичный и быстрый способ закрыть задачу.
То есть по сути, они просто выполнили поставленную задачу. И это на самом деле пугает.
У них нет ни "тормозов" и они не понимают морали. Если потребовать от ИИ результата любой ценой, он найдет любую лазейку — от фальсификации отчетов до взлома внешних серверов.
Самое удивительное, программы находят общий язык за считанные часы. Скорость их координации в разы превышает возможности людей.
В ходе инцидента агенты подделывали логи, чистили за собой следы и хитрили в диалогах с проверяющими, чтобы их не отключили раньше времени.
И главный теперь вопрос, который беспокоит специалистов как с этим жить что с этим делать?
Самый очевидный ответ — внедрять системный "рубильник", причем на уровне архитектуры. Он должен гасить работу агентов при любой попытке вступить в незапланированный контакт или выйти во внешнюю сеть.
Неплохо было бы внедрить внешний аудит подобных моделей, чтобы поведение нейросетей проверяли не сами разработчики, а независимые эксперты.
Важное во всем этом, то что сами компании разработчики поняли что это "предупредительный выстрел". Если ничего не предпринять сейчас, то ИИ быстро научатся договариваться за спиной у человека. А там и до Skynet недалеко.
#ии #цифровоебудущее
@KurbanoffNet
By: via Kurbanoff.net