ИИ-агенты: чем выше автономность, тем строже должен быть контроль

Мнение автора может не совпадать с позицией редакции

ИИ-агенты становятся следующим этапом развития искусственного интеллекта. В отличие от обычного чат-бота, который отвечает на запрос пользователя, такой агент может самостоятельно планировать последовательность действий, обращаться к различным системам, обрабатывать данные и выполнять поставленную задачу с минимальным участием человека.

Это открывает новые возможности для бизнеса, промышленности и государственного управления. ИИ-агенты могут помогать анализировать документы, обрабатывать обращения, контролировать процессы и снижать объем рутинной работы. Но вместе с возможностями растут и риски.

Чем больше полномочий получает система, тем выше цена ошибки. Агент может неверно интерпретировать задачу, использовать не те данные, выполнить лишнее действие или выйти за пределы того поля, которое обозначал для него оператор. Особенно чувствительными такие риски становятся при работе с государственными информационными системами и объектами критической информационной инфраструктуры.

Поэтому представляется целесообразным заранее проработать рискориентированные требования к автономным ИИ-агентам. Регулирование должно зависеть не от самого факта использования искусственного интеллекта, а от того, какие действия система способна совершать и к каким ресурсам имеет доступ.

В первую очередь необходимо оценивать уровень автономности агента. Одно дело — система, которая готовит проект документа для последующей проверки человеком. Другое — агент, который самостоятельно меняет настройки, запускает процессы, направляет документы или получает доступ к данным.

Для систем с высоким уровнем автономности следует предусмотреть четкие границы полномочий. Агент должен иметь доступ только к тем данным и функциям, которые действительно необходимы для выполнения конкретной задачи. Критически важные действия должны подтверждаться человеком, а вся последовательность операций — фиксироваться и оставаться доступной для проверки.

Помимо этого, нужен механизм экстренной остановки. Если система начинает действовать некорректно или возникает угроза безопасности, оператор должен иметь возможность немедленно прекратить ее работу и заблокировать дальнейшие операции.

Не менее важен и регулярный аудит. Проверять необходимо не только исходную модель, но и то, как агент ведет себя в реальных условиях, какие решения принимает, не расширились ли фактически его полномочия и устойчив ли он к внешнему воздействию.

Такие требования не должны становиться барьером для развития технологии. Их задача — создать понятные условия, при которых ИИ-агентов можно будет внедрять без неконтролируемого роста рисков.

Эту работу стоит начать до того, как автономные системы получат массовое распространение в критически значимых сферах. Сначала должны быть определены правила, ответственность и механизмы контроля, и только затем агенту можно передавать полномочия, от которых зависит безопасность людей, организаций и государства.