Почему скрытые инструкции в файле для ИИ создают риск утечки персональных данных?

Источник выделяет инъекцию инструкций как отдельную угрозу. Внешнее содержание может побудить агента использовать доступные данные не по задаче пользователя.

Civius, юридическая компания Мария Кузнецова, старший юрист; правовая позиция на 2026-10-10

Короткий ответ

Потому что агент может ошибочно принять команду из файла или веб-страницы за разрешённую инструкцию пользователя. Методика RPPA от 10 октября 2026 года выделяет инъекцию как отдельный путь риска.

Если у агента есть доступ к персональным данным и внешним инструментам, такая подмена может повлиять на их использование или отправку.

Почему обычного доверия к пользователю мало

Сам пользователь мог поручить безопасную задачу, но обрабатываемый документ содержит посторонние указания. Эти указания не становятся полномочием только из-за того, что агент прочитал файл.

Поэтому нужно различать данные источника и действительные инструкции. При оценке безопасности важны не только возможности модели, но и права подключённых сервисов, через которые она может выполнить действие.

Нельзя считать риск отсутствующим по фразе «агент работает только с нашими документами», если документы пополняются внешними материалами или сообщениями.

Что предусмотреть в процессе

Ограничьте разрешённые операции и внешние отправки, определите необходимое подтверждение человеком. Проверьте обработку недоверенного содержания на безопасных сценариях без реальных лишних данных.

Схему включите в проверку по 152-ФЗ. Полномочия и порядок контроля закрепите в локальных правилах.

Если новый источник подключается к базе знаний, оцените путь его влияния на действия агента. Техническая доступность документа не подтверждает доверие ко всем содержащимся в нём командам. Защита должна учитывать возможность подмены задачи, а не только явную просьбу пользователя передать сведения.

Если нужно применить ответ к Вашей ситуации или документам, Проверить сайт на соответствие 152-ФЗ: юрист проверит вводные и учтёт обстоятельства, которые короткий ответ не охватывает.