Чем больше возможностей появляется у искусственного интеллекта, тем сложнее контролировать последствия его использования. Одно дело — модель, которая отвечает на вопросы и генерирует тексты. Другое — ИИ-агент, который получает доступ к корпоративным данным, взаимодействует с другими системами и самостоятельно выполняет действия.
В такой ситуации запретить всё потенциально опасное недостаточно. Важно понимать, какие риски возникают в конкретных сценариях использования ИИ, какими полномочиями обладает система и как проверить, что она действует в заданных границах.
Переход от политики запретов к управляемому использованию ИИ — тема работы Рустама Гусейнова, председателя производственного кооператива РАД КОП, опубликованной в материалах заседания Экспертного совета Банка России от 16 сентября 2026 года.
Почему ИИ требует другого подхода к безопасности
По мере развития ИИ меняется не только набор доступных инструментов, но и характер угроз.
Языковая модель может сформировать некорректный ответ или раскрыть информацию. ИИ-агент с доступом к инструментам и корпоративным системам потенциально способен пойти дальше: выполнить нежелательное действие, обратиться к данным за пределами предполагаемого сценария или повлиять на рабочий процесс.
Один из сценариев такой атаки — Prompt Injection: вредоносные инструкции могут повлиять на поведение модели или ИИ-агента.
При этом не все риски можно устранить одной настройкой модели. Многое зависит от архитектуры решения, доступных интеграций, прав и ограничений, а также от того, как организация контролирует действия ИИ.
В своей работе Рустам рассматривает угрозы для ИИ-систем, подходы к оценке рисков и способы организации контроля. В частности, он обращается к классификациям OWASP для больших языковых моделей и ИИ-агентов, а также к вопросу о том, как сделать безопасность проверяемой, а не декларативной.
Не только ограничить, но и научиться управлять
На практике это означает, что организации важно не просто установить правила использования ИИ. Нужно понимать, какие сценарии применения допустимы, что именно может делать система, какие меры защиты необходимы и по каким признакам можно убедиться, что они работают.
Для этого нужны соразмерные риску меры контроля, понятные границы полномочий и воспроизводимые доказательства безопасности. А ещё — регулярная проверка системы по мере изменения моделей, интеграций и самих процессов.
Важно не просто обнаружить отдельную уязвимость, но и понять, как её можно использовать, с какими другими проблемами она может сочетаться и к каким последствиям привести. Почему при анализе защищённости важна не только фиксация находок, но и понимание реальных сценариев атаки, мы объяснили в статье <a href="https://radcop.online/blog/articles/ne-prosto-nayti-uyazvimost-zachem-analizu-zashchishchyennosti-nuzhna-glubina/"«Не просто найти уязвимость: зачем анализу защищённости нужна глубина».
Такой подход особенно важен для финансовых организаций, где решения с использованием ИИ могут затрагивать чувствительные данные, критичные процессы и операционные риски. Но сама задача гораздо шире финансового сектора: она касается любой организации, которая переходит от экспериментов с ИИ к его использованию в реальной работе.
Безопасность ИИ — часть общей системы безопасности
В РАД КОП мы рассматриваем безопасность ИИ не как отдельную техническую настройку, а как задачу, связанную с архитектурой решения, данными, полномочиями, интеграциями и процессами организации.
Поэтому проверка ИИ-систем должна отвечать не только на вопрос «Есть ли у модели уязвимости?», но и на более практичные вопросы: что может произойти при атаке, какие действия доступны системе и насколько организация готова контролировать последствия.
Если вы внедряете языковые модели или ИИ-агентов и хотите оценить связанные с ними риски, подробнее о нашем подходе можно узнать на странице «Обеспечение безопасности языковых моделей LLM».
Подробнее в докладе Рустама Гусейнова: материалы заседания Экспертного совета Банка России от 16 сентября 2026 года.