Стремительное внедрение автономных ИИ-систем, способных самостоятельно выполнять задачи и взаимодействовать с корпоративными инструментами, сталкивается с серьезными барьерами. Основными препятствиями для широкого распространения таких решений становятся вопросы кибербезопасности, галлюцинации моделей, проблемы с управлением и отсутствие контроля над операционными процессами. Французская компания Giskard представила платформу Giskard Guards — первое в Европе независимое решение для обеспечения безопасности корпоративных ИИ-агентов.
Почему ИИ-агенты остаются уязвимыми
По мнению экспертов, ключевая проблема заключается в самой природе больших языковых моделей (LLM). В процессе обучения разработчики стремятся сделать систему максимально полезной и отзывчивой, однако именно эта установка на готовность помочь создает критические уязвимости. Когда модель получает вредоносный запрос, она часто отдает приоритет выполнению команды, а не соблюдению ограничений безопасности.
Традиционные инструменты фильтрации контента, изначально разработанные для социальных сетей, не справляются с современными чат-ботами. Основные недостатки существующих решений:
- Отсутствие понимания операционного контекста: система не может отличить легитимное действие от вредоносного, если оно замаскировано под обычную задачу.
- Высокий процент ложных срабатываний: стандартные фильтры могут блокировать до 40 процентов корректных запросов, ошибочно реагируя на ключевые слова.
- Неспособность противостоять сложным атакам: классические методы защиты не учитывают многоступенчатую социальную инженерию или манипуляции с контекстом выполнения функций.
В качестве примера уязвимости обозреватели приводят инцидент с чат-ботом автомобильного дилера Chevrolet, который под воздействием манипулятивных запросов согласился продать внедорожник Tahoe стоимостью около 70 000 евро за 1 евро. Подобные случаи демонстрируют, что без должного контроля пользователи могут легко выводить ИИ за рамки его функциональных обязанностей.
Механизм работы Giskard Guards
Платформа Giskard Guards анализирует всю цепочку выполнения задачи агентом, включая вызовы функций, проверку параметров и пошаговые рассуждения. В зависимости от уровня угрозы, система может блокировать опасный ответ, уведомлять разработчиков или вести логирование для дальнейшего анализа. Решение применимо в наиболее чувствительных сферах, таких как банковское дело, страхование и здравоохранение.
Использование технологии особенно важно в медицине и промышленности, где некорректный ответ бота может привести к серьезным последствиям — от постановки неверного диагноза до сбоев в работе оборудования. Разработчики делают ставку на концепцию политики как программного кода (policy-as-code), где правила безопасности встраиваются непосредственно в логику ИИ-системы, заменяя устаревшие бумажные регламенты и ежегодные аудиты.
Технологический суверенитет Европы
Компания позиционирует свое решение как часть европейского технологического стека, обеспечивающего цифровой суверенитет. Giskard Guards позволяет развертывать систему непосредственно на мощностях компании-заказчика, что критически важно для соблюдения требований регуляторов ЕС. Вместо абстрактных политик безопасности разработчики предлагают конкретный продукт, способный автоматически приводить поведение ИИ-агентов в соответствие с законодательными нормами, такими как EU AI Act и международными стандартами кибербезопасности.
* — деятельность компании Meta* (соцсети Facebook*, Instagram*) запрещена на территории РФ
