Интеграция технологий искусственного интеллекта в производственные процессы российских IT-компаний сопровождается ростом специфических киберугроз. Согласно результатам совместного анализа, проведенного ассоциацией разработчиков программных продуктов «Отелочный софт» и компанией AppSec Solutions, около 4% организаций в сфере разработки программного обеспечения уже столкнулись с целенаправленными атаками на свои ИИ-решения. В ходе мониторинга фиксировались такие инциденты, как внедрение вредоносных промпт-инъекций в чат-ботов и попытки модификации клиентских приложений с целью обхода защитных механизмов или кражи конфиденциальных сведений. При этом значительная часть участников рынка остается в зоне неопределенности: 22% опрошенных не имеют возможности отследить подобные атаки, а остальные не зафиксировали прямого воздействия на свои системы.
В исследовании приняли участие 54 российских разработчика, на долю которых приходится 30% рынка тиражируемого программного обеспечения, согласно сведениям АРПП «Отечественный софт». Данные демонстрируют повсеместное внедрение нейросетей в рабочие процессы: абсолютно все участвующие в опросе компании используют искусственный интеллект, причем более 80% организаций применяют его непосредственно для написания программного кода. Особую проблему представляет использование «теневого ИИ» сотрудниками: в 59% исследованных случаев это происходит частично, а в 41% — носит массовый характер.
Аналитики выделили четыре основные стратегии, которые используют злоумышленники для компрометации ИИ-систем:
— Инъекция промпта, при которой в запрос к нейросети встраивается команда, заставляющая модель нарушать установленные разработчиками инструкции;
— Утечка системного промпта, когда через манипулятивные запросы хакеры добиваются раскрытия внутренней логики, правил и скрытых алгоритмов работы модели;
— Извлечение данных через ответы модели, направленное на получение доступа к секретной информации, которая содержится в контексте памяти или обучающей выборке;
— Отравление данных обучения, представляющее собой намеренное внесение искаженной или вредоносной информации в массивы данных еще до этапа тренировки нейросети.
Представители индустрии кибербезопасности и эксперты IT-рынка, опрошенные РБК, рассматривают текущую ситуацию как закономерный процесс, вызванный стремительным ростом популярности ИИ-инструментов. Подобная тенденция, по мнению специалистов, будет только усиливаться. Успешное воздействие на сервисы искусственного интеллекта открывает перед хакерами возможности не только для кражи корпоративных данных, но и для перехвата контроля над функциями внутренних ИТ-систем компаний.