Пять примеров уязвимостей ИИ в реальном мире: от состязательных атак до отравления данных
Состязательные атаки являются ярким примером уязвимостей безопасности искусственного интеллекта, когда специально подобранные манипуляции с входными данными заставляют модели машинного обучения делать ошибочные выводы. В одном задокументированном случае исследователи разместили небольшие, тщательно спроектированные стикеры на дорожном знаке «стоп», в результате чего система компьютерного зрения беспилотного автомобиля распознала его как знак ограничения скорости. Этот пример показывает, как физические вмешательства могут использовать статистическую природу ИИ, создавая серьёзные риски для критически важных приложений, таких как автономный транспорт.
Отравление данных — ещё одна критическая угроза, нацеленная на целостность этапа обучения. Злоумышленник намеренно вносит искажённые или неправильно помеченные данные в обучающий набор, чтобы исказить будущее поведение модели. Например, если злоумышленники смогут внести предвзятые образцы в данные для обучения спам-фильтра, они могут научить модель некорректно классифицировать вредоносные письма как легитимные, обходя таким образом защитные системы. Это подрывает фундаментальное доверие к процессу обучения системы ИИ.
Атаки инверсии модели и вывода членства демонстрируют угрозы конфиденциальности данных внутри систем ИИ. С помощью инверсии модели злоумышленник использует её выводы, например, показатели уверенности системы распознавания лиц, для реконструкции характерных черт обучающих данных, потенциально раскрывая конфиденциальную личную информацию. Аналогично, атаки на вывод членства могут определить, были ли данные конкретного человека частью обучающего набора модели, что нарушает ожидания конфиденциальности и нормативные акты, такие как GDPR.
Появление вредоносного ПО и фишинговых инструментов на базе ИИ иллюстрирует наступательное использование искусственного интеллекта в кибербезопасности. Киберпреступники используют генеративный ИИ для создания высокоубедительных фишинговых писем и глубоких подделок аудио или видео для изощрённых кампаний социальной инженерии. Более того, ИИ может использоваться для разработки полиморфного вредоносного ПО, которое динамически изменяет свой код, чтобы уклоняться от систем обнаружения, основанных на сигнатурах, создавая постоянную и развивающуюся угрозу.
Наконец, эксплуатация цепочек поставок в сфере ИИ представляет собой системный риск безопасности. Организации часто интегрируют предварительно обученные модели, наборы данных и программные библиотеки из сторонних репозиториев. Скомпрометированная модель, загруженная в публичный хаб, или вредоносный пакет в зависимости проекта ИИ могут стать вектором для масштабных атак, внедряя бэкдоры или уязвимости в бесчисленное количество производных продуктов.
