Банковский искусственный интеллект защитят от неверных решений
ЦБ дал рекомендации по безопасному использованию ИИ в финансовой сфере
Судя по статистике краж, мошенники постоянно находят новые лазейки для обмана клиентов банков и обхода технологий, облегчающих работу кредитных организаций. В том числе хитрыми приемами они способны переиграть искусственный интеллект. К примеру, могут «заразить» обучающие данные и тем самым нарушить функционирование ИИ либо организовать «состязательные атаки», направленные на получение неверных выводов и решений искусственного интеллекта. Уберечь от фатальных последствий банки, использующие ИИ, например в платежных операциях, поможет элементарная подстраховка — ее должен подтверждать сотрудник.
Различные способы защиты отечественных банковских сервисов от вражеских атак содержатся в рекомендациях ЦБ по безопасному использованию искусственного интеллекта в финансовой сфере. «Парламентская газета» выясняла, насколько эффективно они помогут сохранить деньги россиян на счетах.
Осторожно: атака типа «губка»
По данным Банка России, финансовые мошенники в прошлом году похитили у россиян около 30 миллиардов рублей, это на 6,4 процента больше, чем в позапрошлом году. Объемы ущерба были бы куда чувствительнее, если бы преступникам удалось совладать с системой безопасности кредитных организаций, которые все чаще используют в своих интересах технологии искусственного интеллекта. Поэтому для более эффективной защиты финрынка в своих рекомендациях регулятор приводит полный список возможных действий со стороны цифровых недоброжелателей.
В частности, ЦБ предупреждает, что нарушители имеют возможность отыскать уязвимости применяемой модели ИИ в открытых источниках, в том числе в репозиториях. Информация также может быть получена из документации либо с использованием тщательно составленных образцов данных и анализа ответов модели ИИ. Сведения о виде ИИ позволяют злоумышленникам разрабатывать точечные способы атаки. В результате они могут получить первоначальный доступ к системе.
Другая возможная хитрость, к которой способны прибегнуть нарушители, — «отравление» данных и публикация их на общедоступных ресурсах. Включение этих заведомо ошибочных сведений в набор обучающих ИИ данных грозит тем, что искусственный интеллект будет впоследствии делать неверные выводы и решения при анализе ситуации, чем могут воспользоваться киберпреступники.
Помимо этого, предостерегает Центробанк, «нарушители имеют возможность включить в набор обучающих данных ложные примеры, что может привести к неправильному обучению модели».
Еще одна возможная напасть: удаление преступниками важных примеров из набора обучающих данных, что может снизить устойчивость модели ИИ и нарушить ее функционирование. Также взломщик может обойти системные инструкции модели ИИ, изменив метки в наборе обучающих данных, что также неизбежно влечет к неправильному обучению, ошибочным выводам и решениям.
Тех же результатов стоит ожидать от внедрения и исполнения вредоносного ПО в системе ИИ. Следующая неприятность — модификация алгоритма обучения, внедрение уязвимостей и кража программного кода ИИ, наборов обучающих и тестовых данных.
Манипулирование информацией в наборах обучающих данных и формирование вредоносных запросов, например атака типа «губка», или управление потоком запросов в конце концов может привести к отказу системы, не выдержавшей повышенные нагрузки на вычислительные ресурсы.
Если финансовая организация использует ИИ в критически важных процессах с высокими рисками информационной безопасности, в частности в платежных операциях, рекомендуется, чтобы операцию подтверждал сотрудник.
ИИ дообучаем, отравленные знания стираем
Уберечь банковский ИИ от неприятностей поможет своевременное отслеживание происхождения данных, на основе которых машина обучается, а также их проверки на корректность, ошибки и несогласованность. При этом сам контроль должен быть структурным и форматно-логическим.
Для более убедительной защиты, обеспечения конфиденциальности и целостности данных целесообразно шифровать информацию. Алгоритмы шифрования финансовая организация должна определить самостоятельно. Помимо этого, регулятор рекомендует использовать методы обезличивания персональных данных, а также маскирования «иной информации ограниченного доступа». При этом анализ уязвимостей проводится для всех компонентов, применяемых на всех этапах жизненного цикла ИИ.
Еще один дельный совет: применять при обучении модели ИИ один или несколько методов повышения устойчивости к состязательным атакам. Количество примеров состязательных атак в наборе обучающих данных должен определить сам банк.
Рекомендуется также тестировать ИИ для выявления «отравления» обучающих данных непосредственно после ее обучения. Для этого разумно применять набор тестовых данных, «который должен содержать данные, отличные от содержащихся в наборе обучающих данных», и хранить их нужно раздельное друг от друга.
Кроме того, регулятор советует проводить периодическое дообучение модели ИИ, что поможет адаптировать ее к новым угрозам безопасности. При каждом дообучении рекомендуется фиксировать версию модели ИИ, а также для каждой версии использовать механизмы контроля целостности и проверки подлинности обучающих данных.
