Темная сторона искусственного интеллекта

18 Августа 11:38
Алексей Лукацкий
Про искусственный интеллект в ИБ я уже писал год назад, а сейчас мне бы хотелось обратиться к другой стороне медали - использованию искусственного интеллекта в деятельности киберпреступников. Эта тема мало поднимается в открытой прессе и мало кто из специалистов пока задумывается о ней, предпочитая изучать, как ИИ может помочь делу ИБ.
На прошедшем в мае семинаре Gartner я спросил у Антона Чувакина, сталкивались ли они с запросами своих клиентов, которые бы интересовались нелегальным применением искусственного интеллекта. Антон тогда ответил, что даже просто использованием ИИ в ИБ у них поинтересовался за все время всего один клиент, а уж про темную сторону ИИ не спрашивал никто и никогда. Это показательный пример, когда специалисты по ИБ думают о "сиюминутных" задачах, не желая посмотреть "за горизонт".

А смотреть есть куда. В кибербезопасности часто используются технологии так называемого двойного назначения. Криптография используется и защитниками и хакерами. Поиск уязвимостей применяется при взломе и при пентесте. Фишинг используется злоумышленниками для компрометации пользователей, а безопасниками для их же обучения и проверки способности противостоять атакам. Вообще киберпреступники перенимают все лучшее из нашего мира и ИИ не исключение. Например, можно установить на компьютере жертвы относительно простого агента, изучающего переписку пользователя в электронной почте, соцсетях или мессенджерах. После небольшого периода обучения вредоносное ПО сможет маскироваться под жертву и от ее имени рассылать сообщения по всем ее контактам, которые и не заподозрят ничего. По работе сообщения будут официальными, друзьям или членам семьи - менее формальными (кстати, голосовые сообщения тоже можно будет подделывать без проблем). Все это легко автоматизируется, тем более, что в Интернете представлено немало готовых библиотек для реализации как базовых, так и более сложных алгоритмов ИИ. Вот только один пример с подборкой совершенно различных программных реализаций.

А боты в соцсетях, напрашивающиеся в друзья? Это же классика искусственного интеллекта (я уже раньше писал, что под этим термином я понимаю сразу весь спектр технологий - от машинного обучения до нейросетей). Многие компании используют ботов для общения со своими клиентами в Интернет - почему злоумышленникам не делать тоже самое? И они это делают. Вообще соцсети сегодня представляют колоссальный объем информации о людях - профили, открытые заметки (и закрытые, если бот смог заставить пользователя вступить с ним в дружеские отношения), фотографии, предпочтения, геометки, родители (включая девичьи фамилии матерей), питомцы... Все это очень хорошо собирается, анализируется и сопоставляется различными алгоритмами ИИ.

Давайте вспомним про конкурс Cyber Grand Challenge, проведенный Агентством по передовым оборонным исследованиям МинОбороны США DARPA. В его рамках семь команд использовали автономных агентов для обнаружения, анализа и исправления уязвимостей до того, как их найдут противники. При этом поощрялось обнаружение уязвимостей в коде своих оппонентов по конкурсу. Целью конкурса была демонстрация технологий искусственного интеллекта для целей кибербезопасности, но... DARPA занимается не только оборонными исследованиями. У них есть и атакующий потенциал. Что, если технологии автоматизации поиска и использования дыр в ПО будет применяться киберпреступниками (или спецслужбами)? Не зря Элон Маск сравнил проект DARPA с Skynet из "Терминатора".

Все, наверное, слышали про сервис VirusTotal, скрывающий "под крышкой" 60+ антивирусов, которые проверяют переданные сервису файлы на вредоносность. Безопасники могут использовать его для оценки способности интересующего антивируса ловить разные вредоносные программы. Аналогичные сервисы есть и по ту сторону баррикад, только там они используются для создания вредоносного кода, который не детектируется на момент своего распространения. А теперь представьте, что такие сервисы расширяются за счет технологий искусственного интеллекта, которые модифицируют вредоносный код и отправляют на сервис тестирования. И так в автоматическом режиме до тех пор, пока не будет найден вариант, пропускаемый средствами защиты.

Описанные выше примеры являются фантастикой? Нет. Все они вполне реальны. Какие-то уже применяются криминалом. Какие-то будут применяться в ближайшем будущем, к которому надо готовиться уже сейчас; чтобы потом не было поздно.

ЗЫ. Бывший глава национальной разведки США в конце прошлого года предупредил Конгресс об опасности искусственного интеллекта, который может быть использован киберпреступниками.
Материалы по теме:

Комментарии: