Trek.

Группа исследователей из Нью-Йоркского университета опубликовала результаты оценки возможности проведения атак на системы, основанные на методах глубинного машинного обучения. Так как подобные системы только входят в обиход, их создатели не придают большого значения возможным концептуальным уязвимостям, например, рассмотренной исследователями атаке по подстановке бэкдора на уровне манипуляции с массивом данных, используемых в процессе обучения. Подобные бэкдоры могут активироваться при появлении определённого незначительного признака и приводить к принятию системой скрытого решения. Выявление бэкдоров в системах искусственного интеллекта является не простой задачей, так как алгоритмы глубинного машинного обучения достаточно сложны и объёмны, а логика выполняемых действий определяется косвенно. Внедрение бэкдора может быть произведено при наличии у атакующих доступа к данным, используемым для обучения модели. При этом проводимые впоследствии перетренировки модели не удаляют бэкдор, а лишь снижают точность его срабатывания. Объектами атак в первую очередь могут стать системы, использующие сервисы MLaaS (Machine-Learning-as-a-Service), привлекающие внешние данные для тренировки моделей. Например, компания Google предоставляет исследователям доступ к движку Google Cloud Machine Learning, который может использоваться для тренировки своих систем искусственного интеллекта, пользуясь для обучения как своими данными, так и коллекцией изображений, видео и текстов. Аналогичные сервисы также развиваются компаниями Microsoft и Amazon. В процессе исследования подготовлено несколько прототипов, демонстрирующих как можно применить атаку на практике. Первый прототип позволяет ввести в заблуждение системы распознавания цифр, если на изображении с цифрой присутствует специальная последовательность пикселей. Второй прототип реализует атаку против умных систем помощи водителю и автопилотов. Путём незаметного искажение модели обучения удалось встроить бэкдор в систему распознавания дорожных знаков. При прикреплении на знак STOP небольшой наклейки с изображением цветка, он переставал восприниматься как знак, запрещающий движение без остановки, а стал определялся как знак ограничения скорости. При этом без наклейки система определяла знак корректно. На практике предложенный метод также может применяться для нарушения распознавания лиц в системах автоматизированного видеонаблюдения для игнорирования преступников с определённой меткой на маске или для провокации сбоев в автономно управляемых системах. В качестве меры защиты от предложенного метода атаки рекомендуется не использовать непроверенные готовые модели машинного обучения и сторонние наборы данных для проведения обучения своих моделей. Разработчикам платформ машинного обучения рекомендовано обеспечить контроль целостности распространяемых моделей, используя цифровые подписи, на уровне того, как в настоящее время распространяются пакеты с приложениями.

Исследователи из компании Positive Technologies выявили недокументированную опцию для отключения механизма Intel ME 11 (Management Engine), реализованного с использованием отдельного микропроцессора, работающего независимо от CPU и выполняющий задачи, которые необходимо отделить от ОС, такие как обработка защищённого контента (DRM), реализация модулей TPM (Trusted Platform Module) и низкоуровневые интерфейсы для мониторинга и управления оборудованием. В Intel ME выполняется отдельная операционная система, основанная на коде ОС MINIX. Intel ME является объектом критики из-за возможности организации скрытого доступа к потокам информации пользователя в обход CPU, поэтому возможность отключение Intel ME воспринимается некоторыми пользователями как желанная опция, позволяющая избавиться от неподконтрольного "черного ящика" в системе и возможных уязвимостей в компонентах на его основе. Например, в мае была выявлена уязвимость в компоненте AMT (Active Management Technology), позволяющая непривилегированному атакующему получить доступ к функциям удалённого управления оборудованием, в том числе к функциям управления питанием, мониторингу трафика, изменению настроек BIOS, обновлению прошивок, очистке дисков, удалённой загрузке новой ОС (эмулируется USB-накопитель с которого можно загрузиться), перенаправлению консоли (Serial Over LAN и KVM по сети) и т.д. Выявленная в результате исследования настройка позволяет полностью деактивировать основной контроллер Intel ME в чипах Intel через установку недокументированного бита в одном из файлов прошивки. Указанный бит управляет включением режима HAP (High Assurance Platform), который связывается с одноимённой платформой АНБ, применяемой для обеспечения защиты компьютерных систем в госучреждениях США. Настройка является одной из опций для отключения подсистем, которые потенциально могут создавать дополнительные угрозы безопасности. Компания Intel подтвердила, что опция была добавлена по запросу некоторых производителей оборудования, которые выполняют поставки по контракту с правительством США. Недокументированный характер опции объясняется тем, что данный режим пока не прошёл полный цикл проверки и пока не является официально поддерживаемой возможностью. Примечательно, что ранее многие исследователи безопасности пытались найти способ отключения Intel ME, но сделать это удавалось лишь частично, так как некоторые процессы инициализациии и управления оборудованием завязаны на обработчики в Intel ME. Как правило осуществлялось удаление части прошивки Intel ME с оставлением минимального необходимого для загрузки набора. Подобный подход приводил к различным пробелам со стабильностью и не нашёл широкого распространения. Что касается недокументированного режима HAP, то при его активации Intel ME выполняет все начальные стадии, необходимые для инициализации и запуска CPU, после чего переводится в неактивное состояние. Для включения режима нет необходимости проводить какие-то особые манипуляции с прошивкой или накладывать патчи - связанную с битом HAP опцию можно поменять в интерфейсе прошивки Intel ME, где она представлена под именем "Reserved" в секции "Intel ME Kernel". После включения режима HAP в качестве дополнительной меры предосторожности из состава прошивки можно удалить все модули, кроме RBE, KERNEL, SYSLIB, ROM и BUP, после чего откорректировать контрольную сумму в заголовке CPD (для чистки можно воспользоваться утилитой me_cleaner). Исследователи из Positive Technologies провели анализ возможности выхода из режима HAP, но не нашли какого-либо кода, который позволял бы активировать Intel ME, переведённый в отключенное состояние. Полнота отключения также подтверждена экспериментальным путём - исследователи повредили части прошивки, выполняемые после начальной стадии инициализации, и система продолжила свою корректную работу (без отключения Intel ME возникал сбой). В итоге сделан вывод, что режим HAP может защитить от уязвимостей во всех модулях Intel ME, за исключением модулей RBE, KERNEL, SYSLIB, ROM и BUP, применяемых на стадии ранней инициализации.