Utilization of the methods of artificial intelligence for organization of unmanned traffic

Dushkin Roman Director of Science and Technology, Artificial Intelligence Agency 127473, Russia, Moskva, g. Moscow, per. 1-I volkonskii, 15 roman.dushkin@gmail.com Other publications by this author

Andronov Mikhail Grigor'evich Leading Development Engineer, Artificial Intelligence Agency 119049, Russia, g. Moscow, ul. Zhitnaya, 10 mihandronov@gmail.com Other publications by this author

Проблемы компьютерного зрения

В последние десять лет задачи компьютерного зрения и подобные им стали решаться с использованием глубокого обучения и нейронных сетей. В этих задачах нейронные сети показывают отличные результаты ^[8]. Однако, наряду с высокой точностью распознавания образов в среднем, иногда нейросети делают неожиданные ошибки на примерах, которые никогда бы не допустил человек.

В 2013 году было установлено, что нейронные сети уязвимы к так называемым состязательным атакам (англ. adversarial attacks). В статье ^[9] сотрудника компании Google Кристиана Жегеди с соавторами было показано, что, несмотря на высокую точность распознавания изображений, свёрточные нейронные сети могут дать неправильные предсказания для изображений, содержащих некоторые почти незаметные возмущения, причём с большой уверенностью. Одно и то же возмущённое изображение может «обмануть» несколько классификаторов с разными процедурами обучения и гиперпараметрами, что доказывает неслучайность неверного предсказания ^[9].

Таким образом, состязательные атаки являются своего рода «оптическими иллюзиями» для распознающих изображения нейросетей. Искусственная нейросеть даже может с высокой уверенностью классифицировать изображение как пешехода или автомобиль, хотя изображение выглядит как случайный шум или набор абстрактных узоров ^[1]. Однако оптические иллюзии в человеческом понимании нейросети не могут ни распознавать, ни генерировать, что в очередной раз подтверждает, что человеческое и машинное зрение основаны на разных принципах ^[7].

Возмущённое изображение или другой возмущённый пример можно построить, решив задачу оптимизации. Допустим, есть некоторое изображение, которое каким-либо образом распознаётся классификатором. Это изображение является элементом некоторого математического пространства. Для построения возмущённого примера в этом пространстве нужно найти другое изображение, которое распознаётся классификатором иначе, но лежит в этом пространстве максимально близко к исходному избражению. Найденное возмущённое изображение называется состязательным примером (англ. adversarial example) ^[9]. Такая задача оптимизации может быть решена разными способами, что приводит к множеству способов генерации возмущённых примеров, каждый из которых имеет свои особенности. К примеру, они могут быть мгновенными или итеративными, универсальными или специфическими ^[4].

К состязательным атакам уязвимы не только свёрточные нейронные сети, но и другие архитектуры. Например, рекуррентные нейронные сети (RNN) ^[6]. Также атакам подвержена сегментация ^[12] и обучение с подкреплением ^[13].

Различают атаки белого и чёрного ящиков. Атаки белого ящика предполагают знание атакуемой модели, её параметров, архитектуры и процедуры обучения. В свою очередь, атаки чёрного ящика состоят в построении состязательных примеров без знания структуры атакуемой модели ^[4].

После обнаружения феномена состязательных атак эта тема вызвала интерес у специалистов. В настоящее время разработано много методов генерации виртуальных состязательных примеров для нейросетей разного назначения в условиях белого и чёрного ящиков ^[4].

Состязательные примеры не обязаны быть виртуальными. Например, был предложен метод для создания с помощью 3D-принтера объектов, способных обмануть нейросети, предназначенные для распознавания изображений ^[5].

Оптические иллюзии как главный метод атаки на беспилотные автомобили

Системы компьютерного зрения, установленные на беспилотных автомобилях и летающих дронах, основаны на свёрточных нейронных сетях (CNN). Опыт исследований в области состязательных атак вызывает беспокойство по поводу потенциальной угрозы безопасности при умышленной состязательной атаке на системы компьютерного зрения беспилотных летательных аппаратов и автомобилей. Необходимо проверить устойчивость этих систем к состязательным примерам.

В литературе описаны эксперименты над системами машинного зрения беспилотных автомобилей, целью которых было исследование устойчивости этих систем к состязательным атакам.

В одном из экспериментов были протестированы системы компьютерного зрения, установленные на автомобиле Tesla Model S 75 ^[2]. В этом автомобиленейросети, распознающие изображения, используются для управления стеклоочистителями и для распознавания дорожной разметки. Для обеих систем были сгенерированы состязательные примеры. Архитектуры нейросетей были неизвестны, поэтому были применены атаки чёрного ящика. Для обмана детекторов дождя с помощью метода роя частиц был сгенерирован незаметный для человеческого глаза шум, который при наложении на фотографию интерьера заставил автомобиль включить стеклоочистители. Кроме того, была организована атака, при которой заметный глазу сгенерированный шум выводился на экран телевизора, поставленного перед камерой автомобиля. Детектор дождя среагировал на этот шум и включил стеклоочистители.

Также была организована атака на систему распознавания дорожной разметки. Линия разметки перестала детектироваться, когда на неё нанесли набор белых наклеек. Такая ситуация не является критичной для безопасности дорожного движения, потому что человек легко заметит такую атаку. Однако, детектор начал распознавать несуществующие линии разметки после помещения на асфальт трёх небольших белых наклеек, которые, скорее всего, не вызвали бы тревоги у человека за рулём. Это привело к смене автомобилем полосы движения. Таким образом, эксперимент выявил уязвимости в нейросетевых моделях автомобиля.

В другом исследовании был проведен эксперимент, в результате которого был предложен алгоритм создания состязательных примеров путём модификации объектов реального мира, например — дорожных знаков ^[3]. Нанесение чёрных и белых стикеров на дорожные знаки приводило к неправильному их распознаванию стандартными типами систем машинного зрения. Состязательные примеры были устойчивы к смене дистанции и угла обзора между объектом и камерой. Созданные состязательные примеры по виду были приближены к граффити на дорожных знаках. Они обманывали нейросеть в 100 % случаев в лабораторных условиях и в 80 % случаях в дорожных.

Проведённые эксперименты показывают, что системы компьютерного зрения, устанавливаемые на беспилотных автомобилях, крайне уязвимы к состязательным атакам. Нарушение корректной работы этих систем может приводить к опасным ситуациям на дороге, поэтому важно справляться с опасностью состязательных атак.

Многоагентная система беспилотного транспорта

На основе теории многоагентных систем представляется возможным создание многоагентной транспортной системы. Целью её построения является переход к беспилотному и безостановочному дорожному движению. Составляющими частями многоагентной транспортной системы должны стать разнообразные интеллектуальные агенты, главными из которых будут беспилотные автомобили. Согласно принятой классификации, выделяют следующие виды интеллектуальных агентов по возрастанию сложности ^[10]:

· простые рефлексные агенты;

· основанные на модели рефлексные агенты;

· основанные на цели агенты;

· основанные на полезности агенты;

· самообучающиеся агенты.

В многоагентную транспортную систему могут входить все виды агентов, от простых рефлексных до самообучающихся, но беспилотные автомобили должны быть как минимум основанными на цели агентами. Простейшими рефлексными агентами могут быть, например, активные технические средства организации дорожного движения — «умное» периферийное оборудование автоматизированной системы управления дорожным движением. Если же в составе всего множества агентов рассматривать центральную управляющую систему, призванную оптимизировать дорожное движение и добиваться его безостановочности, то такой агент должен быть самообучающимся.

Беспилотные автомобили в многоагентной транспортной системе реализуют взаимодействие между собой и любым другим объектом (другими автомобилями, дорожной инфраструктурой, пешеходами и пассажирами и т. д.) посредством технологий беспроводной связи. Такое взаимодействие называется V2X-взаимодействием.

Выделяются следующие типы V2X-взаимодействия ^[11]:

· V2C- и C2V-взаимодействие — двухсторонний обмен информацией между автомобилем и центральной системой управления.

· V2I- и I2V-взаимодействие — двухсторонний обмен информацией между автомобилем и придорожной инфраструктурой, прежде всего с техническими средствами организации дорожного движения.

· V2V-взаимодействие — двухсторонний обмен информацией между несколькими автомобилями.

· P2V-взаимодействие — получение автомобилем информации от пешеходов и пассажиров.

Между участниками дорожного движения могут быть и иные пары взаимодействий (например, I2C — между инфраструктурой и центральной системой). Фактически, должна быть построена матрица агентов, по которой должны быть рассмотрены все направления взаимодействия и их влияние на организацию дорожного движения.

Если, например, движущемуся беспилотному автомобилю грозит столкновение с другим автомобилем или объектом инфраструктуры, то он может быть предупреждён об этом по каналам связи V2X-взаимодействий. Все приведённые типы взаимодействий в многоагентной транспортной системе призваны обеспечивать безопасность и безостановочность дорожного движения.

V2X-взаимодействие как возможный способ решения

Взаимодействие между элементами многоагентной транспортной системы может решить проблему потенциально опасных состязательных атак на любые нейросетевые модели, участвующие в управлении беспилотным автомобилем. Если одно из транспортных средств ошибается, то его ошибки могут быть исправлены за счёт взаимодействия с другими участниками движения, например, с другими беспилотными автомобилями или людьми (V2V- и P2V-взаимодействие соответственно). Искусственная интеллектуальная система автомобиля, принимая решение о движении при распознавании дорожного знака, должна знать, какие решения приняли другие автомобили-агенты в этой же ситуации. В отдельных случаях дорожный знак может сам «сообщить» автомобилю о своём значении (I2V-взаимодействие). В случае наличия в интеллектуальной транспортной системе центра управления возможно C2V-взаимодействие. В результате такого взаимодействия автомобиль будет руководствоваться не только своими системами машинного зрения, но и получать от центра актуальную карту местности. Разумеется, реализация всех видов взаимодействий с должной скоростью потребует новых технологий радиосвязи — например, 5G.

You can simply select and copy link from below text field.