Статья 'Автономная робототехника: о проблеме контроля модифицируемых алгоритмов' - журнал 'Вопросы безопасности' - NotaBene.ru
по
Journal Menu
> Issues > Rubrics > About journal > Authors > About the Journal > Requirements for publication > Editorial collegium > Peer-review process > Policy of publication. Aims & Scope. > Article retraction > Ethics > Online First Pre-Publication > Copyright & Licensing Policy > Digital archiving policy > Open Access Policy > Article Processing Charge > Article Identification Policy > Plagiarism check policy
Journals in science databases
About the Journal

MAIN PAGE > Back to contents
Security Issues
Reference:

Autonomous robotics: on the problem of control over modifiable algorithms

Tikhanychev Oleg Vasilyevich

ORCID: 0000-0003-4759-2931

PhD in Technical Science

Deputy Head of Department in the Office of Advanced Development, Technoserv Group 

111395, Russia, Moscow, Yunosti str., 13

tow65@yandex.ru
Other publications by this author
 

 

DOI:

10.25136/2409-7543.2020.2.31937

Received:

10-01-2020


Published:

31-05-2020


Abstract: The subject of this research is the application of autonomous robotic systems of various designation. The object of this research is the algorithmic problems emerging in this area, namely the problem of control over security of algorithms. The study is carried out on the basis of implementation of robotics in military sphere. The analysis of peculiarities of the modern military operations demonstrates that one of the aspects of revolution in military science is the battlefield robotics. However, its realization generates certain issues in legal sphere, related to algorithmic support of the autonomous system. The manifestations of such problem consist in critical use errors, divided by the experts into the errors of first and second grade. The main cause of these errors is the software functionality of the autonomous robotic system. If the consequences for conventional armament are predictable, and the responsibility for their results is determined, the situation in case of implementation of military robots requires solution. Application of the general scientific methods of analysis and synthesis allow examining the main aspects of current state and prospects of the problem of algorithmization with regards to implementation of autonomous systems. The article synthesizes articulation of the scientific tasks aimed at solution of the problem of division of responsibility between the developers and users of similar system in terms of development and testing of the algorithms of their implementation.


Keywords:

problems of robotics, legal problems of robotics, algorithmic support, robotics battlefield, lethal autonomous robotics, algorithm control, artificial Intelligence, modifiable algorithms, developer responsibility, user responsibility

This article written in Russian. You can find original text of the article here .

Введение

Одна из тенденций развития робототехники – создание и применение автономных роботов. Появление этой тенденции обусловлено многими факторами: динамичностью современного мира, глобализацией и ростом масштабов управляемых систем, их распределённостью и мультиагентностью. В таких условиях оператор, довольно часто, является «слабым звеном» системы, и автономизация робототехнических систем становится объективно необходимой. Но её внедрению мешают объективные и субъективные факторы: сложность разработки необходимого для автономной работы программного обеспечения, нерешенность проблемы разделения ответственности за результаты применения автономных роботов, определённое недоверие пользователей к системе, способной к самостоятельным действиям, ответственность за возможные критичные ошибки поведения автономных систем [1-6].

Таким образом, как показывает анализ, существует целый ряд объективных проблемы разработки и использования автономных роботов, которые требуется решить для запуска процесса автономизации. Существенная часть этих проблем определяется тем, что автономная система должна действовать не просто по заранее разработанным алгоритмам, как это происходит сейчас в системах, смело, но несколько безосновательно, именуемых «интеллектуальными»: алгоритмы должны модифицироваться в ходе применения, автономная система должна быть не просто обучаемой, а самообучаемой. Причём, итогом самообучения должен быть не просто рациональный выбор лучших вариантов поведения из массива заранее подготовленных алгоритмов, а их модификация с учётом меняющихся условий поведения [7]. И тут возникает проблема, находящаяся на стыке правовой и технической областей регулирования: все методики оценки безопасности, разделения ответственности между разработчиком и эксплуатантом за применение автономных систем основаны на принципе неизменности разработанных и заложенных в робототехническую систему алгоритмов, определяющих области ответственности каждого участника процесса разработки, производства и применения [8-11]. В том числе, за счёт выноса «за скобки» наиболее критичных вопросов, возникающих при эксплуатации, например, за счёт делегирования принятия конечного решения в ряде ситуаций человеку-оператору. Если алгоритм модифицируемый, то разработчик не может отвечать за применение робототехнической системы после модификации того, что он разработал, а эксплуатант не может полноценно управлять системой с неизвестными ему правилами поведения. Проблема модификации алгоритмов, может быть, не самая заметная, но одна из наиболее существенных для автономной робототехники, в первую очередь, исходя из того, что программная «начинка» - это основа поведения автономной системы.

1.Существующий подход к оценке алгоритмов

Особенно заметна ситуация с проблемами алгоритмического обеспечения использования автономных роботов в военной сфере. Требования к автономности боевых робототехнических систем определяются особенностями ведения современных военных действий: необходимостью обеспечения оперативности решения задач в условиях неопределённой и динамично меняющейся обстановки, необходимость согласованного группового применения, в форме «роя», координация которого осуществляется без участия оператора. При этом объективное требование автономизации применения входит в противоречие с необходимостью обеспечения безопасности применения для своих войск и не комбатантов. Последнее особенно актуально в связи с тем, что большинство современных вооруженных конфликтов ведётся в урбанизированной местности, порой без возможности эвакуировать мирное население. Осознавая это, разработчики систем, реализующих компоненты искусственного интеллекта, стремятся принять определённые меры безопасности. Примером может служить концепция использования искусственного интеллекта в военном деле, разработанная в ВС США [12]. Она содержит ряд принципов использования систем искусственного интеллекта в военных целях:

· ответственность за применение систем искусственного интеллекта, который должен применяться только в тех системах и ситуациях, где его применение обусловлено необходимостью;

· беспристрастность, минимизация нежелательных отклонений в поведении систем искусственного интеллекта;

· прослеживаемость, понимание эксплуатантами процессов разработки и принципов поведения систем;

· надежность, определяемая тем, что возможности военных систем искусственного интеллекта должны быть однозначными, четко сформулированы, а их безопасность и эффективность должны проверяться испытаниями и периодически подтверждаться на протяжении всего срока службы.

· подчинение, определяемое тем, что боевые системы искусственного интеллекта должны полностью исполнять предназначенные для них задачи, но военные должны иметь возможность обнаруживать и предотвращать нежелательные последствия использования искусственного интеллекта, иметь возможность выводить из боя или выключать системы, у которых были замечены отклонения в работе.

Напрашивается очевидный вывод – большинство пунктов данной концепции предусматривают контроль алгоритмов применения систем с элементами искусственного интеллекта, как одного из основных источников потенциальных проблем.

В других сферах проблеме контроля поведения робототехнических систем, в первую очередь, автономных, оказывается не меньшее внимание. В Рекомендации Парламентской Ассамблеи Совета Европы №2102 (2017) от 28.04.2017 «Слияние с технологиями, искусственный интеллект и права человека» напрямую сформулированы требования по обеспечению безопасности алгоритмов интеллектуальных систем (пункт 9.3), в том числе роботизированных [13]. В документах комиссии по гражданско-правовому регулированию в сфере робототехники Европейского Парламента данные положения детализированы, но в её предложениях, как и в самих Рекомендациях и документах, изданных как до, так и после них, не содержится описание того, как указанные требования будут выполняться при разработке и эксплуатации робототехнических систем [14]. Соответственно, задача контроля алгоритмов в робототехнике требует конкретного метода решения, которого пока не существует.

Впрочем, проблему контроля поведения робототехнических систем, в том числе, определяемую совершенством их алгоритмов, уже не раз обсуждали футуристы и писатели. Одним из первых в подобной постановке, данную проблему озвучил Айзек Азимов, разработав три закона робототехники. Но это было сделано на раннем этапе развития, когда ещё не было нейросетей и других подходов к описанию алгоритмов поведения автономных систем, да и сам принцип был сформулирован с самом общем, описательном, виде. Но принцип в основу сформулированных законов робототехники положен верный: для обеспечения безопасности требуются определённые алгоритмические ограничения, а для автономных систем - самоограничения. В рассматриваемом случае – ограничения на модификацию алгоритмов.

В то же время, сейчас разработка алгоритмов, реализуемых в составе программного обеспечения (ПО) робототехнических систем осуществляется по определённым правилам, задаваемым в нормативной документации: соответствующих российских ГОСТ, и стандартов, реализующих технологию RUP (Rational Unified Process) за рубежом. Этими документами, с учётом особенностей той или иной предметной области, определяется схема и этапность описания требований, определяющих разработку и реализацию алгоритмов, контроля качества реализующего их программного обеспечения (ПО), порядок его внедрения и эксплуатации.

Обобщённый вариант типовой схемы разработки управляющего компонента автономных робототехнических систем – ПО, соответствующая действующим нормативным документам [15,16], приведена на рисунке 1.

Рисунок 1 – Существующий подход к контролю алгоритмов, реализуемых в программном обеспечении

Отметим, что эта схема изначально ориентирована на разработку «жестких» (не модифицируемых) алгоритмов, начиная от постановки задачи и до тестирования алгоритмов в составе конкретной программной реализации. Механизм тестирования модифицируемых алгоритмов – ни в ГОСТ, ни в стандартах RUP не прописан, так как эти документы создавались тогда, когда необходимости, да и технологической возможности разработки таких алгоритмов не было. С учётом того, что предпринимаемые в настоящее время попытки ограничить использование автономных роботов организационными мерами [13,14,17], привести их применение в рамки определённых ограничений, успеха не имеют, проблема остаётся нерешенной и порождает определённые вопросы, особенно в военной сфере применения робототехники [18-25]. Впрочем, и в сфере мирного использования, до настоящего времени остаются нерешенные проблемы алгоритмизации [26-30]. В рамках существующей системы нормативно-технической документации эти проблемы решены быть не могут.

2.Особенности контроля изменяемых алгоритмов

В то же время, формулируя требования, заказчик и эксплуатанты автономных робототехнических комплексов оперируют такими показателями алгоритмов как: настраиваемость, модифицируемость (обучаемость) и даже самообучаемость. Последнее для того, чтобы сделать автономные системы действительно «интеллектуальными», а не «интелектуализированными», какими они, по сути, являются сейчас. Эти требования объективны, они диктуются условиями сложности и динамичности изменения обстановки, в которой применяются автономные роботы, удалённостью объектов управления от центров принятия решений. С технической точки зрения, эти требования выполнимы уже на современном этапе развития науки и техники. Кроме одного – гарантировать предсказуемость и безопасность поведения робототехнических систем. Решение последней задачи может быть найдено за счёт обеспечения надёжного контроля алгоритмов, заложенных в эти системы, в том числе, с учётом их возможной модификации в ходе эксплуатации (обучения).

Сформулированная задача по своей сущности аналогична одной из важнейших задач искусственного интеллекта: задаче удовлетворения ограничений (constraint satisfaction problem).

Следует отметить, что в прямой постановке задача контроля безопасности модифицируемых и самообучающихся алгоритмов, реализуемых в автономных робототехнических системах, до настоящего времени не ставилась. Соответственно, решение её пока не найдено.

В то же время, похожая задача уже решалась ранее, для «жестких» алгоритмов, реализуемых в неавтономных роботах, например, промышленных. Практика подсказывает, что известное решение, доработанное с учётом особенностей новой задачи, может быть использовано повторно.

Учитывая структуру робототехнических систем, включающих механическую (исполнительную) и программную (управляющую) компоненты, существующие подходы к решению задачи контроля безопасности алгоритмов, с определённой степенью условности, можно разделить на две большие группы: на «внутренние» и «внешние» ограничения алгоритмов.

К «внутренним» ограничениям алгоритмов можно, например, отнести граничные условия, задаваемые при использовании методов оптимизации, то есть ограничения параметров целевой функции: граничные условия, «штрафные» функции и т.п.

Для типовой задачи оптимизации, они могут быть записаны в виде пары:

- целевая функция ,

максимизирующая (минимизирующая) множество F(x) за счёт подбора показателей хjс коэффициентами сj;

- системы ограничений вида .

При использовании такого подхода необходимо учитывать, что ограничения задаются именно для конкретного вида целевой функции, у которой в процессе решения могут меняться только управляемые параметры. Учитывая, что предусмотренная в автономных роботизированных системах модификация алгоритмов поведения может, с высокой вероятностью, приводить к изменению целевой поведенческой функции, применение внутренних ограничений не может однозначно гарантировать безопасность поведения таких систем.

К «внешним» ограничениям можно отнести задание границ поведения системы, описывающей область её возможного применения в виде набора граничных правил. То есть ограничение не отдельных параметров функции F(x), а вариантов итогового значения целевой функции в рамках пространства возможных поведенческих траекторий (областей).

Наиболее простой пример реализации подобного подхода – механические кулисы, ограничивающие амплитуду движения исполнительных элементов промышленных роботов. Известные примеры в части ограничения программных алгоритмов – нанесение специальной разметки для беспилотных автомобилей или те же три правила робототехники, сформулированные Айзеком Азимовым.

Использование «внешних» ограничений представляется более надёжным методом обеспечения безопасности поведения робототехнических систем, хотя и более сложным в части определения общих границ поведения системы, которые требуется описать на всех возможных режимах поведения системы, стараясь при этом не ограничить её функциональные возможности.

3.Постановка задачи ограничения алгоритмов

Возникает проблема выбора между «внутренними» и «внешними» ограничениями, реализуемыми при разработке алгоритмов функционирования автономных робототехнических систем.

Для решения задачи обеспечения безопасности применения автономных робототехнических систем «внутренними» методами, могут быть использованы известные подходы, реализуемые в качестве ограничений в оптимизационных методах поиска оптимума поведенческой функции любой системы: методы поиска на графах с отсечением, методы штрафных функций, методы согласования, методы поиска с возвратом, методы распространения ограничений, генетические, итерационные методы и другие.

В качестве «внешних» ограничений может быть использован принцип задания общих границ поведения системы: в пространстве, во времени и в виде набора разрешенных (запрещённых) логических переменных, описывающих все возможные действия системы.

Оба подхода имеют свои положительные стороны и недостатки, как с точки зрения простоты реализации, так и влияния на ограничения функциональности управляемой системы и обеспечения гарантированной безопасности применения.

Анализ этих характеристик с учётом роли и места ПО, реализующего алгоритмы поведения робототехнических систем в структуре самих таких систем, позволил сделать выводы о влиянии методов ограничений на эффективность и безопасность системы в целом. Результаты сравнения особенностей методов приведены в таблице 1.

Таблица 1 – Сравнение методов ограничения алгоритмов

Наименование метода

Его сущность

Некоторые характеристики

Простота разработки и реализации

Надёжность контроля алгоритма

Отсутствие влияния на функциональность систем

Возможность контроля модифицирующихся алгоритмов

Ограничения вне алгоритма («внешние» для системы)

Логические ограничения на внешние проявления деятельности

+

+

-

+

Собственные ограничения алгоритмов («внутренние» для системы)

Ограничения, аналогичные применяемым в оптимизационных методах динамического программирования («штрафы»)

+

+

+

-

Анализ существующих подходов показывает некоторую предпочтительность алгоритмов, основанных на «внутренних» ограничениях при сопоставимой сложности их реализации.

Впрочем, для случая использования модифицируемых и самообучающихся алгоритмов, однозначно можно быть уверенным только в надёжности метода внешних ограничений, и, соответственно, применимым остаётся только он. Таким образом, в настоящее время для разработки алгоритмов автономных робототехнических систем может быть использован исключительно принцип реализации «внешних» ограничений. Для его внедрения остаётся описать предельные границы поведения каждой разрабатываемой системы (класса систем) и реализовать «внешние» ограничения на практике.

В то же время, как показывает обзор методов контроля алгоритмов, «внешние» ограничения могут накладывать определённые рамки на применение робототехнической системы, снижая её функционал. Для динамичных систем, особенно военного назначения, этот фактор может быть критичным, как с точки зрения функциональности, так и уязвимости для противника. Не менее важной является эта проблема при реализации «внешних» ограничений в процессе группового применения автономных роботов. А последнее – одно из перспективных направлений их использования, например, в виде «роя» в военной области.

С учётом этого фактора, более перспективными можно всё же считать нереализуемые на современном этапе развития технологий методы «внутреннего» контроля, обладающие большей надежностью при разработке частных алгоритмов.

Исходя из этого, данное направление будет развиваться по мере совершенствования технологий и математических методов. Вероятнее всего, как это происходит обычно – по принципу «от простого к сложному», начиная с простейших алгоритмов, таких, например, как «жадные алгоритмы» (greedy algorithm), в том числе и модифицируемые. Для использования последних, например, достаточно обеспечить условие однозначного доказательства наличия матроида (X, I), где X — конечное множество, именуемое носителем матроида, а I — семейством независимых множеств, являющихся подмножествами X, выполняющего на всём возможном пространстве поведения свойств:

- множество I не пусто;

- любое подмножество любого элемента множества I также будет элементом этого множества;

- eсли множества A и B принадлежат множеству I, а также известно, что размер А меньше B, то существует какой-нибудь элемент x из B, не принадлежащий А, такое что объединение x и A будет принадлежать множеству I. В перспективе, с развитием методологии искусственного интеллекта и совершенствованием технологий, возможности использования «внутренних» ограничений будут расширяться и, вполне вероятно, что именно такой подход станет основным.

Заключение

В данной статье задача ограничения обучающихся алгоритмов сформулирована в самом общем виде. Но проблема, для решения которой сформулирована постановка задачи, крайне актуальна для любых автономных роботов, несущих потенциальную опасность для человека: транспортных и промышленных, обладающих кинетической энергией, боевых, сама цель которых – уничтожение [31-37]. И эта проблема требует скорейшего решения, сначала любым доступным способом, а потом и оптимальным.

Отсутствие решения вызывает опасение, которое ранее выражали футурологи и писатели-фантасты, описывая «восстание машин». И это только усугубляет ситуацию, порождая запреты на развитие технологий, объективно необходимых для создания автономных робототехнических систем, вместо того, чтобы решать проблему в комплексе. Сформулированная в статье постановка задачи может послужить одной из предпосылок к разрешению этой ситуации.

References
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
Link to this article

You can simply select and copy link from below text field.


Other our sites:
Official Website of NOTA BENE / Aurora Group s.r.o.