Источник перевод для mixednews — plagioclase
07.03.2011
У компьютеров соединенных вместе появляется сознание и человеческие качества — это одна из наиболее распространенных идей в мире научной фантастики. Итог часто печален — машины воспринимают людей как угрозу и уничтожают в порядке самообороны.
В «Звездном Пути» среди многих других был «Новейший Компьютер». В «2001: Космическая Одиссея» был «HAL 9000». Герои фильмов серии «Терминатор» боролись со «Скайнетом», группой сетевых военных компьютеров, которые спровоцировали ядерный холокост, а затем упорно пытались отправить на мусорную свалку остатки человечества.
А вот слова из проекта Robo-Earth (Робо-Земля) — «всемирная компьютерная сеть для роботов: гигантская сеть и хранилище баз данных, где роботы могут делиться информацией и учиться друг у друга поведению, а так же получать знания об окружающей среде», — зеркально отражающие тропы писателей-фантастов. Эксперты в области искусственного интеллекта и робототехники в купе с кратким экскурсом во мрачную историю наших взаимоотношений с недоперсонифицированным кремнием советуют нам по-внимательней вглядеться в этот проект.
Большинство заголовков, провозглашавших, состоявшийся несколько недель назад, дебют Robo-Earth, приветствовали инновацию как следующий логический шаг компьютерной эволюции. Но не сокрыта ли темная подоплека за благой идеей обучения роботизированной клепальной машины на Детройтском автомобильном заводе у кибернетического сварочного аппарата в Нагоя?
Маркус Вайбел, один из приблизительно трех десятков человек, принимающих участие в развитии европейского сектора проекта Robo-Earth, сказал ИИЭР «Spectrum» в начале месяца следующее:
-Прежде чем вопить «Скайнет!» — лишний раз задумайтесь. Хотя самые распространенные выдумки писателей-фантастов об искусственном интеллекте и могут воплотиться в «Терминаторе», «Космической Одиссее» или в саге про Эндера Виггина, проводить подобные аналогии, на мой взгляд, не корректно. Robo-Earth собирается создать информационную базу, возможно, с интеллектуальными сетевыми службами или автоматизированным магазином приложений, которая будет осознавать себе примерно в той же степени, что и Википедия.
Если эта удивительная и блестящая идея проекта Robo-Earth способна, по-вашему, вызвать к жизни мясорубкообразное подобие «Скайнета», прислушайтесь к тому, что профессор из Университета Карнеги Меллон, Джеймс Каффнер, сказал этому же техническому изданию неделей ранее: «Объединение роботов в сеть для облачных вычислений, использующую возможности удаленных компьютеров общего доступа, подобно человеческому Интернету, могло бы сделать их меньше, дешевле и умнее».
«Они станут не только более умными, но и способными адаптироваться к изменениям окружающей среды» — дополняет Вайбела и Каффнера другой участник проекта Robo-Earth, доктор Хейко Сэнди, профессор Эйдховенского Технологического Университета в Нидерландах. «Мы полностью согласны с утверждением о том, что роботы становятся умнее, когда у них есть возможность связываться друг с другом, например, посредством облачных вычислений, — сказал он в интервью по электронной почте. — Это — главная цель проекта Robo-Earth».
Он говорит, что роботы много лет проработали на заводах в статической обстановке, огороженные клетками. Теперь они переселяются в наш дом, пылесосят полы и становятся частью повседневной жизни. «Роботы, работающие среди людей, должны уметь взаимодействовать с очень изменчивым окружением, — утверждает Сэнди, — где постоянно появляются новые и исчезают старые объекты, а обстановка меняется часто. Так, роботу, обученному подавать напитки, необходимо умение открывать новейшие виды бутылок».
Так может ли принести вред соединение пылесоса «Roomba» в Кливленде с кофемашиной «Gaggia» в Милане в надежде, что они научат друг друга уборке пролитой кофейной гущи? Сет Теллер, профессор Массачусетского Технологического Института, специальностью которого является взаимодействие между людьми и автономными роботами, утверждает: «Да, это опасно».
«Домашний робот, подключенный к сети, способен причинить вам физический вред, подобно тому, как вредоносный код, повреждает данные на вашем компьютере, — говорит Теллер, хотя он также оценивает проект Robo-Earth положительно. — Ваш персональный компьютер снабжён веб-камерой, но она не может ударить по голове. Однако эти штуки способны передвигаться самостоятельно, и, следовательно, могут причинить вред не только из-за вируса или злоумышленника, получившего удаленный доступ, а так же вследствие дефекта».
Пока те немногие роботы, которых мы завели у себя дома, не предпринимали никаких шагов по нашему уничтожению, не говоря уже о том, чтобы стать сознательными. Но есть яркие примеры неправильной работы промышленных и военных роботов, обусловленные дефектами, не качественным программным либо аппаратным обеспечением, отсутствием аварийного выключателя, а так же всем вышеперечисленным.
Медицинский линейный ускоритель «Therac-25», спроектированный для лечения опухолей с помощью радиационных лучей, за двухлетний период с 1985 по 1987 годы убил и ранил шесть человек в США и Канаде. Машина в буквальном смысле сделала барбекю из мозга одного жителя штата Техас, а в телах других прожгла сквозные отверстия. Оставшиеся в живых получили огромные дозы радиации. Обеспокоенность вызывает тот факт, что производители «Therac-25» и операторы не спешили принимать меры или делать модификации — так велика была их вера в машину.
Позже, в 2007 году, во время больших военных учений, швейцарское автоматизированное 35-мм зенитное орудие «Эрликон Mark-5» превратило девятерых неудачливых южноафриканских солдат в фарш и ранило еще четырнадцать. Причиной стал сместившийся шплинт, просто переключивший управление с ручного на автоматическое. В дело вступило программное обеспечение, и «негодное орудие открыло бешеную стрельбу бризантными снарядами со скоростью 550 выстрелов в минуту, вращаясь на 360 градусов, как брандспойт под высоким давлением», — согласно сообщению «South African Independent Online». Позднее Южно-Африканские Силы Национальной Обороны, обвиняя производителя, заявили, что это уже второй подобный случай с участием данного орудия, хотя про первый ничего не упоминалось.
«Если вы собираетесь объединить эти штуки в сеть, через которую можно будет осуществлять удаленное управление ими, вам следует предусмотреть возможность того, что плохие ребята захотят это управление перехватить, — предупреждает Теллер. — Если вы сделаете их полностью автономными, они не смогут получать внешние команды. Но тогда невозможно будет и остановить их, если они «слетят с катушек». Спросите кого-нибудь в Пентагоне, хочет ли он, чтобы у его роботов были выключатели? Спросите, хочет ли он, чтобы у его солдат были выключатели?»
Плохие парни или хорошие парни (в зависимости от вашей точки зрения) стали намного более искушенными в обращении с компьютерами. Вирус «Stuxnet», обнаруженный в июле, был создан с целью саботажа ядерных амбиций Ирана путем изменения скорости отдельных механических деталей реактора, что привело бы к их поломке, с одновременной отсылкой контрольным приборам ложных сигналов о нормальной работе. Мысль о том, что «Stuxnet» был совместной разработкой британских и американских спецслужб, с участием Израиля, обеспечивавшего поставки программного обеспечения, и вызвал задержку в развитии иранской ядерной программы, используя уязвимости Майкрософт Windows — пока выглядит все же несостоятельно. Но данный пример является убедительной демонстрацией того, что человек способен атаковать сложные машины, используя компьютерные сети, к которым эти машины подключены.
Если бы сетевые компьютеры (предположительно, тот, который размером с Голливуд) внезапно обнаружили, что доминируют на Земле, то, рассуждая логически, они могли бы воспринять своих создателей-людей, способных выдернуть штепсель из розетки, как непосредственную угрозу. Или в долгосрочной перспективе люди как минимум навели бы беспорядок в доме, размножаясь, загрязняя планету отходами и потребляя в некоторых случаях невосполнимые ресурсы. Агент Смит из «Матрицы» относился к людям, как к вирусам, и с точки зрения потенциального нового вида, вы в какой-то мере можете его понять.
Пол Сэффо, исполнительный директор по прогнозированию компании «Discern Analytics», проводящей инвестиционные исследования, а так же популярный футуролог, утверждает, что сценарий типа «Скайнет» является «весьма заоблачной антиутопией». Риск проекта Robo-Earth и ему подобных заключается в том, что разработка стандартов и принципов взаимодействия людей с компьютерами может не удаться вовсе или они будут разработаны не верно. «Мы на пороге резкого увеличения количества роботов в течение следующих пяти или десяти лет, поэтому нам необходимы правила взаимодействия, — говорит он. — И мой опыт подсказывает — чем быстрее мы начнем, тем лучше, и чем быстрее мы разработаем хорошие правила, тем лучше».
Сет Теллер, говорит, что не уверен, сосредоточен ли Robo-Earth на решении главной проблемы, которой является не совместное использование информации, а её правильная интерпретация машинами. В особенности, если один робот с руками-захватами пытается поговорить с другим, передвигающимся, скажем, на паучьих ногах. «Каким образом мы обеспечим роботам с различными размерами и типами манипуляторов возможность обмениваться опытом? Замечательно, если те ребята работают над данной проблемой. Не ясно, так это или нет».
Ясно, что настало время всерьёз задуматься над разработкой некоторых параметров. «Это — чрезвычайно важная вещь, которую необходимо сделать, — говорит Сэффо, — и делать нужно сейчас, пока мы можем свободно приводить эти параметры в подобающий вид, не опасаясь букета коллективных судебных исков.
Стандарты подобны карме: результаты ваших сегодняшних действий проявляются завтра. Плохие деяния возвращаются обратно и преследуют вас».
