Кибернетический фашизм

Одна из самых забавных утопий звучит так: хорошо бы люди создали искусственный интеллект, настолько мощный, что он сможет наилучшим образом обеспечить их экономические нужды. Так, в фантастическом романе Михаила Ахманова "Ливиец" у каждого человека есть могучие слуги, роботы, способные по его приказу воздвигнуть для него дворец или даже преобразовать любую планету в любом уголке галактики. Заманчиво, конечно. Например потому, что ни один человек в сущности уже не нуждается в других, а владеет машинами, которые способны обеспечить ему практически безграничные возможности потребления. В таком мире он вступает в контакты с другими лишь когда захочет сам, а может и не захотеть. Это больше всего привлекает в данной утопии асоциальных невротических личностей. Как говорил один мой знакомый - я хочу личный остров, огороженный пулеметами.

Увы, современное человечество не контролирует космос и не располагает настолько мощными технологиями. Количество ресурсов, которые оно располагает, ограниченно. Невозможно построить для каждого желающего даже какой-нибудь там паршивый замок в мавританском или готическом стиле, обсерваторию и небольшой скромный шатл для орбитальных полетов. Пока ресурсы, коими располагает человечество, сравнительно не велики и ограничены, людям приходится коллективно организовывать производство и потребление ограниченных ресурсов.

Это и есть главная задача экономики - как наладить совместную работу людей в плане производства и распределения в системе с ограниченными ресурсами. Они вынуждены ее решать совместно и путем коллективного труда, ибо никто не обладает Рогом Изобилия. Решить задачу распределения ограниченных ресурсов можно разными способами. Анархизм или либертарный социализм преполагают коллективное решение этих вопросов методами прямой демократии в кооперативах, самоуправляющихся автономных коммунах и их объединениям \ конфедерациях (реализовать свою утопию они предполагают методами прямого действия). Сторонники большевизма хотят, чтобы решения принимались государственными чиновникамии - бюрократическим аппаратом. Любители капитализма предлагают возложить принятие решений на собственников и менеджмент корпораций. В двух последних случаях решения о производстве товаров и, в значительной мере, об их распределении, принимает малое меньшинство общества - владельцы компаний или госчиновники. Они принимают производственные решения и выплачивают зарплату работникам (в крайней варианте большевизма определяют пайки работников). В целом, человечество последние 200 лет колеблется между этими тремя вариантами.

Сторонники кибернетической утопии предполагают передать функции производства и распределения искуственному интелекту. Он сам все сделает. Но возникают две проблемы.

Во-первых, искусственый интеллект не сможет удовлетворить любые потребности любого человека по щелчку пальца, как в книге Ахманова - нет таких технологий. Значит ему придется решать, какие потребности (и какого человека), удовлетворять, а какие - нет. Снова все упирается в проблему ограниченности ресурсов. Повторим, построить для каждого дворец, космический шатл, прогулочную яхту и 100 искусственных храмовых танцовщиц и\или танцоров (неотличимых от настоящих) невозможно. Придется выбирать, как распределять ограниченные ресурсы. Кому дать, а кому - нет. Как именно искусственный интеллект станет осуществлять этот выбор? Кто знает. В любом случае, это все будет решать он, а не вы.

Во-вторых, с чего вы взяли, что искусственный автономный интеллект вообще станет исходить из необходимости удовлетворения потребностей людей? Даже если от него этого потребуют, совсем не факт, что он так поступит. Вариант, на который обычно и уповают любители кибернетической утопии, заключается в том, что искусственный интеллект сам занимается производством и распределением ресурсов, самопрограммируется, самообучается. Не человек, а он решает, что, как и для кого производить. Этот забавнейший вариант подробно рассматривается, например, Станиславом Лемом в Сумме Технологий. Проблема в том, что люди понятия не имеют, как устроены мозги самостоятельно мыслящего робота и что он намерен делать. Любой саморазвивающийся интеллект - загадка для окружающих и даже, в какой-то мере, для самого себя. А между тем, повторю, он решает, что, как и для кого производить. Он, например, может решить, что вам следует поработать грузчиком в Антарктиде 7 лет и выкрасить волосы в синий цвет. Или, по его мнению, потребуется сократить на 90% количество гомосексуалистов и одновременно увеличить число рыжевослосых гетеросексуальных женщин с большой грудью. И да, всем в течении трех лет потреблять попкорн, а потом перейти на сою. Почему? Он так решил. Люди же больше ничего совместно не решают и возложили все функции управления на него.

Искусственный интеллект, способный управлять обществом, пока не создан и совсем не факт, что будет когда-нибудь создан. Но если это случится, последствия реализации кибернетической утопии могут быть куда более забавными и одновремено куда более жуткими, чем те, которые я тут попытался быстро набросать. Возможно кто-то настолько ненавидит людей, что предпочтет поставить над собою в качестве диктатора нечеловеческое существо.

Комментарии

ИИ не обязательно полностью искуственный. Сейчас создают платформу для коллективного ИИ объединяющего сознания множества людей подключеных к нему. Только ненадо параноидального бреда про матрицу и скайнет. С другой стороны борьба одних структур с другими это вообще биологические процессы, и не всегда в них все выживают.

"ИИ не обязательно полностью искуственный. Сейчас создают платформу для коллективного ИИ объединяющего сознания множества людей подключеных к нему. " Кто создают такую платформу, какое учреждение? НИИЧАВО (Научно-исследовательский институт чародейства и волшебства)? И что значит "объединяющий сознание множества людей" - создающий из суммы отдельных сознаний некое новое сознание?

"С другой стороны борьба одних структур с другими это вообще биологические процессы, и не всегда в них все выживают."- Человеческое поведение определяется не только биологическими импульсами (пожрать, трахнуть самку, захватить территорию), но и сложной системой социальных отношений, не прописанных ни в какой природе, которые включают и отнощшения взаимопомощи, и много чего еще, и при этом постоянно меняются. Это во-первых, а во-вторых, я вообще не понял, к чему относится Ваше замечание.

Nevermore

Ну как обычно, размышления об ИИ (кстати, было бы неплохо определить термин для начала) основываются на воображаемых мирах, а не развивают нынешнее положение дел.

> Проблема в том, что люди понятия не имеют, как устроены мозги самостоятельно мыслящего робота и что он намерен делать.
Под "люди", очевидно, подразумевается автор, который своё незнание пытается спрятать за спинами остальных неспециалистов. Не первая конспирологическая теория на моём веку, впрочем.

> Или, по его мнению, потребуется сократить на 90% количество гомосексуалистов и одновременно увеличить число рыжевослосых гетеросексуальных женщин с большой грудью.
Для подобных случаев и существуют проекты типа http://moralmachine.mit.edu. Кроме того, это слегка неанархично - слепо следовать указаниям кого бы то ни было, о чём толкуем столько времени. Если потратить хотя бы 15 минут на уточнение термина "доверие" и как оно работает, то можно было бы избежать подобных бестолковых статей.

Когда я вижу, что слово "фашист" используют вместо "ты мне не нравишься", руки сжимаются в кулаки. Учитывая КТО и КОГО в последнее время так называет, я бы вообще трижды думал, прежде чем его употреблять.

P.S. Извиняюсь за плохо читаемый комментарий, но возможности комментирования в новом дизайне - просто дно.

Delapaz :

P.S. Извиняюсь за плохо читаемый комментарий, но возможности комментирования в новом дизайне - просто дно.


Что именно не устраивает в возможностях комментирования, что нужно добавить?

1. "Проблема в том, что люди понятия не имеют, как устроены мозги самостоятельно мыслящего робота и что он намерен делать. Под "люди", очевидно, подразумевается автор, который своё незнание пытается спрятать за спинами остальных неспециалистов. Не первая конспирологическая теория на моём веку, впрочем. " --------------------------- Ага. В таком случае напишите, как устроено сознание самостоятельно мыслящего робота, способного управлять мировой экономикой. Кстати, он построен? Если да, то где? В НИИЧАВО?

2. Вы не ответили на мой вопрос. Придется его повторить. ""ИИ не обязательно полностью искуственный. Сейчас создают платформу для коллективного ИИ объединяющего сознания множества людей подключеных к нему. " ---- Вопрос. Кто создают такую платформу, какое учреждение? НИИЧАВО (Научно-исследовательский институт чародейства и волшебства)? И что значит "объединяющий сознание множества людей" - создающий из суммы отдельных сознаний некое новое сознание?

3 "Или, по его мнению, потребуется сократить на 90% количество гомосексуалистов и одновременно увеличить число рыжевослосых гетеросексуальных женщин с большой грудью. Для подобных случаев и существуют проекты типа http://moralmachine.mit.edu. Кроме того, это слегка неанархично - слепо следовать указаниям кого бы то ни было, о чём толкуем столько времени. Если потратить хотя бы 15 минут на уточнение термина "доверие" и как оно работает, то можно было бы избежать подобных бестолковых статей. "-------------- Ага. То есть Вы, толковый Вы наш, что же, намерены коллективно контролировать действия искусственного интеллекта? Прикольно. Соберетесь на собрания, станете обсуждать довольны ли вы его действиями, прикидывать, не отменить ли их и не подкорректировать их? Так это и есть практика коллективного принятия решений об экономическом устройстве. В том-то и дело, что многие сторонники передачи управления экономики искусственному интеллекту, те, о ком и написана данная статья, говорят. что собрания, прямая демократия и прочее - это полная никому не нужная ерунда, а ИИ все будет решать сам и всех накормит. Вы если статью толком прочесть не в состоянии, зачем вообще беретесь что-то обсуждать? Вы сначала прочтите материало-то, который обсуждать беретесь. А теперь жду ответов на мои вопросы.

Nevermore

Утверждение "любой саморазвивающийся интеллект - загадка для окружающих" очевидно неверно.

Есть куча алгоритмов машинного обучения, которые вполне понятным способом принимают решения, нужно только покопаться в их потрохах (это времязатратно, но не является чем-то суперсложным). И даже для всякого deep learning сейчас активно разрабатывают методы анализа внутренностей модели. Соответственно, на вопросы, поставленные автором статьи, есть простые ответы:

  1. Как ИИ станет осуществлять выбор того, как распределять ресурсы? Да какую целевую функцию мы ему зададим, так и станет. Какие именно параметры этот ИИ будет оптимизировать, всегда можно будет подправить. Для этого как раз и пригодятся общие собрания людей, во вполне либертарном духе.
  2. Почему ИИ вообще станет исходить из необходимости удовлетворения потребностей людей? Да потому же - в него это заложено аксиоматически. Под ИИ ведь имеется в виду не мифический искусственный разум подобный человеку. Это просто модель, которая обучается оптимизировать заранее заданные параметры на новых и новых входных данных. Например, одной из целевых функций может быть "сократить смертность от болезней" или "максимально повысить уровень образования" и т.д. И таких целей тысячи, заданных с разными весами. ИИ - это железка, он делает то, что задано при его создании.

Вообще по-моему никто не утверждает, что ИИ будет действовать абсолютно автономно, без малейшего контроля со стороны человека. Где автор статьи нашёл такие утверждения, я не знаю. Странно было бы для человечества по своей воле отрубить себе любые возможности влияния на автоматические системы принятия решений. Наоборот, сейчас все большие ученые в этой области постоянно говорят про необходимость контроля за ИИ. Почитайте про инициативу , например.

 

Так Вы вообще не поняли в таком случае, о чем идет речь. Вы мне сейчас рассказываете про машину, способную выполнять сложные операции согласно заранее заданным данным и программам, и при этом способна, допустим, оптимизировать эти программы и переписывать их сама. Причем, соответствующие параметры, требования оптимизировать использование тех или иных ресурсов определенным образом согласовываются людьми на их собраниях. Да кто с Вами вообще это обсуждает? Речь не идет ни о чем подобном. Речь идет о кибернетической утопии, в рамках которой согласование людьми параметров потребления и производства исключено. Никаких общих собраний. И никакой чиновник или бизнесмен тоже не властвует над машинами. Речь идет о самопрограммируемом интеллекте, который сам решает как лучше удовлетворять потребности людей без всякого коллективного контроля. "Вообще по-моему никто не утверждает, что ИИ будет действовать абсолютно автономно, без малейшего контроля со стороны человека. Где автор статьи нашёл такие утверждения, я не знаю." -------------- Нот это и доказывает, что Вы не в состоянии прочесть внимательно то, что написано. А беретесь рассуждать и поучать других. В статье как раз и дается ссылка на Сумму Технологий Лема. А Лем, разумеется, не сам это выдумал, такие обсуждения велись и ведутся. А сегодня такие обсуждения можно встретить среди анархо-индивидуалистов, некоторых марксистов и близких к ним личностей. Неоднократно приходилось это слышать.

А прошу прошения это не Ваши были предыдущие поучающие комментарии, а Delapaz. Я думал, что я обращаюсь к немуа не к mani.

В общем-то я промолчал, потому что mani всё нормально расписал. Если уж обращаться к несуществующим ситуациям из фантастики, то сотрудничество машины как инструмента и анархистов присутствует в "Обездоленных" ("Обделённом") Ле Гуин, а сильный ИИ участвующий в революции анархистов - "Луна жестокая хозяйка" Хайнлайна.

> А сегодня такие обсуждения можно встретить среди анархо-индивидуалистов, некоторых марксистов и близких к ним личностей.

Окей, каждый из нас спорил с воображаемым собеседником, приписав ему абсурдную точку зрения. В таком случае, я по-прежнему настаиваю на неуместность слова "фашист" в заголовке и на однобокость статьи - из неё складывается впечатление, что любые разработки самообучающихся машин нужно немедленно сворачивать. Другие личности, например, хотят вырастить ИИ в качестве инструмента, и именно такие исследования сейчас ведутся в лабораториях ИТ-компаний.

mani, ответил в личку.

Тест Тьюринга пройден, говорят, а ИИ так и не появился. И скорее всего, никогда не появится. Настоящий тест - это не когда ты не понимаешь, разговариваешь с машиной или человеком. Это когда машина (программа) заявляет:"Не хочу я с тобой болтать или там играть в го, надоел!" Пока нет способности к произвольному изменению интереса, нет никакого ИИ. Есть просто более совершенный инструмент. Является ли он при этом продолжением человеческой руки или аналитических способностей, неважно. Это просто приложение, не способное к самостоятельной активности. Возможен ли в этом случае переход количества в качество - пока неясно...

Добавить комментарий

CAPTCHA
Нам нужно убедиться, что вы человек, а не робот-спаммер.

Авторские колонки

Если бы история человечества была сном, который не остался в памяти проснувшегося человека, то все было бы намного проще.

2 недели назад
R.P.

Во время «белоленточной революции» 2011 г. лоялисты любили спрашивать протестующих: «Вот вы против Путина. Но если не Путин, то кто?». Шутники отвечали: «Если не Путин, то кот». Конечно, правильный вопрос должен звучать по-другому: «Если не путинизм, то что?».

3 недели назад
andron
2

Свободные новости