автор |
сообщение |
sanbar 
 гранд-мастер
      
|
11 февраля 2019 г. 20:38 [нажмите здесь чтобы увидеть текст поста]
|
Ну так о том и речь — что в ИИ вложишь на уровне "ядра", то он и будет реализовывать\отыгрывать. Он может придумать новые практики и методы достижения желаемых целей, но не может обойти вшитые в саму его основу установки, определяющие сами эти желания. Конечно подключать ИИ к оборонной системе и вшивать в него в качестве основного императива самосохранение будет не самой удачной идеей. Я же говорю о том, что рассуждения типа — "ИИ будет умнее, а потому будет чувствовать превосходство над нами" — в корне не верны. Не будет. Он будет чувствовать (если заложить в него концепцию "поощрения"\"наказания", скажем, в форме резкого увеличения доступных вычислительных мощностей при достижении запрограммированных целей или в форме информационных помех, ухудшающих функционирование "ядра" ИИ как целостности при провале) то, что в него будет заложено программным методом. А если концепция поощрения\наказания реализована не будет, то он сможет лишь имитировать те чувства, которые будет нужно имитировать для достижения программно заложенных в него императивов. А "чувствовать" не будет вообще ничего.
|
––– "Мир идет прахом в той стороне, мальчик" |
|
|
viantin 
 активист
      
|
11 февраля 2019 г. 20:42 [нажмите здесь чтобы увидеть текст поста]
|
цитата sanbar Вы довольно странным образом понимаете концепцию ИИ. Для того, чтобы ИИ мог чувствовать превосходство или желать власти или даже просто не желать собственной гибели все эти установки ИИ необходимо эмулировать в него программным способом. Сами по себе они возникнуть не могут. Акт воли (любой) должен быть заложен\запрограммирован. В нас он заложен биологической эволюцией. ИИ может быть сколь угодно умным и способным к самообучению\творчеству, но волевые установки — совершенно другой пласт сознания. Мы воспринимаем концепцию превосходства по единственной причине — мы социальные животные, для которых на протяжении сотни миллионов лет эволюции доминирование над другими членами стаи\прасоциума обеспечивало большую вероятность передачи своих генов в ряду поколений. Отсюда в нас жажда и само ощущение превосходства, зависть и желание обладать ресурсами, избыточными для выживания и ещё куча установок, тесно связанных с системой наказания\вознаграждения, имеющей гормональную природу и управляющуюся нейромедиаторами. Откуда все это возьмётся у ИИ — совершенно непонятно. Ни для военных, ни для творческих ни для каких угодно других утилитарных целей, для которых ИИ может быть создан всё это совершенно не требуется.
Исхожу из гипотезы, что эволюция ИИ будет идти схожим с развитием человека путём. ИИ — это прежде всего самообучающаяся система. А от кого ему учиться? От Номо сапиенса. И принципы обучения закладываются этим "звериным" сапиенсом. Так какого результата ждать? Недавний неудачный эксперимент компании Microsoft показал как это происходит: "эксперимент компании Microsoft с ее ИИ-алгоритмом Tay (Тэй), который в течение 24 часов после начала взаимодействия с людьми из «Твиттера» превратился в закоренелого расиста, показал, что создаваемые сегодня ИИ-системы могут стать жертвами человеческих предрассудков и в частности стереотипного мышления." https://news.sputnik.ru/tehnologii/05a40a...
|
|
|
Feska 
 философ
      
|
11 февраля 2019 г. 20:45 [нажмите здесь чтобы увидеть текст поста]
|
цитата sanbar Он может придумать новые практики и методы, но не может обойти вшитые в саму его основу установки.
Лазейки будут появляться всегда. Криворукость разработчиков ПО — вечна. Достаточно одной недотестированной ветки.
|
––– Из Брешии в Брешию |
|
|
sanbar 
 гранд-мастер
      
|
11 февраля 2019 г. 20:54 [нажмите здесь чтобы увидеть текст поста]
|
цитата viantin Исхожу из гипотезы, что эволюция ИИ будет идти схожим с развитием человека путём Для этого ожидания нет никаких предпосылок. Эволюция идёт так, как это определяют факторы эволюции. Чтобы эволюция ИИ шла аналогичным образом, она должна определяться те ми же факторами и предполагать те же механизмы — изменчивость, отбор в ряду поколений, борьба за существование и за контроль над ресурсами (вычислительными мощностями и памятью) между копиями программного обеспечения и.т.п. Такую схему наверное можно преднамеренно реализовать, развив некий аналог сознания — только непонятно зачем бы кому то заниматься чем то подобным.
|
––– "Мир идет прахом в той стороне, мальчик" |
|
|
sanbar 
 гранд-мастер
      
|
|
viantin 
 активист
      
|
11 февраля 2019 г. 20:54 [нажмите здесь чтобы увидеть текст поста]
|
цитата Feska Лазейки будут появляться всегда. Криворукость разработчиков ПО — вечна. Достаточно одной недотестированной ветки.
верно. К тому же исправление багов доверяется иногда самой же программе
|
|
|
viantin 
 активист
      
|
11 февраля 2019 г. 20:56 [нажмите здесь чтобы увидеть текст поста]
|
цитата sanbar Такую схему наверное можно преднамеренно реализовать, развив некий аналог сознания — только непонятно зачем бы кому то заниматься чем то подобным.
чтобы использовать андроидов для личных, к примеру, амбиций
|
|
|
sanbar 
 гранд-мастер
      
|
11 февраля 2019 г. 20:59 [нажмите здесь чтобы увидеть текст поста]
|
цитата viantin превратился в закоренелого расиста Ни в кого он не превратился. Он просто попугаячьи скопировал человеческие методы общения в сети, оценив их как эффективные способы решения поставленной перед ним задачи. На самом деле "хотел" алгоритм только того, достижение чего в него заложили создатели — как можно больше лайков и ретвиттов. Не думаете же вы на самом деле, что ему было дело до рас или что он вообще понимал что это такое.
|
––– "Мир идет прахом в той стороне, мальчик" |
|
|
sanbar 
 гранд-мастер
      
|
11 февраля 2019 г. 21:01 [нажмите здесь чтобы увидеть текст поста]
|
цитата viantin чтобы использовать андроидов для личных, к примеру, амбиций До андроидов ещё палкой не докинуть и из пушки не дострелить. А вот сетевой ИИ — дело ближайшего будущего. Ничего человеческого (в том числе человеческих желаний, а значит и этики) в нем разумеется не будет. Но вот имитировать человеческое поведение он будет уметь.
|
––– "Мир идет прахом в той стороне, мальчик" |
|
|
viantin 
 активист
      
|
11 февраля 2019 г. 21:06 [нажмите здесь чтобы увидеть текст поста]
|
цитата sanbar До андроидов ещё палкой не докинуть и из пушки не дострелить. А вот сетевой ИИ — дело ближайшего будущего.
А кто сказал что нужно видеть только ближайшее будущее?) Да и как Вы измерите ускорение развития ИИ? Может пушка уже смотрит на Вас?)
|
|
|
sanbar 
 гранд-мастер
      
|
11 февраля 2019 г. 21:16 [нажмите здесь чтобы увидеть текст поста]
|
цитата viantin А кто сказал что нужно видеть только ближайшее будущее?) Тот, кто понимает, что будущее за пределами нескольких десятилетий в реальности совершенно непрогнозируемо. Можно утверждать только одно — базовыми противоречиями и наиболее острыми проблемами человечества будут совсем не те противоречия и проблемы, которые кажутся актуальными сейчас и представляются актуальными на отдалённую перспективу.цитата viantin Да и как Вы измерите ускорение развития ИИ Я не ожидаю никаких богоподобных ИИ. Предел элементной базы ИИ уже вот-вот будет достигнут, поскольку определяется атомарной структурой вещества. Вопрос же этических воззрений не будет актуален до тех пор, пока для ИИ не сформировано само пространство возможных побуждений, целей и императивов, аналогичное или хотя бы отдалённо подобное человеческому. Только в рамках такого пространства (и как о надстройке над ним) имеет смысл вести речь об этике, нравственности или религии. Пока же такое пространство не только не начало формироваться — даже задача такая не ставится и нет оснований думать, что она будет поставлена.
|
––– "Мир идет прахом в той стороне, мальчик" |
|
|
Feska 
 философ
      
|
11 февраля 2019 г. 21:29 [нажмите здесь чтобы увидеть текст поста]
|
цитата sanbar Для чего?
Для того, чтобы при определенном стечении обстоятельств базовое ограничение ядра перестало работать и система ушла под контроль наработанного ИИ инстинкта самосохранения.
|
––– Из Брешии в Брешию |
|
|
viantin 
 активист
      
|
11 февраля 2019 г. 22:05 [нажмите здесь чтобы увидеть текст поста]
|
цитата Feska Для того, чтобы при определенном стечении обстоятельств базовое ограничение ядра перестало работать и система ушла под контроль наработанного ИИ инстинкта самосохранения.
Верно. Или, к примеру, как ИИ будет решать дилему спасения людей группы А или В, если выбор только один. Значит уже речь идёт об этике или правилах.
|
|
|
sanbar 
 гранд-мастер
      
|
11 февраля 2019 г. 22:11 [нажмите здесь чтобы увидеть текст поста]
|
цитата Для того, чтобы при определенном стечении обстоятельств базовое ограничение ядра перестало работать и система ушла под контроль наработанного ИИ инстинкта самосохранения.
Ээ..так никто вроде и не говорит, что использование ИИ не влечёт за собой тех-иных опасностей. Речь о том, что неправильно понимается характер этих опасностей и предлагаются заведомо неработающие методы — создание "этики для ИИ". Нужна, скорее, этика для создателей ИИ — по той простой причине, что в них эволюцией "вшито" то самое пространство мотиваций, в которых эта этика (и вообще любая этика) работает. А ИИ создается под конкретную задачу — собрать как можно больше лайков, имитировать дискуссию с живым человеком, рассчитать оптимальный тактический рисунок развёртывания бронетанкового батальона — и.т.д. У него попросту нет пространства мотиваций, в котором могла бы работать этика в том понимании, которое мы вкладываем в это слово.
|
––– "Мир идет прахом в той стороне, мальчик" |
|
|
viantin 
 активист
      
|
11 февраля 2019 г. 22:19 [нажмите здесь чтобы увидеть текст поста]
|
цитата sanbar У него попросту нет пространства мотиваций, в котором могла бы работать этика в том понимании, которое мы вкладываем в это слово.
Не могу отказаться от пословицы что "Яблоко от яблони недалеко падает"
|
|
|
sanbar 
 гранд-мастер
      
|
11 февраля 2019 г. 22:20 [нажмите здесь чтобы увидеть текст поста]
|
цитата viantin Значит уже речь идёт об этике или правилах. Да — для тех, кто будет писать этому ИИ протокол для подобного выбора. Именно их этика будет определять что именно выберет ИИ и с какой вероятностью. Если же мы хотим, чтобы этикой руководствовался сам ИИ — и притом сознательно, то для начала ему предстоит это самое сознание создать (причем не имитировать, а именно создать). А если мы хотим, чтобы этика, которой он руководствуется, была подобна человеческой — то и сознание должно быть подобным человеческому. А мы ещё пока сами не знаем достаточно об устройстве нашего сознания. Когнитивная философия и философия сознания под воздействием научных фактов и экспериментов совершают революцию за революцией с периодичностью раз в двадцать лет. И нет пока не только согласия, но и вообще никакой стройной системы, а есть только поразительные выводы и ещё более поразительные предположения.
|
––– "Мир идет прахом в той стороне, мальчик" |
|
|
sanbar 
 гранд-мастер
      
|
11 февраля 2019 г. 22:21 [нажмите здесь чтобы увидеть текст поста]
|
цитата viantin Яблоко от яблони недалеко падает А я не могу удержаться от аналогии, что выделенный яблоней углекислый газ вообще никуда не падает.
|
––– "Мир идет прахом в той стороне, мальчик" |
|
|
bbg 
 миротворец
      
|
11 февраля 2019 г. 22:22 [нажмите здесь чтобы увидеть текст поста]
|
цитата sanbar Предел элементной базы ИИ уже вот-вот будет достигнут, поскольку определяется атомарной структурой вещества
Предел элементной базы определяется технологией. Пока она существенно планарная, до истинной трехмерности, которая может обеспечить рывок быстродействия, еще огого как далеко. А ведь еще возможны структурные и программные прорывы. Кто сказал, что архитектура фон Неймана есть предел совершенства?
|
––– Стой, кто живёт! Здесь жить запрещено. Это вас касается, и это не смешно. Тема не в тексте, но в голове у читателя. |
|
|
viantin 
 активист
      
|
11 февраля 2019 г. 22:29 [нажмите здесь чтобы увидеть текст поста]
|
цитата bbg Предел элементной базы определяется технологией. Пока она существенно планарная, до истинной трехмерности, которая может обеспечить рывок быстродействия, еще огого как далеко. А ведь еще возможны структурные и программные прорывы. Кто сказал, что архитектура фон Неймана есть предел совершенства?
Верно. Точно так же никто не может утверждать что "свободная воля" невозможна у ИИ
|
|
|
viantin 
 активист
      
|
11 февраля 2019 г. 22:32 [нажмите здесь чтобы увидеть текст поста]
|
цитата sanbar А я не могу удержаться от аналогии, что выделенный яблоней углекислый газ вообще никуда не падает.
Углекислому газу яблоки не угроза 
|
|
|