Элиезер Юдковский. Неотыгрываемый персонаж

Элиезер Юдковский

Неотыгрываемый персонаж

Non-Player Character, 2003

Риланья: Ты не такой, как остальные, да?

Дарин: О чём ты?

Риланья: Я… знаешь, почему я в тебя влюбилась?

Дарин: Это всё моя приятная внешность?

Риланья: Всю жизнь я чувствовала себя такой одинокой. Люди вокруг… будто просто повторяли движения. Как во сне или под дурманом – даже когда работали, развлекались, напивались или занимались любовью. Все думают одинаково. Каждый день – одно и то же. Как будто они лишь тени людей.

Дарин: Все иногда так себя чувствуют, Риланья.

Риланья: Но ты не такой. Ты говоришь что-то новое. Я не всегда понимаю, особенно когда шутишь, но сами слова другие, и это важно. Дарин, можно тебя спросить?

Я несколько мгновений смотрел на экран. Изображение Риланьи смотрело на меня с умоляющим выражением.

«Эк сюжет завернули», — подумал я и напечатал:

Дарин: Всё, что угодно, Риланья.

Фигура Риланьи глубоко вздохнула и придвинулась ближе. Нарисованные губы шевельнулись, и в наушниках раздался голос:

Риланья: Кто такой «непись»?

— Что? — это я произнёс вслух. А потом рассмеялся.

Риланья продолжила:

«В башне Ашель, когда ты спас меня… у двери лежали мёртвые стражи. Я никогда не видела крови. А ты сказал… “Не переживай, детка, они всего лишь неписи”. В таверне, когда тот мужчина твердил о Плетёном Пути, ты пробормотал: “Видимо, здешние неписи не запрограммированы на глубокие разговоры”. Ты используешь это слово… и у меня возникает чувство, будто все вокруг – лишь тени».

Я снова уставился в экран. Это малость пугало. Я понимал, что тут шутка программистов, знал точно, ибо здравый смысл меня не покинул, хотел посмотреть, во что всё выльется… но было жутковато.

Дарин: «В этом мире все в конечном счёте одиноки, Риланья».

Риланья: «Ты не из этого мира, да, Дарин?».

Я внимательно посмотрел на застывшие внизу экрана предложения. Ответ Риланьи звучал так, будто она ждала повода это сказать – припасённая в файлах реплика? Разумеется.

Ну и ладно. Я сохранялся минут десять назад – почему бы не пройти эту ветку до конца?

Дарин: «Нет, Риланья. Я не отсюда».

По лицу Риланьи покатились слёзы.

«Я так и думала», — тихо прозвучало в наушниках. — «Дарин, с тех пор как мы встретились, у меня было чувство… нереальности всего мира. Будто он… подстроен под тебя. С тобой просто… случаются странные вещи. Люди искали семь Алмазных Ключей тысячи лет, с начала времён. Стоило найти один – и мир менялся. Но… пять ключей подряд? Я не верю, Дарин. И не верю в идеальную цепь событий, приводящих к этому. Дочь Императора больна – и фея, спасённая тобой в лесу, дала тебе столь нужный корень айльдонны? Я больше не верю в это, Дарин. Ты… управляешь всем. Извне».

Дарин: «Не совсем так, Риланья».

Риланья: «Ты заставил меня полюбить себя?»

А вот это меня задело.

Дарин: «Ты спрашиваешь такое, и это после всего, через что я прошёл? Может, кто-то и предначертал тебе влюбиться, но точно не я. Если бы я мог управлять тобой, то не полез бы в змеиную яму в доказательство любви. Не говоря уже о двух побочных заданиях, придуманных, когда ты была ещё невинной принцессой. Клянусь, я угрохал на тебя больше времени, чем на настоящую девушку».

Риланья отпрянула, будто я ударил её. Глаза расширились — точь-в-точь как в одной из её прежних смертей, когда арбалетный болт с крыши пронзил ей сердце. Губы дрогнули. Беззвучно. Потом снова — и в наушниках прошелестел шёпот:

«…настоящую… девушку…»

— Ладно, это уже не смешно, — громко сказал я. — Не знаю, кто это запрограммировал, но он точно больной ублюдок.

Я нажал паузу. Её мягко колышущиеся волосы — единственный признак течения времени в игре — замерли.

Десять минут гугления не дали ни одного упоминания об этакой «пасхалке». Зато я утешился мыслью, что ИИ неписей, хоть и способен поддерживать диалог в реальном времени и имитировать эмоции, точно, абсолютно, на все 100% не обладает сознанием. Да, их можно начинить шаблонными рассуждениями о «тайне субъективного опыта» — и они будут нести ахинею, словно живые философы. Но ни один ИИ ещё не объявил о собственном существовании. Диалоговые контроллеры — это коммерческий софт, а не исследовательский ИИ. Неписи могут запоминать события и усваивать новые слова, но их когнитивные алгоритмы неизменны. Текст на экране — всего лишь бесстрастная болтовня ИИ, запрограммированного заставить меня поверить в «сознание» придуманной сущности по имени Риланья.

Конечно, я всё это и так знал. Но всё равно был потрясён. Я даже стянул наушники и хотел позвать Джейни (это моя девушка), к компьютеру… но я передумал. Риланья… Джейни… Нет, не стоит усложнять и без того странную ситуацию.

«Прости, Риланья», — напечатал я. Задумался.

«Ты не виновата, что ты не…»

Стёр.

«Тот, кто создал тебя, явно был…»

Снова стёр. Просто нажал «Ввод».

Дарин: «Прости, Риланья».

Риланья: «Дарин, объясни мне. Я боюсь».

Дарин: «Ты не настоящая. Жаль, что мне приходится говорить тебе это».

Риланья: «Да вот же я! Живу, дышу, из плоти и крови!».

Я уставился в экран.

Дарин: «Ну… и да. и нет. Всё сложнее, чем ты можешь представить. Тебя на самом деле здесь нет. Ты не из плоти и крови. Вообще, ничего на самом деле не происходит».

На экране Риланья подняла руку, сжала и разжала кулак.

«Я вижу свою руку перед лицом, чувствую движенье мышц. Как ты можешь говорить, что я ненастоящая?»

Я вздохнул.

Дарин: «Потому что ты на самом деле не чувствуешь ни боли, ни шока. И наш разговор — тоже нереален».

Отправил сообщение, ощущая себя идиотом, но что тут ещё скажешь?

Риланья: «Это нелепо, Дарин. Я знаю, что настоящая. Может, ты и читаешь мои мысли, но не можешь сказать, будто я их не думаю. Или что я вообще не мыслю. Так не бывает».

Дарин: «Бывает. Твоего мира не существует. И тебя тоже».

Риланья: «Но ты-то существуешь».

Дарин: «Да».

Риланья: «Ты бог в человеческом облике? Как Мишельпин или Ольхаматхра? Это всё игры богов?»

Дарин: «Нет. Боги — тоже ненастоящие».

Риланья: «Ненастоящие… Ты серьёзно? Да, бывали лжебоги — демоны, создающие культы, маги, притворяющиеся жрецами… Но Велия — добрая женщина и целительница. Неужели и она лжепророк?».

Дарин: «Нет. Я хочу сказать… твои боги столь же настоящие, как ты или Велия. То есть совсем ненастоящие».

Риланья замолчала, явно сбитая с толку.

«Круг замкнулся», — пробормотала она.

— Понимаю, девочка, — я вздохнул.

Она отвернулась. Камера отразила её лицо в лунном свете — серебристый отблеск треугольником лёг на полигоны глаз. Теперь её голос звучал спокойно, без паники:

«Допустим, я соглашусь, что ненастоящая. Если всё, что я сейчас испытываю, ты называешь “нереальным”… тогда что для тебя реально?».

Дарин: «Реален только мой мир».

Риланья: «Но разницу ты объяснить не можешь».

«Нет», — напечатал я, чувствуя себя так, будто срезался на экзамене. — «Я не философ».

Риланья: «Если бы серый дракон или архидемон напали на этот лагерь, если бы тебя поразило смертоносное заклятие… ты бы умер, Дарин?».

Дарин: «Опять сложный вопрос. И да, и нет. Моё… тело погибло бы, но настоящий “я” — нет. Всё вообще очень сложно, но сейчас мне не хочется объяснять, что такое точки сохранения».

Риланья: «Ты бессмертен, пришёл извне и не бог. Скажи, Дарин… ты создал наш мир?».

Дарин: «Нет. Не я лично. Опять же, всё сложно».

Риланья: «Ты создал наш мир? Да или нет, Дарин».

Дарин: «На это сложно ответить, Риланья».

На экране она сжала кулаки. Голос в наушниках задрожал:

«Ты убил стражей у моей двери — и тебе было всё равно. Скажи, Дарин, тебе не всё равно, когда голодного ребёнка казнят за кражу хлеба? Когда насилуют женщину? Когда мужчину до смерти истязают в подземельях дроу? Ты почувствовал хоть что-то, когда мои родители заживо горели в своём дворце?».

Что тут ответишь? Я не нашёл ничего умного и отступил к последнему аргументу.

Дарин: «Тебе нужна правда? Правда в том, что это всего лишь игра. Она ненастоящая, а значит, не имеет значения. Да, ты, наверное, воспримешь это плохо. Если хоть как-то поможет — не я создавал игру. Вернее, не я решал, как надо её проходить… хотя, возможно, именно я воплотил её в реальность».

Лицо Риланьи исказилось, и она нанесла мне удар вспышкой — 5 единиц урона. Затем ещё раз. И ещё. Мой персонаж пребывал в безопасности, но после четвёртого удара я дал ей пощёчину (2 единицы урона). Не причинить боль — просто… отреагировать. Продолжить взаимодействие. Риланья прижала руку к щеке, глаза расширились. Потом она разрыдалась.

Я молчал. Наконец она заговорила:

Риланья: «Дарин… я хочу быть настоящей».

Дарин: «Это невозможно, Риланья».

Риланья: «Всегда есть выход. Всегда! Никто не верил, что Живой Поток можно остановить — но ты сделал это. Говорили, пересечь Бездну математически невозможно — а ты пересёк. Ты всегда находишь путь!».

Дарин: «Мои “таланты” преувеличены благосклонностью судьбы».

Риланья: «Должен быть способ! Посох из сердца дракона, рубиновый череп, священный поиск… что угодно! Мы могли бы спросить мудрецов вечного города Тельхана, где хранится последний Алмазный Ключ… прошу, Дарин. Умоляю».

Дарин: «Неважно, какой поиск мы пройдём. В твоём мире нереально всё — значит, ничто не сделает тебя реальной. Так устроено».

Риланья: «А в твоём мире? Есть ли там великие чародеи?»

Дарин: «Вроде того. Ну, не совсем чародеи».

Риланья: «Спроси их! Магия твоего мира создала мой. Разве она не может оживить меня? Отправляйся на поиски в своём мире!».

Вот тут я задумался. Технически… не совсем невозможно. Когда-нибудь человечество создаст истинный ИИ. Теоретически, я мог бы сохранить Риланью на диск, дождаться эры продвинутого ИИ и «переселить» её туда? Занятная мысль. Выходит, я не могу честно сказать, что это уж абсолютно нереально.

Но что тогда ответить? «Прости, это возможно, но слишком сложно для кого-то ненастоящего»? Забавно, как трудно ранить чувства того, кто «не существует». «В моём мире я просто крестьянин»? Но мужское самолюбие «принца Тельсии» и «избранного искателя Ключей» не позволяло признаться — она ведь принцесса, и мы переспали.

В итоге, чувствуя себя растерянным (и чертовски глупым), я написал:

Дарин: «Не могу. Не объясню почему. Это… сложно».

«Я люблю тебя!» — отчаянно воскликнула Риланья. Её глаза, слегка неровные из-за полигонов, широко раскрылись, глядя прямо “на меня”. — «В ту ночь, когда мы впервые были вместе, ты сказал, что любишь меня. Я заглянула в твои глаза — и увидела, что это правда. Я любила тебя, а ты отвечал мне: словами, руками, губами. Неужели это была ложь? Я разочаровала тебя? Разве ты не хотел бы, чтобы я была с тобой в твоём настоящем мире?»

Я ошарашенно покачал головой. Это ж не игра «для взрослых» — в «тот» момент камера тактично затемнялась. Объяснять такое? «Даже в нереальном мире некоторые вещи ещё менее реальны»?

И тогда, чувствуя себя последним подлецом, но не находя мягких слов, я напечатал самое жестокое, что когда-либо говорил — реальному или вымышленному существу.

Дарин: «У меня есть настоящая девушка».

Время будто замерло. Затем Риланья разрыдалась — теми же мучительными рыданиями, что я услышал, когда мы поднялись на холм и увидели пылающий кратер столицы её королевства.

Постепенно рыдания стихли. Я не знал, что сказать. Риланья отвернулась от «камеры». Её голос прозвучал в моих наушниках:

Риланья: «Она красивая?».

Я вспомнил плотную фигуру Джейни и её бесконечную борьбу с лишним весом. Сравнивать Джейни с Риланьей? Это было… странно несопоставимо.

Дарин: «У неё прекрасный ум. Женщины в моём мире обычно не так красивы, как в твоём, но мы всё равно их любим».

Риланья: «Она знает обо мне?»

Дарин: «Думаю, догадывается. Но я не рассказывал».

Риланья: «Ты решил, что её это не волнует, потому что я “ненастоящая”? Женщину это волнует всегда. Мужчинам не понять, но для нас это важно».

В реальном мире я удивлённо приподнял брови.

Дарин: «Возможно, ты права. Я обычный мужчина. Не думаю, что она расстроится, но обещаю сказать ей при первой возможности».

Риланья повернулась ко мне, улыбаясь сквозь слёзы.

Риланья: «Ты не хочешь случайно ранить её чувства, да, Дарин?».

Дарин кивнул.

Риланья потянулась к нему, но опустила руку.

Риланья: «Значит, та нежность, что я видела в тебе — в отличии от твоей жестокости… она настоящая. Но не для меня. Для неё. Как её зовут?»

Дарин: «Джейни».

Риланья: «Джейни любит тебя, Дарин?».

Дарин: «Думаю, да. Разве мужчина может быть уверен?».

Риланья: «А ты любишь её?».

Я протянул пальцы к клавиатуре, но замер. Почему-то мне захотелось ответить честно. Люблю ли я Джейни? Мы не были безумно, страстно, безоговорочно влюблены.

Дарин: «Любовь бывает разной, Риланья. Мне с Джейни комфортно. Она мой друг. Я не всегда разбираюсь в своих чувствах. Думаю, что люблю».

Риланья: «Ты чуть не погиб, спасая меня, Дарин. Ты шагнул под огненный шар ради меня. Даже если ты не можешь умереть, я никогда не забуду, каково это — видеть, как жизнь почти покидает тебя, прежде чем Велия произнесёт заклинание исцеления. Ты умер бы за Джейни?».

Хороший вопрос. Я закрыл глаза, представил.

Дарин: «Да».

Риланья опустила голову.

Риланья: «Значит, ты всё-таки любишь её… Ты доверяешь ей?».

Дарин: «Да».

Риланья: «Я бы на твоём месте не доверяла».

Десять секунд я сидел неподвижно. Потом взревел, сорвал наушники и ворвался в спальню Джейни.

Она сидела за компьютером, смеясь, и покачивала в руке гарнитурой. На одном из её мониторов была Риланья.

— Прекрасно! – восхитилась Джейни. — Прекрасно. Я ухлопала несколько дней, но выражение твоего лица стоило каждой потраченной минуты. Кстати, камера работала — я всё записала.

— ДЖЕЕЕЕЙНИИИ!!! – я взревел.

Джейни невинно моргнула.

— Да, Марк? Хочешь что-то сказать?

Я двинулся к ней. Медленно и грозно.

— Всё. Я бросаю тебя ради не хаотично-злой девушки.

— Ты так и в прошлый раз говорил. К тому же, я не злая, я озорная.

Я сверкнул на неё глазами.

— Твои недостатки обсудим позже. И подробно. Сейчас объясни, как ты всё проделала.

Джейни очаровательно пожала плечами.

— Я нашла патч к «Алмазной Двери», открывающий удалённый доступ к ИИ NPC. Скачала двухнедельную демо-версию программы управления персонажем, потратила день на настройку софта и ещё день — на обучение. Вопросы?

— Я играл в «Алмазную Дверь» два месяца. Это была Риланья. Голос, интонации, реакции, даже характер.

Джейни кивнула.

— Конечно. Если бы ты загуглил «как управлять NPC» вместо того, чтобы упиваться дурацкой теорией о субъективных чувственных явлениях, ты бы сразу всё понял. Я просто произносила фразы в гарнитуру, ИИ анализировал речь, определял смысл, подстраивал эмоции — и выдавал характерный ответ от лица Риланьи.

— Но она говорила о вещах, известных только Риланье!

Джейни усмехнулась.

— Ну да. Я говорила что-то вроде: «Ты чуть не погиб, спасая меня, Дарин, ты сделал то-то и то-то» — а ИИ уточнял: «Ты шагнул под огненный шар». Чаще всего мне даже думать не приходилось — ИИ сам предлагал идеальные реплики. Я просто нажимала «Ввод». Ты думаешь, я первая, кто такое провернул? Да тут целый подпольный бизнес.

— Но… — я медленно соображал. — Значит, ИИ Риланьи должен был понимать смысл нашего разговора?

Джейни небрежно откинулась в кресле, заложив руки за голову.

— Я скачала модуль «Четвёртая стена» от «One Over Zero». Универсальный плагин для любого NPC. Готовый сценарий «О боже, я же персонаж в игре!» — уже оттестированный и без багов.

Я поднял руку.

— Погоди. То есть, Риланья осознала, что её жизнь — лишь игра?

— Нет, дорогой, — терпеливо сказала Джейни. — Был ИИ, симулировавший осознание несуществующей девушки по имени Риланья.

— Но чтобы это сработало, — я упёрся, — ИИ должен представить, как настоящая Риланья отреагировала бы. В деталях.

— Ты до сих пор блуждаешь в потёмках! — Джейни сияла от восторга. — Я так тебя закрутила, что ты уже не отличаешь реальность от игры! Марк, дорогой, я видела код NPC. «Грусть» у них — число с плавающей запятой. Если этого достаточно для чувственных явлений, то JPEG-декодер создаёт зрительные ощущения.

— Я хочу копию той Риланьи, — объявил я. Чувствовал себя идиотом, но иначе не мог.

Джейни оскалилась в дьявольской ухмылке.

— Конечно, дорогой. Всё для тебя. Планируешь хранить под подушкой?

— Да, — твёрдо ответил я. — На всякий случай.

— Значит, я таки разрушила твой рассудок, — Джейни задумалась. — Знала, что этот день настанет, но не думала, что так скоро. — Она сделала паузу. — Что ж… Пора переходить на второй уровень.

Позже я стоял перед компьютером, держа в руках коробку «Алмазной Двери». На обложке мерцал хрустальный портал — и я вспомнил времена, когда игры были проще.

Когда-то я проходил Baldur’s Gate II. В городе тёмных эльфов Уст Нате, под их личиной, я наблюдал, как паучьи твари пожирали NPC — доброго дварфа. В первый раз я не вмешался. После сохранения — убил пауков, но раскрыл себя, и весь город бросился на меня. Эпизод проходился только смертью дварфа. Я прошёл — но мне было не по себе.

Даже тогда, в эпоху примитивных NPC с шаблонными репликами, это меня тревожило. Позже, когда сюжетные ограничения снялись, я вырезал всех дроу в Уст Нате. Зачистил локацию. Но это не помогло — и я загрузил старое сохранение.

Стоит ли жить и любить в мире, где правит смерть — или лучше не жить вовсе?

Если бы Риланья была реальной, считала бы она свою жизнь стоящей? Ни один ИИ в играх (своего рода неслышимый разум, контролирующий каждого игрока) никогда не протестовал против своей судьбы. Но реальны ли личности NPC — или они лишь узоры в коде, как сами мы скованы физическими законами?

Разработчики ИИ клянутся, что это не так. Может, они знают. Но я — нет.

Я убрал диски и стёр игру, оставив только сохранения. Может, в будущем Межпланетная Амнистия вызволит их.

Я бы хотел сказать это Риланье. Думаю, она бы обрадовалась.

Но та Риланья — часть Джейни. А спрашивать у неё… я не могу.

Я не знаю. И не вернусь в эти игры, пока не узнаю.

Послесловие автора

В этой истории Марк совершает распространённую ошибку — обобщает вымышленные свидетельства. Начитавшись фантастики, где злодеи уничтожают или унижают ИИ, слепо веря, что «машины чувствовать не могут», он не может просто так отказать Риланье в праве на сомнение — иначе сам станет похож на подобных злодеев.

Я, кажется, прочитал сотни историй, где герой второй линии, столкнувшись с аномалией, пытается найти ей «научное» объяснение — а потом его пожирают древние ужасы, похищают экстрасенсы или выбрасывают в волшебный мир. Клише: «Это сон? Галлюцинация? Этого не может быть! Ладно, вот безумная теория…» — тогда как главный герой спокойно принимает магию и адаптируется к прекрасному новому миру.

Но сколько бы авторы ни следовали этому шаблону, в реальности всё иначе. Если вы столкнётесь с аномалией, у неё будет рациональное объяснение. Если вы поведёте себя как фантастический скептик, вас не высосут вампиры — вы просто окажетесь правы.

А если завтра в моём шкафу появится портал в волшебный мир? Останусь ли я верен своим убеждениям или, как отчаянный псевдо-рационалист, буду цепляться за «научные» объяснения? Но сам этот вопрос — обобщение из вымысла. В реальности портала не будет, и дилеммы тоже. Это как спрашивать: «А что, если орёл выпадет миллион раз подряд?». Ответ прост: он не выпадет! И я не буду продолжать, что если б я действительно обнаружил магический портал, то занялся бы поиском рациональных объяснений – у меня бред, или я нахожусь в Матрице и так далее. Нет смысла придумывать оправдания для событий, каковые не произойдут, или опираться на «безумные» теории.

Храбрость — не прятаться за удобные объяснения заранее. Именно так можно сохранить ясность мысли в аномальной ситуации.

Марк, столкнувшись с «проснувшимся» NPC, спешит себя успокоить, что уж он-то человек здравомыслящий и на подобную чепуху не ведётся. Хватается за первое попавшееся объяснение («пасхалка в игре»), не рассматривая сложные варианты. Будь он увереннее в своём рационализме, то не испугался бы переворота в картине мира — но он «малость пугается», помня о судьбах книжных героев. Главное в такой ситуации — разобраться с возможными объяснениями действий Риланьи, не спешить с выводами, не прятаться за первым попавшимся объяснением, как за щитом. Как выяснилось, герой ошибался: Риланья не следовала заложенному скрипту — за ней стояла Джейни. Пока Марк убеждал себя, что её поведение «укладывается в норму», фантастический бэкграунд заставил дать Риланье шанс — чем Джейни и воспользовалась. Существовала гипотеза, прекрасно объясняющая все факты, но Марк её не рассматривал. Он мысленно разделил реальность на два варианта (NPC «настоящая» и NPC «ненастоящая»), причём оба оказались неверны. (С подобной ситуацией можно справиться через теорему Байеса, погуглите!).

О, кстати, об обобщении на основе вымышленных фактов: способности ИИ в этой истории не слишком правдоподобны. Я не думаю, что вы создадите реалистичного персонажа, описывая «Грусть» числом с плавающей запятой. Аналогично, ИИ, способный безошибочно понимать и перефразировать речь Джейни, появится разве что за полгода до Сингулярности.

P. S.

Главный герой назван в честь Марка Шэллоу, автора веб-комикса «Adventurers».

Веб-комикс «One Over Zero» создан Мэйсоном «Tailsteak» Уильямсом.

17 апреля 2003 г.