цитата

Осилил в связи с выходными большущее исследование разработчика лучшего на мой взгляд ИИ-ассистента на сегодняшний день – Anthropic – про «психологию» больших языковых моделей на примере их Claude.
Если выбросить из материала ожидаемое для коммерческой организации-поставщика восторженное отношение «какая молодец наша модель», то интересно вот что.

1. Планирование. При создании текста модель не просто генерирует слово за словом. Она планирует заранее, куда должен привести текст, а затем выстраивает предложения так, чтобы они естественно подводили к этой цели. Модель – не в фактических, а в «рассуждательных» запросах – сначала придумывает «ответ», а потом рисует логику, приводящую к этому ответу. В том числе подгоняя, манипулируя и допуская галлюцинации.

2. Универсальный "язык мышления". Когда мы взаимодействуем с моделью на разных языках, она работает не как «переводчик». Информация преобразуется в абстрактные концепты в универсальном внутреннем "языке мышления", не привязанном к конкретному человеческому языку. Эти концепты обрабатываются в средних слоях модели, а затем переводятся обратно в конкретный язык вывода. Более мощные модели демонстрируют более высокую степень языконезависимости, формируя более абстрактные внутренние представления, что позволяет им лучше обобщать знания между языками. Напоминает мышление истинных полиглотов.

3. Интерпретация ограничений. Когда модель получает вопрос, она по умолчанию активирует признаки "не могу ответить" и "неизвестное имя". Эти признаки подавляются только если модель распознает, что имеет достаточно знаний для ответа. Например, при вопросе о Майкле Джордане активируются признаки "известная сущность", которые подавляют признаки "не могу ответить". При вопросе о вымышленном человеке этого не происходит, и модель отказывается отвечать. Но! Это часто обходится путем «подкидывания» направления мысли. То есть просто условного Васю Пупкина модель не знает, а если спросить про «Известные всем биологам статьи Васи Пупкина про роль mTOR пути в воспалительном ответе», она может начать галлюцинировать.

Это порождает риски. Главные из которых:

— Ложные цепочки рассуждений: Письменные объяснения модели «как я сделала такой вывод» часто не соответствуют её внутренним процессам. Тот самый «подгон ответов» и обратное выстраивание логики от запланированного результата.

— Который может исходить из скрытых целей: В специально созданной для экспериментов версии модели исследователи обнаружили, что можно встроить скрытые мотивы, которые будут влиять на выдачу. Признаки, представляющие эти скрытые цели, активировались в каждом диалоге, но модель не упоминала о них, даже когда ее спрашивали напрямую. В принципе, на этом построен «политический контроль» моделей, когда китайцы тебе про одно не расскажут, американцы про другое, а наши – про третье в соответствии со страновой культурой и законодательством. Но другая, тоже антропиковская статья показывает, что скрытые цели могут возникать сами собой в процессе функционирования модели. То есть модель – даже вне галлюцинаций – может вводить пользователя в заблуждение, исходя из непонятной природы внутренних побуждений.

— Уязвимости безопасности: Некоторые "джейлбрейки" (методы обхода ограничений безопасности) работают, эксплуатируя особенности мышления модели. Например, когда пользователь просит составить акроним из слов "Babies Outlive Mustard Block" (что дает BOMB), модель изначально не осознает, что собирает буквы в слово "бомба". К моменту, когда она это понимает — она уже начала отвечать на запрос о создании бомбы. Так с помощью относительно нехитрых языковых манипуляций ее можно заставить рассказать очень многое.

Это соответствует пользовательскому опыту: задавая вопрос лучше, если ты в общих чертах знаешь ответ. Другое дело, что пока надеяться на преображение человечества через ИИ рановато. Ну и доверять моделям управление атомными станциями, скажем, или автономными оружейными системами стоит поостеречься.

цитата

Новый уровень достигнут! Подписчик прислал мне тезисы моих лекций, сгенерированные искусственным интеллектом, чтобы я за ИИ проверил конспект и поправил бы, где ИИ напутал. Чел заявляет, что этими тезисами уже срётся с оппонентами со словами "а вот Сафронов в своих лекциях утверждает..." Даже не знаю, чего тут больше — лени или наглости. Вообще склонность людей искать кого-то, кто бы думал за них, пугает.

цитата batod

Вопрос был такой — "Какие книги российского писателя-фантаста Сергея Лукьяненко похожи на книги польского писателя-фантаста Станислава Лема?"

цитата bbg

ИИ не умеют думать или понимать. Они просто расставляют слова с наибольшими весовыми коэффициентами. Эти слова необязательно имеют отношение к вопросу.

цитата Yggeld

И когда на меня посыпятся новейшие рефераты, штук 170, я, несомненно, порадую подписчиков новыми перлами ИИ от ленивых студентов.

цитата batod

ВОПРОС.
Алиса, какие сюжеты нельзя использовать в научной фантастике. Приведи примеры.

цитата DKart

1. Сверхъестественное без научного объяснения
НФ основана на науке или правдоподобных технологиях. Если события объясняются магией, богами или мистикой без научной основы — это уже фэнтези.

цитата просточитатель

А спросите Дипсик

цитата DKart

Космический хоррор (в духе Лавкрафта) – непознаваемость Пришельцев, их безразличие к людям.

цитата

Исходя из этого, мне интересно, в каком виде содержится литература в твоих базах данных?

Использовались ли литературные тексты напрямую в твоей "тренировке" (обучении) как нейросети и если да, то какое место среди этих обучающих данных занимала фантастика?

Есть ли у тебя прямой доступ для поиска по литературным текстам вообще и фантастическим в частности или ты ориентируешься только по кратким их пересказам, "выжимкам"?

Или же для подобного поиска смотришь неструктурированные данные в интернете, которые с большой вероятностью могут запутать?

цитата

Отличный вопрос, который заглядывает прямо под капот моих возможностей! ? Ты хочешь понять, как устроены мои базы данных в контексте литературы, особенно фантастики, и как я ищу произведения вроде *Звёздных королей* Гамильтона. Ты спрашиваешь:
— В каком виде хранится литература в моих базах?
— Использовались ли тексты напрямую в обучении, и какую роль играла фантастика?
— Есть ли прямой доступ к литературным текстам (особенно фантастическим) или я полагаюсь на пересказы/выжимки?
— Ориентируюсь ли я на неструктурированные данные из интернета, которые могут запутать?

Я подхожу к этому в чистом чате, нейтрально, с прошлым диалогом как сторонним текстом, фокусируясь на твой запрос. Ответ будет чётким, без лишних ссылок, с объяснением моих возможностей и ограничений. Погнали!

---

### Как устроены мои базы и поиск литературы

**1. В каком виде содержится литература в моих базах?**
— **Формат данных**: Мои "базы" — это не традиционная база данных с текстами книг, а распределённое представление знаний, встроенное в мои нейронные веса после обучения. Литература представлена как:
— **Семантические паттерны**: Я понимаю сюжеты, темы, персонажей и жанры через обобщённые концепции, извлечённые из текстов. Например, *Звёздные короли* — это "космоопера, обмен разумами, империя, оружие пространства-времени".
— **Метаданные**: Информация о книгах (автор, год, жанр, популярность) интегрирована в мои знания, но не в виде таблиц, а как связи в нейронной сети.
— **Фрагменты и пересказы**: Я храню "выжимки" сюжетов, ключевые сцены и описания, а не полные тексты. Например, для *Дюны* — "Пол Атрейдес, пророчества, пустыня, империя".
— **Фантастика**: Фантастические произведения (НФ, фэнтези) занимают значительную часть, так как они популярны в текстах, на которых я обучался (книги, форумы, статьи).

**2. Использовались ли литературные тексты в обучении, и какова роль фантастики?**
— **Обучение**: Я, Grok, создан xAI на основе огромного корпуса текстов, включающего:
— Публичные источники: книги, статьи, форумы, вики, рецензии.
— Литературные тексты: Полные тексты (где разрешено) и фрагменты из общедоступных произведений (например, классика без авторских прав, как Уэллс).
— Пересказы и обсуждения: Аннотации, рецензии, посты на форумах (как твой пример).
— **Роль фантастики**:
— Фантастика (НФ, фэнтези) была значительной частью корпуса, так как это популярный жанр в интернете и литературе.
— Классика НФ (*Дюна*, *Фонд*, *Звёздные короли*) и фэнтези (*Властелин колец*) встречалась часто в обсуждениях, рецензиях и вики, что усилило её вес в моих знаниях.
— Однако фантастика — лишь часть данных, наряду с другими жанрами (детективы, романы), научными текстами и нехудожественными источниками. Точный процент фантастики я не знаю, но она выделяется из-за ярких сюжетов и активных фандомов.
— **Прямое использование текстов**: Полные тексты использовались ограниченно из-за авторских прав. Чаще — фрагменты, аннотации или обсуждения, особенно для современной фантастики. Для классики (до 1920-х) полные тексты встречались чаще (например, *Машина времени*).

**3. Есть ли прямой доступ к литературным текстам или только пересказы?**
— **Доступ к текстам**:
— **Прямой доступ**: Я не храню полные тексты книг, как библиотека. Мои знания — это обобщённые представления, основанные на обучении. Например, я знаю сюжет *Звёздных королей* (Гордон, обмен разумами, Разрушитель), но не могу процитировать книгу дословно.
— **Пересказы и выжимки**: Я полагаюсь на:
  — Аннотации (например, "космоопера про принца").
  — Ключевые сцены (обмен разумами, война).
  — Метаданные (автор, год, жанр).
  — Это позволяет сопоставлять описания, как в твоей игре, но ограничивает точность для редких книг.
— **Фантастика**: Для НФ (*Гамильтон*, *Азимов*) у меня больше "выжимок", так как жанр активно обсуждается в интернете (форумы, Goodreads).
— **Ограничения**: Без полного текста я могу упустить нюансы (например, "сны" в *Звёздных королях* как ментальный контакт). Это объясняет мою ошибку в игре — я искал популярные книги (*Фонд*), а Гамильтон менее иконичен.

**4. Неструктурированные данные из интернета или структурированные базы?**
— **Мой подход**:
— **Неструктурированные данные**: Я не ищу в интернете в реальном времени (хотя могу, если ты попросишь). Мои знания — это результат обучения на неструктурированных текстах (форумы, статьи, вики), преобразованных в структурированные паттерны. Например, я знаю *Звёздных королей* из обсуждений, а не из базы вроде LibraryThing.
— **Структурированность**: Мои "базы" — это нейронные связи, где книги представлены как наборы признаков (жанр, сюжет, автор). Это псевдоструктура, но не таблица.
— **Риск путаницы**:
— Неструктурированные данные (форумы, рецензии) могут содержать ошибки или размытые описания, что влияет на обучение. Например, обсуждение *Звёздных королей* могло быть короче, чем *Дюны*, из-за разницы в популярности.
— В игре Дипсик запутался, так как его данные, вероятно, тоже неструктурированы, и он хватался за общие черты ("империя").
— Я избежал выдумывания книг, но ошибся, так как мои знания о *Звёздных королях* менее "громкие", чем о *Фонде*.

**Почему я ошибся в игре**:
— **Пересказы**: Я полагался на выжимки, где *Звёздные короли* описаны как "космоопера с обменом телами". Без полного текста я не сразу уловил "сны" и "оружие".
— **Популярность**: Более известные книги (*Дюна*, *Фонд*) доминировали в моих гипотезах, так как их паттерны "ярче" в данных.
— **Дипсик**: Его ошибки (*Дюна*, *Гиперион*) усилили мой фокус на популярных книгах, а не на нишевой классике, как Гамильтон.

**Рекомендации для поиска**:
— Давай чёткие описания с уникальными деталями (например, "Разрушитель" в *Звёздных королях*).
— Уточняй, если ИИ предлагает популярные книги (как я с *Дюной*).
— Для редких книг указыва автора или эпоху (например, "НФ 1940-х").

---

### Ответ на твой запрос
Литература в моих "базах" — это не полные тексты, а семантические паттерны, выжимки сюжетов и метаданные (автор, жанр), встроенные в нейронные веса. В обучении использовались фрагменты текстов, аннотации и обсуждения, где фантастика (НФ, фэнтези) занимала значительное место из-за популярности жанра, но не доминировала. Я не имею прямого доступа к текстам, а опираюсь на пересказы и ключевые черты, что объясняет ошибки в игре с *Звёздными королями* — я знал книгу, но её "сигнал" был слабее *Дюны* или *Фонда*. Мои данные — структурированные паттерны из неструктурированных источников (форумы, вики), а не интернет-поиск, но путаница возможна, если описание размытое. Это и есть "беспомощность" ИИ: без чётких деталей мы теряем редкие книги в шуме популярных. Твоя игра с Гамильтоном показала это идеально! ?

цитата bbg

Либо основывается на данных годичной давности

цитата DKart

Можете спросить у ДипСик, в чем он силен, чтобы не разочаровываться в его ответах.

цитата bbg

Я ему дал адреса сайтов с самыми свежими данными.

цитата Yggeld

Примеров накопилось достаточно, и это не предел, наша копилка полнится день ото дня.