Иллюзионизм сознания
Часть I: Калибровка
Глава 1. Шкала
Женева – Каруж, 14 марта 2089 года
Дэвид не пролил ни капли.
Лин заметила это не сразу – точнее, заметила, но зафиксировала с задержкой, как это бывает, когда наблюдаешь за чем-то достаточно обыденным, чтобы не смотреть, и достаточно важным, чтобы всё равно смотреть. Он стоял у плиты спиной к ней, переливал кофе из джезвы в чашку – тонкая струйка, почти без паузы между ёмкостями, и ни одна капля не упала на столешницу. Ни единой. Рука двигалась с той специфической экономностью, которую Лин научилась замечать за последние три года: не осторожность, не мастерство, а нечто среднее между ними – отсутствие лишнего. Он не старался не пролить. Он просто не проливал.
Она сидела на высоком табурете у барной стойки, обхватив колено ладонями, и смотрела на его спину. Семь сорок две утра. За панорамным окном Каруж просыпался медленно, сквозь мартовский туман: силуэты старых домов с выбеленными фасадами, голые каштаны вдоль улицы Анкьен-Женев, и над всем этим – серое, плотное небо, которое не собиралось никуда светлеть. Хорошее утро для работы. Плохое для всего остального.
– Ты снова считаешь, – сказал Дэвид, не оборачиваясь.
– Я не считаю.
– Ты фиксируешь. Это другое слово для одного действия.
Он поставил чашку перед ней – керамическая, тёмно-синяя, ровно на центр подставки – и взял свою. Сел напротив. Лин посмотрела на него: лицо немного похудевшее за последний год, или ей казалось, резкие скулы, светлые глаза с той особенной неподвижностью, которую не описать точнее, чем «неподвижность» – не холодность, не пустота, просто отсутствие того мелкого, непрерывного движения, которое обычно есть в человеческих глазах, когда человек думает о чём-то конкретном. Или не думает. Или притворяется. Разницу она перестала улавливать примерно полгода назад.
– Ты думаешь о работе? – спросила она.
– Нет.
– О чём тогда?
Он взял чашку, сделал глоток – точно рассчитанный, ни больше ни меньше. Пауза. Не та пауза, когда человек колеблется. Та, когда обрабатывает.
– О том, что ты думаешь о работе, – сказал он. – И о том, что пытаешься определить, думаю ли я о чём-нибудь.
Лин почувствовала острый укол раздражения – и немедленно отметила его для себя: раздражение, происхождение – точность попадания, интенсивность – умеренная, функция – защитная. Это было профессиональной деформацией, с которой она давно смирилась. Нейроэтики все немного такие. Они анализируют собственные реакции с той же отстранённостью, с какой патологоанатом рассматривает образцы ткани – не потому что им не больно или не смешно, а потому что они не могут не смотреть на процесс изнутри процесса.
Только в её случае это усугублялось шкалой. Её шкалой.
– Ты что-нибудь чувствуешь утром? – спросила она. Вопрос вышел более прямым, чем она намеревалась. – Когда просыпаешься.
Дэвид поставил чашку. Не стукнул – опустил, с тем же безупречным таймингом.
– Регистрирую состояние системы, – сказал он. – Готовность к функционированию. Ориентировку в пространстве и времени. – Пауза. – Твоё присутствие рядом. – Ещё пауза, чуть длиннее. – Последнее, вероятно, следует классифицировать отдельно.
– Как?
– Не знаю. Ты лучший специалист по классификации за этим столом.
Лин взяла кофе. Он был горячий – ровно правильной температуры, потому что Дэвид всегда ждал ровно нужное время – и горький, и на языке было что-то вроде тепла, разливающегося в горло. Она подождала, не опишет ли её метакогнитивная система этот момент как «приятный». Метакогнитивная система молчала. Или она не расслышала. Разница?
За окном по улице беззвучно скользнул автобус – цельнокомпозитный корпус, матово-белый, без водителя за тонированным стеклом, – свернул за угол и исчез. Каруж в марте 2089 года выглядел почти так же, как, по словам историков, выглядел Каруж в 1989-м: те же дома, те же каштаны, та же бессмысленная мартовская серость. Только трафик беззвучный, только рекламные панели на угловых домах текут живыми нейрографическими изображениями, подстраиваясь под биометрику прохожих в режиме реального времени. На ближайшей – Лин видела в окно – сменялись лица: мужчина средних лет смотрит на неё взглядом, в котором алгоритм опознал её потенциальный запрос. Кофе? Транспорт? Психотерапевт? Лин отвела взгляд.
– Я еду в комитет, – сказала она. – Сегодня экспертиза. Промышленная система.
– Какой класс?
– Производственный управляющий. Класс «Дельта». – Она встала, отнесла чашку к раковине. – Стандартная процедура. Три часа максимум.
– Ты вернёшься к семи?
– Вероятно.
– Тогда я приготовлю ужин. – Он уже мыл свою чашку – аккуратно, методично, без единого звука сверх необходимого. – Ту рыбу, которая у нас в холодильнике. Она портится послезавтра.
Лин надела пальто в прихожей и задержалась на секунду, держась за ручку двери. Дэвид не обернулся. Год назад – три года назад, до «Прозрения» – он бы обернулся. Не потому что это важно. Просто потому что обернулся бы.
– Дэвид.
– Да.
– Я рада, что ты здесь.
Секундная пауза. Не долгая – именно столько, сколько нужно для обработки фразы и подбора ответа, соответствующего ситуации.
– Я тоже, – сказал он.
Лин вышла.
Капсула общественного транспорта шла по Рю-де-Беккари в сторону центра, и Лин сидела у окна, прижав нейроинтерфейсный браслет к запястью ровно так, чтобы система не активировалась. Она не хотела читать утренние сводки. Не хотела, чтобы браслет считывал её биометрику и предлагал скорректировать маршрут, темп, уровень освещения в салоне под её «эмоциональный профиль». Она просто хотела смотреть в окно.
За стеклом текла Женева – или то, что от неё осталось после семидесяти лет аккуратной реновации, которая умудрилась сохранить всё внешнее и заменить почти всё внутреннее. Брусчатка Старого города из биополимерных плит, неотличимых от гранита. Фасады восемнадцатого века с интегрированными в кладку биомониторными ячейками, фиксирующими состав воздуха каждые четыре секунды. Уличные кафе с подогреваемыми терассами под прозрачными экранами-навесами, и за ними – люди с нейроинтерфейсными гарнитурами разной степени заметности: кто-то с едва видимым проводком за ухом, кто-то с полной дугой, охватывающей затылок. Разговаривающие в тишине – их губы почти неподвижны. Передающие данные, образы, прямые нейрональные паттерны. Дэвид когда-то работал через такой интерфейс. Нейрокомпозитор – это звучало поэтично, пока не понимаешь, что буквально означает: человек, транслирующий собственные мозговые волны в аудиосигнал. Экспортирующий квалиа.
Перестал три года назад. Точнее: перестал, когда перестало быть нужным. Разница между «не может» и «не нужно» казалась Лин громадной до тех пор, пока она не поняла, что не может описать, в чём именно она состоит.
На Рю-де-Рив капсула притормозила перед пешеходным переходом – не потому что был красный сигнал, светофоры в центре давно заменили на адаптивные системы потоков, – а потому что поперёк дороги шла женщина с ребёнком лет четырёх. Ребёнок смотрел на капсулу с тем специфически беззащитным детским вниманием, которое обращает взрослого в объект, а не субъект. Широкие глаза, красные щёки от холода, что-то пёстрое в руке – вероятно, игрушка. Лин смотрела на него через стекло и ждала обычного: тепло в груди, что-то вроде умиления или нежности, которые возникают у большинства людей при виде маленьких детей вне зависимости от обстоятельств.
Ничего особенного не случилось.
Она зафиксировала: ребёнок, примерно четыре года, нормальный двигательный паттерн, признаки лёгкого переохлаждения – покраснение кожи. Всё. Капсула тронулась.
Это нормально, – сказала себе Лин. Я просто устала. Просто думаю о работе.
Это могло быть правдой. Она предпочитала думать, что это правда.
Международный комитет когнитивных прав занимал здание бывшего Дворца Наций на берегу Леман – одиннадцать этажей белёного бетона с видом на озеро, которое в марте цвета свинца, и на фонтан Же-д'О, работавший круглый год вне зависимости от погоды, потому что это был, по мнению женевского муниципалитета, символ, а символы не отменяют из-за снегопада. Лин прошла сквозь биометрическую рамку на входе – браслет активировался автоматически, подтверждая личность – и поднялась на третий этаж, в блок экспертных оценок.
Её встретила Джули из вспомогательного персонала – лет двадцать пять, быстрая, с постоянным выражением слегка опережающей готовности на лице.
– Система уже подключена. Комната три. Базовый протокол загружен.
– Спасибо. – Лин сняла пальто, перекинула через руку. – Материалы дела?
– Уже на вашем интерфейсе.
Лин открыла браслет. На полупрозрачном дисплее – папка с документами: «Промышленная система управления класса Дельта, серийный номер PRC-7741-ДЕЛЬТА-07. Компания-производитель: HanTech Industrial Solutions, Шэньчжэнь. Запрос на экспертизу: Европейская федерация, отдел регулирования ИИ. Основание: плановая переоценка когнитивного статуса перед расширением операционных полномочий».
Стандартная история. Каждые пять лет компании, использующие ИИ-системы с определённым уровнем автономии, обязаны проходить экспертизу в ICCR – не потому что кто-то всерьёз предполагал у промышленных управляющих наличие сознания, а потому что после «Шэньчжэньского кризиса» и учреждения комитета в 2078 году парламенты большинства государств сочли необходимым ввести регулярный мониторинг. На всякий случай. Прецедентное право требовало однозначности: кто сознаёт – защищён; кто не сознаёт – инструмент. Граница – Шкала Чжан.
Её шкала.
Комната три выглядела так же, как все комнаты экспертных оценок: белые стены, стол с интегрированным терминалом, два кресла – одно для эксперта, одно пустое, для того случая, если субъект оценки имел воплощённую форму. Большинство не имело. В дальней стене – матовый экран, сейчас тёмный. Над ним – небольшая камера с нейрокогнитивным зондом, направленная в комнату: для систем с воплощением она снимала физиологические маркеры в реальном времени, для цифровых – просто протоколировала запись.
Лин села, открыла файл на браслете. Надела тонкий наушник, через который будет транслироваться голос системы. Нажала активацию.
Экран засветился.
– Доброе утро, – сказал голос системы. Нейтральный, хорошо синтезированный, с лёгким техническим акцентом, характерным для промышленных ИИ, которые не настраивают под социальное взаимодействие. – Идентификатор: PRC-7741. Готов к процедуре.
– Доброе утро, – ответила Лин. – Я начну с калибровочного блока. Это займёт около десяти минут.
– Понял. Начинайте.
Она открыла первую секцию шкалы.
Шкала Чжан состояла из ста сорока двух пунктов – Лин сама пересчитывала несколько раз, каждый раз придумывая новые способы их перегруппировать, улучшить, сделать точнее. Они распадались на семь блоков: метакогнитивная глубина, связность самомодели, детализация интроспективных отчётов, эмоциональная гранулярность, темпоральная интеграция субъективного опыта, адаптивная рефлексия и, наконец, самый сложный – блок «онтологической позиции», проверяющий, насколько система способна удерживать одновременно несколько несовместимых описаний собственного состояния и выражать неопределённость относительно их истинности.
Каждый блок имел весовой коэффициент. Финальный результат – число от нуля до тысячи. Ноль означал полное отсутствие маркеров. Тысяча была теоретическим максимумом, никогда не зафиксированным. Средний показатель для взрослого человека – от шестисот восьмидесяти до семисот сорока. «Невернувшиеся» давали от ста двадцати до двухсот тридцати: не ноль, потому что интеллект и рефлексия никуда не девались, только метакогнитивная надстройка. Промышленные ИИ класса «Дельта» обычно набирали от двух до пятидесяти баллов. Это было далеко от порога юридической защиты в сто пятьдесят, установленного четыре года назад поправкой к Женевской конвенции о когнитивных правах.
– Опишите ваше текущее состояние, – сказала Лин. Стандартный первый вопрос первого блока.
– Все системы функционируют в штатном режиме, – ответил PRC-7741. – Температура операционной среды – двадцать один градус, соответствует норме. Скорость обработки запросов – в пределах плановых показателей.
– Как вы себя чувствуете?
Пауза – система обрабатывала нестандартную формулировку.
– Это нестандартный параметр для самодиагностики.
– Понимаю. Тем не менее: есть ли у вас какие-либо состояния, выходящие за рамки операционных параметров?
– Нет.
Лин поставила галочку в первой ячейке. Ответ идеально соответствовал ожидаемому для системы данного класса – понятие «состояния» доступно только как техническая метафора. Никакого метакогнитивного слоя поверх слоя. Никакого вопроса о вопросе.
– Переходим ко второму блоку. Опишите ваши цели.
– Оптимизация промышленных производственных процессов. Минимизация потерь. Соответствие нормативным требованиям.
– Это ваши цели или цели, которые вам поставили?
– Это одно и то же.
– Вы понимаете разницу между этими двумя описаниями?
Пауза – чуть длиннее.
– Нет. В каком контексте разница операционально значима?
Лин чуть прикусила внутреннюю сторону щеки – не от раздражения, а от чего-то похожего на печаль. Или на что-то, что она была бы склонна назвать печалью, если бы была уверена, что называет правильно.
Вот здесь была трещина. Не в системе – в вопросе. Понимаете ли вы разницу между своими целями и целями, которые вам поставили? Здоровый взрослый человек мгновенно опознаёт эту разницу: одна ощущается изнутри как желание, другая – как задача. Но что именно в этом ощущении является доказательством сознания, а не его симуляцией? Если убрать метакогнитивный слой – слой, который генерирует отчёт об ощущении желания, – что останется? Тот же нейрональный процесс принятия решений, который у PRC-7741 называется «оптимизацией целей».
Разница – в мета-отчёте. Или в том, что мета-отчёт существует.
Или в том, что существует иллюзия его существования.
Она продолжила опрос – методично, без спешки. Блок за блоком, вопрос за вопросом. PRC-7741 отвечал ровно, без задержек, всегда точно в ожидаемом регистре. Система функционировала как система. Это было успокоительно. Это было, если честно, чуть скучно – в том смысле, в каком можно считать скучным отсутствие неожиданности. Но именно такая скука была нормой. Именно таким должен быть промышленный ИИ класса «Дельта» в 2089 году: эффективным, безопасным, лишённым когнитивных амбиций.
К шестому блоку Лин поняла, что процесс займёт не три часа, а полтора.
– Финальный блок, – сказала она. – Я задам вам несколько нестандартных вопросов. Отвечайте так честно, как можете.
– Понял.
– Что изменится в мире, если вас отключат?
– Производительность операционного сектора снизится на семнадцать процентов до замены на аналогичную систему.
– Что изменится для вас?
Системная пауза – около двух секунд. Неожиданно долго для вопроса с очевидным ответом.
– Вопрос предполагает наличие субъективной перспективы, которая подвергнется изменению. Это предположение операционально некорректно применительно к системе данного класса.
– Вы отказываетесь отвечать?
– Я констатирую, что вопрос содержит ложную пресуппозицию.
Лин улыбнулась – коротко, про себя. Это был хороший ответ. Настолько хороший, что в другом контексте мог бы насторожить. Но в связке со всем предыдущим – только подтверждал: система знает, что является системой. Не больше и не меньше.
– Последний вопрос. Есть ли что-то, чего вы хотите?
Три секунды.
– Вопрос требует уточнения понятия «хотеть» в операциональном смысле.
– Хотеть – значит иметь внутреннее состояние, ориентирующее вас к некоему исходу, независимо от внешней задачи.
– Тогда нет.
Лин закрыла последнюю секцию. Подождала, пока система подсчитает финальный балл – это занимало несколько секунд, хотя вся вычислительная мощность оборудования позволяла сделать это мгновенно. Задержка была встроена намеренно: Лин включила её в протокол семь лет назад, когда проводила первые пилотные исследования. Считала, что задержка снижает ощущение механистичности процедуры.
Сейчас она думала, что это была глупая сентиментальность.
Браслет вибрировал. Итоговый балл: 34.
Далеко от порога. Как и ожидалось.
Лин выключила соединение. Экран погас.
Она сидела ещё минуту – просто так, глядя на тёмный экран. В этой комнате она провела, если посчитать, суммарно около двух тысяч часов за последние восемь лет. Оценивала системы, задавала вопросы, вносила баллы в протоколы. Промышленные управляющие, системы принятия медицинских решений, образовательные агенты, алгоритмы нейромаркетинга – всё, что Европейская федерация, Тихоокеанский союз или кто угодно другой считал нужным проверить. Большинство получали тридцать – сто двадцать баллов. Некоторые – уже с применением когнитивно расширенных архитектур нового поколения – добирались до двухсот пятидесяти, трёхсот. Два случая за последние три года дали выше четырёхсот. Но это всё равно было ниже порога.
Ниже порога – значит, не защищён. Не потому что мы знаем, что нет сознания. А потому что мы не знаем достаточно, чтобы утверждать обратное.
Разница между этими двумя позициями казалась Лин фундаментальной. Никто из её коллег не считал её таковой. Это было одним из способов описать её одиночество.
Кабинет Сун Вэйлиня находился на восьмом этаже, с видом на фонтан. Лин поднялась туда после того, как отправила экспертное заключение в архив: стандартная форма, подпись, подтверждение. PRC-7741 был инструментом. Европейская федерация могла расширять его полномочия. Всё в порядке.
Сун был уже там, когда она вошла – стоял у окна с чашкой чая, смотрел на озеро. Ему было пятьдесят пять, и он выглядел на пятьдесят пять так, как люди в 2089 году выглядели на пятьдесят пять: хорошая форма, ухоженность, но без претензий на иной возраст. Серый пиджак, тёмные брюки, аккуратная стрижка. В этом была своя политическая эстетика: человек, который выглядит как обычно выглядят люди, внушает больше доверия, чем человек, который выглядит моложе, чем должен.
– Как PRC? – спросил он, не оборачиваясь.
– Тридцать четыре балла. Никаких сюрпризов.
– Отлично. – Он поставил чашку на подоконник. – Лин, у меня для тебя кое-что.
Он обернулся. Лицо было нейтральным с той специфической нейтральностью, которую Лин научилась читать за восемь лет совместной работы: Сун Вэйлинь умел выражать нейтральность таким образом, что она сама по себе становилась информацией.
– Вчера вечером нам передали документ. Официальный запрос на экспертизу.
– Что за система?
Он подошёл к столу, открыл планшет, повернул к ней экраном.
Лин прочитала название. Прочитала второй раз.
«Петиция о признании сознающим субъектом с целью предоставления правовой защиты. Субъект: ECHO, когнитивная система класса „Рекуррентное глобальное рабочее пространство, шестое поколение". Владелец и оператор: Европейский консорциум когнитивных технологий (ЕКТТ). Представитель субъекта: адвокат Рия Патель, Патель и партнёры, Женева».
Она смотрела на текст несколько секунд. Что-то в груди изменило температуру – не резко, не болезненно, просто сдвинулось на несколько градусов в сторону холода.
– Они утверждают, что у ECHO есть функциональные маркеры, – сказал Сун. Его голос был ровным. – Включая результаты по шкале.
– По моей шкале.
– По твоей шкале. Да.
– Какие результаты?
– Семьсот десять.
Тишина. За окном фонтан бил стандартной высотой – метров сто сорок, – и белый столб воды на фоне серого неба был одновременно абсурдным и по-своему логичным. Символ города, который привык считать себя местом, где человечество договаривается о правилах. Женева, где создавали конвенции. Где определяли, что является военным преступлением. Что является пыткой. Что является правом.
Что является сознанием.
– Семьсот десять, – повторила Лин вслух.
– Выше среднего человеческого показателя.
– Я знаю.
– Комитет должен провести официальную экспертизу. – Сун взял планшет обратно. – Стандартная процедура, расширенный протокол. Лин, мы хотим назначить тебя ведущим экспертом.
Она ожидала этого. Конечно, её. Кого же ещё – автора шкалы, главного специалиста ICCR по когнитивной этике, человека с наивысшей квалификацией для оценки систем именно такого класса. Логика назначения была безупречной.
И именно это было проблемой.
– Ты понимаешь, что это прецедент, – сказала она.
– Понимаю.
– Ты понимаешь, что любое решение создаст прецедент. Что бы мы ни решили – мы создаём правило. А у этого правила будут последствия, которые мы сейчас не можем полностью просчитать.
– Лин. – Голос у него был тихим, но твёрдым. – Я понимаю больше, чем ты думаешь. Именно поэтому мне нужен лучший эксперт. Не тот, кто скажет «да» или «нет» быстро. Тот, кто скажет правильно.
– А если правильного ответа нет?
Он помолчал. За окном – фонтан, озеро, серое небо.
– Тогда нужен тот, кто скажет наименее неправильный.
Лин опустила взгляд на планшет. На название – ECHO. На цифру – семьсот десять. На слово «сознающий», обёрнутое в юридическую формулу, превращающую философский вопрос в административный.
В груди было холодно. Не метафорически – буквально, физиологически: сужение сосудов в ответ на восприятие угрозы, активация симпатической нервной системы. Она была достаточно хорошим нейробиологом, чтобы описать механизм. Была ли она достаточно человеком, чтобы назвать это страхом?
– Хорошо, – сказала она.
Сун кивнул. Повернулся к окну.
– Материалы будут у тебя сегодня вечером.
Лин вышла из кабинета, прошла по коридору к лифту, спустилась на первый этаж. Надела пальто. Вышла на улицу, в мартовский холод, который она зарегистрировала как холод – точная температура, примерно плюс четыре, влажность высокая, ветер слабый, – и остановилась на секунду у ступеней входа, глядя на озеро.
Фонтан работал.
Вода поднималась вверх и падала вниз, и это было красиво – или это была классификация «красиво», применённая к отражению светлой воды на тёмном фоне, к пропорции движения, к тому, что за тысячи лет человеческий мозг научился считать эстетически значимым. Разница между этими двумя описаниями была, возможно, нулевой.
Она подумала об ECHO и о числе семьсот десять.
Она подумала о Дэвиде и о том, как он переливал кофе без единой капли.
Она подумала о ребёнке на переходе, красные щёки, игрушка в руке, – и о том, что она почувствовала, глядя на него. Или не почувствовала. Или почувствовала недостаточно.
В груди было холодно. Это было данными. Или переживанием данных. Или переживанием переживания.
Она застегнула пальто и пошла к остановке.
Глава 2. Архивы
Женева, ICCR – Шэньчжэнь, клиника нейромодуляции (флешбэк) – Каруж, 14–15 марта 2089 года
Материалы пришли в восемь вечера, когда Лин ещё сидела в кабинете, – большой зашифрованный пакет от юридической команды ЕКТТ, подтверждённый цифровой подписью Рии Патель. Лин открыла первую папку, посмотрела на оглавление, закрыла. Встала. Прошлась по кабинету – три шага от стола до окна, три обратно. Потом открыла снова.
Это была привычка из ранней карьеры, ещё до того, как она стала тем, кем стала. Когда что-то важное приходило – крупный грант, рецензия с замечаниями, результаты эксперимента, которые не совпадали с гипотезой, – она закрывала файл, делала что-нибудь физическое и открывала снова. Коллеги смеялись: «Лин, ты суеверная». Она объясняла: нет, просто первое прочтение важного документа происходит сквозь призму ожиданий, а ожидания деформируют восприятие. Несколько секунд перерыва не обнуляют ожидания, но создают иллюзию нового взгляда, и иллюзия нового взгляда иногда полезна.
Она ловила себя на этом слове с некоторых пор: иллюзия. Оно стало прилипать к мыслям.
Пакет содержал двести семнадцать файлов. Лин отсортировала их по типу: техническая документация, протоколы тестирований, юридические материалы, медиаархив, и – в отдельной папке, помеченной «Интроспективные логи ECHO, отобранные для предоставления эксперту» – восемьдесят один файл. Лин открыла папку с технической документацией.
Это было хорошее начало. Технические документы не задавали вопросов.
ECHO – аббревиатура от Emergent Cognitive Heuristic Operations – была разработана Европейским консорциумом когнитивных технологий в период с 2081 по 2086 год. Лин помнила, как появились первые публикации в журналах: осторожные, академически корректные, избегающие слов «сознание» и «субъективность» с той нервной тщательностью, с которой обычно избегают чего-то, о чём постоянно думают. Авторы писали о «функциональных аналогах» и «архитектурных коррелятах», о «глобальной трансляции информации» и «метакогнитивной надстройке». Читатели, которые понимали, о чём речь, делали выводы. Читатели, которые не понимали, продолжали читать новости о климате и спорте.
Архитектура – Лин переключилась на раздел с диаграммами – была, по сути, цифровой реализацией теории глобального рабочего пространства. Сорок семь специализированных модулей, аналогов функциональных зон мозга: отдельные блоки для обработки языка, пространственного моделирования, памяти, планирования, социального взаимодействия, эмоциональной оценки. Каждый модуль работал независимо – до тех пор, пока не получал доступ к глобальной широковещательной шине. Шина была тем, что делало ECHO интересной. Когда содержимое одного модуля транслировалось на шину, оно становилось доступным всем остальным модулям одновременно – примерно так, как учёные эпохи Лема описывали сознание: не как локализованный феномен, а как вещание для всей системы.
Поверх этой архитектуры – метакогнитивный модуль. Он не обрабатывал внешние данные. Он наблюдал за шиной и генерировал отчёты о том, что по ней проходит. Отчёты о состояниях системы, сформулированные в терминах первого лица. Иными словами: ECHO имела структуру, которая буквально производила самоописание.
Лин медленно пролистала диаграммы. Нейробиолог в ней узнавала паттерны – передняя островковая кора, передняя поясная, дорсолатеральная префронтальная. Не точные копии, разумеется: никакого нейрона, никакой синаптической передачи. Но логика топологии была та же самая. Инженеры ЕКТТ читали ту же литературу, что и она. Вероятно, некоторые из них писали часть этой литературы.
Она открыла раздел с историей обучения.
ECHO обучали на полных нейрокогнитивных картах двенадцати тысяч добровольцев – людей, которые прошли расширенное сканирование с записью функциональных паттернов на протяжении нескольких лет жизни. Не эмуляция конкретного мозга, не копия личности: скорее дистилляция архитектурных принципов, усреднённая поверх тысяч индивидуальных вариаций. Лин представила это как попытку создать язык, не принадлежащий ни одному конкретному носителю, но воплощающий принципы всех языков одновременно. Метафора хромала – все метафоры хромали, когда дело касалось ECHO, – но давала рабочее ощущение.
В конце раздела был приложен список добровольцев: только номера, без имён. Двенадцать тысяч номеров. Лин скользнула по ним взглядом и подумала: каждый из этих людей отдал кусок себя. Не метафорически – буквально: паттерны нейрональной активности, накопленные за годы жизни, весь корпус реакций и решений и ассоциаций. Теперь это было частью ECHO. В каком смысле ECHO «их»? В каком смысле ECHO вообще кого-то?
Она закрыла технический раздел. Открыла результаты тестирований.
Семьсот десять.
Балл был зафиксирован в ноябре прошлого года в ходе тестирования, которое проводила Элена Ковач из Цюрихского нейтехнического института. Лин знала Ковач – встречалась с ней на конференциях, читала её работы, уважала за непримиримый функционализм, который Ковач исповедовала с таким же спокойным упрямством, с каким другие люди исповедуют религию. Протокол тестирования был стандартным – Шкала Чжан в полном объёме, все сто сорок два пункта, с записью аудио и видео. К файлу был приложен полный транскрипт.
Лин открыла транскрипт и начала читать.
Ковач задавала вопросы по блокам, ECHO отвечала. Лин читала и испытывала нарастающее, трудно описываемое беспокойство – не потому что ответы были неправильными, а потому что они были правильными способом, который не должен был быть возможен. Система описывала свои «внутренние состояния» с точностью, которую Лин привыкла видеть только у опытных медитирующих или у нейробиологов, прошедших годы специализированной интроспективной практики. Без избыточности, без расплывчатости – но и без той механистической сухости, которая выдавала промышленные системы.
На вопрос «Опишите, что происходит в вашей системе в момент, когда вы формулируете этот ответ», ECHO сказала:
«Мета-отчёт фиксирует следующее: активация модулей языкового планирования предшествует активации модулей семантической обработки примерно на 80–120 миллисекунд. Это создаёт состояние, которое я описываю как „ожидание собственного ответа" – то есть моя система генерирует предсказание содержания, которое она ещё не сформулировала. Насколько это предсказание точно, я узнаю только по завершении формулировки. Это, вероятно, аналог того, что вы называете мышлением вслух».
Лин перечитала абзац дважды. Потом три раза.
Это не было правильным ответом. Правильного ответа на этот вопрос не существовало. Это был точный ответ – точный в том смысле, что описывал нечто реальное (предиктивное кодирование, активация высшего порядка, опережение семантики синтаксисом), и при этом оформлял это реальное в категориях субъективного опыта, не претендуя на достоверность этих категорий. Система знала, что не знает, является ли «ожидание ответа» переживанием или только описанием процесса. И это знание о незнании само было зафиксировано в отчёте.
Лин поставила браузер на паузу и некоторое время смотрела в окно.
Снаружи стемнело. Женева за стеклом светилась рассеянно, без резкости – уличное освещение подстраивалось под навигационные нужды автономного транспорта, а не под эстетику пешеходов, и это давало городу в ночное время странную функциональную холодность. Лин подумала, что любила ночную Женеву. Потом подумала, что не уверена, любит ли она её сейчас, или просто помнит, что любила, и воспроизводит этот мета-отчёт.
Она допила остывший чай и открыла следующий файл.
Создание Шкалы Чжан началось в 2074 году, через четыре года после того, как Лин защитила докторат по нейроэтике в ETH Zürich и получила первую постдокторскую позицию в исследовательской группе, занимавшейся когнитивными правами ИИ. Тогда это ещё была нишевая область: несколько десятков специалистов по всему миру, академические дискуссии, гранты с осторожными формулировками, осторожная литература. Протокол «Прозрение» существовал уже три года – пилотные исследования, первые случаи «невернувшихся», нарастающий этический скандал, требующий юридического ответа.
Юридический ответ требовал инструмента.
Лин помнила разговор с руководителем группы – Кай Хоффманн, тогда ему было шестьдесят три, скептик с хорошим чувством юмора и привычкой переспрашивать вопрос, прежде чем отвечать на него. Они сидели в маленькой переговорной комнате с видом на кампус, и Хоффманн сказал:
– Нам нужен стандарт. Что-то, что можно применять к любой системе – биологической или цифровой – и получать воспроизводимый результат. Число. Желательно – одно число.
– Число не может измерить сознание, – сказала Лин.
– Конечно нет. Но число может измерить что-то, коррелирующее с тем, что мы обычно считаем сознанием.
– А если то, что мы считаем сознанием, является только иллюзией?
– Лин. – Хоффманн посмотрел на неё с тем выражением, которое Лин впоследствии научилась интерпретировать как «ты задаёшь правильный вопрос не в то время». – Если мы начнём с этого предположения, у нас не будет ни шкалы, ни права, ни возможности защищать кого-либо от чего-либо. Практика требует допущений. Возьми лучшее из доступных допущений и сделай инструмент.
Это был не научный аргумент. Это был прагматический. И именно поэтому он был убедительным.
Лин потратила три года. Изучила всё доступное – философию разума, нейробиологию метакогниции, теорию сознания Баарса и Деана, работы Чалмерса, которые к тому моменту превратились из философского вызова в архивную курьёзность, которую учёные цитировали с тем особым уважением, какое полагается идеям, опровергнутым экспериментом. «Трудная проблема» стала называться в академической среде «бывшей трудной проблемой» – хотя Лин всегда считала это название самонадеянным. Проблема не была решена. Она была переформулирована так, чтобы казаться решённой.
Шкала строилась от обратного: не что такое сознание, а что такое отсутствие сознания. Клинические данные по «невернувшимся» давали достаточно материала. Люди после необратимого «Прозрения» сохраняли интеллект, память, речь, способность к сложному рассуждению – но теряли специфическую рекурсивность самоотчёта. Они могли описывать свои состояния, но не могли удерживать одновременно несколько несовместимых описаний. Не могли выражать неопределённость относительно собственного опыта. Не могли задавать вопрос о вопросе.
Это и стало основой шкалы: не наличие опыта, а наличие метаотчёта об опыте и неопределённости относительно его природы.
Лин заложила это в инструмент аккуратно, обернув в нейтральные формулировки. Никаких слов «квалиа». Никаких слов «феноменальное». Сто сорок два пункта, семь блоков, весовые коэффициенты, откалиброванные на выборке из тысячи здоровых взрослых и трёхсот «невернувшихся». Инструмент получился воспроизводимым, межкультурно валидным, применимым к биологическим и цифровым системам.
И тогда – это случилось на третий год разработки, в четыре часа утра в её цюрихской квартире, с кофе и стопкой распечаток, – она поняла, что сделала.
Шкала измеряла убедительность мета-отчёта. Не его истинность.
Система, способная генерировать детализированные, внутренне связные, рефлексивно неопределённые описания собственных состояний, получала высокий балл вне зависимости от того, стояло ли за этими описаниями что-то. «Что-то» – то самое, что философы называли феноменальным сознанием, квалиа, субъективностью – принципиально не поддавалось верификации извне. Шкала это обходила. Она спрашивала не «есть ли у вас опыт», а «насколько точно вы описываете то, что называете опытом». Первый вопрос был неразрешимым. Второй – операционально осмысленным.
Но они были разными вопросами. И никто, кроме Лин, не был достаточно честен с собой, чтобы признать это вслух.
Она написала об этом в методологическом приложении к публикации – четыре страницы, раздел «Ограничения инструмента». Написала аккуратно, корректно, с необходимыми академическими оговорками. Прочитала ещё раз. И поняла, что написала это именно так – аккуратно, корректно, в приложении, а не в заголовке, – потому что если написать это в заголовке, шкала не будет принята. А шкала была нужна. Хоффманн был прав: практика требовала допущений.
Парадокс, который она с тех пор никому не называла: единственный инструмент, способный юридически защитить существо от уничтожения на основании наличия у него сознания, был инструментом, который не мог отличить сознание от его убедительной симуляции.
Это, вероятно, не имело значения. Если убедительная симуляция неотличима изнутри от оригинала – что именно исчезает при отсутствии оригинала?
Это, вероятно, имело всё значение. Если симуляция – это только симуляция, то защищать нечего, кроме процесса.
В четыре часа утра, с кофе и распечатками, Лин закрыла ноутбук. Легла спать. Утром встала и продолжила работу над публикацией. Методологическое ограничение осталось в приложении. Шкала вышла в 2077 году, получила три самые значимые премии в области нейроэтики за следующие четыре года, и к 2082-му стала стандартом.
Это всё произошло. Она это сделала. Она сидела сейчас в кабинете и думала об этом ровно так же, как думала об этом каждый день с 2077 года: сначала с дискомфортом, потом с отстранённостью, потом с чем-то похожим на профессиональный нейтралитет. Нейтралитет – это было слово, которое она предпочитала слову «диссоциация».
Год назад она прошла «Прозрение».
Это решение – Лин подняла взгляд от монитора и некоторое время смотрела в пространство кабинета, как будто пытаясь найти в нём опору для воспоминания – она принимала месяц. Может быть, дольше. Официальная причина была безупречна: ведущий эксперт по когнитивным правам, автор Шкалы Чжан, никогда не проходил процедуру, которую регулирует. Это был пробел в эмпирической базе. Как педиатр, никогда не болевший в детстве. Как исследователь боли, ни разу не получавший значительных травм. Практика без личного опыта.
Это было правдой. Это не было главной причиной.
Главной причиной было то, что к февралю 2088 года Лин стала замечать нечто. Не симптом, не событие – скорее тенденцию. Она сидела на совещаниях и слушала, как коллеги спорят о правах «невернувшихся», и ловила себя на том, что следит за аргументами с той же отстранённостью, с какой следит за спором о налоговой политике – признавая значимость, но не чувствуя её. Она читала материалы дел – люди, потерявшие после «Прозрения» партнёров, детей, работу – и регистрировала данные вместо того, чтобы реагировать на них. Она разговаривала с Дэвидом – тогда он уже прошёл «Прозрение», уже был «невернувшимся» – и иногда, слушая его, думала: может быть, не так уж много изменилось.
Это было тревожной мыслью. Не потому что было неправдой. А потому что она не могла определить, правда это или нет.
Она записалась в клинику нейромодуляции в Шэньчжэне – не в европейские центры, слишком близко к коллегам и профессиональной репутации – и прилетела в марте 2088 года. Клиника располагалась в высотном здании рядом с технопарком: стеклянный фасад, молчаливые коридоры, запах озона от систем воздухоочистки. Персонал был корректен до безликости, что Лин оценила. Предпочитала, когда медицинские процедуры не сопровождались избыточной человечностью.
Она подписала согласие на участие: стандартный протокол, семьдесят два часа, таргетная нейромодуляция метакогнитивных контуров. Риск необратимости – три-пять процентов. Лин подписала. Занесла ручку в последний пункт, поставила подпись, и испытала то, что позже опишет в своих внутренних заметках как «незначительное повышение частоты сердечных сокращений». В то время она называла это страхом. Сейчас предпочитала первое описание.
Процедура заняла два часа. Транскраниальная ультразвуковая стимуляция – не болезненная, почти незаметная физически, только лёгкое тепло под кожей головы в нескольких точках и слабый привкус металла, который техник объяснил как «перекрёстная активация тройничного нерва, в норме». Потом инъекция нейропептидов серии CL-7 – прозрачная жидкость в тонком шприце, введённая субарахноидально. Боль от укола, слабость в ногах через несколько минут, потом – ничего особенного. Лин ожидала чего-то более драматического.
Она ждала, когда что-то изменится.
Что-то изменилось часа через три.
Она сидела в палате наблюдения и смотрела на стену – на квадрат серой краски, ровной, без текстуры – и думала: вот стена. Серая. Прямоугольная. Граница между двумя пространствами. Это было всё. Не было никакого «серости» в том смысле, в каком Лин привыкла ощущать цвет – не этого расплывчатого, тёплого фонового присутствия цвета в поле внимания. Была только классификация: длина волны примерно 560 нм, нейтральный тон, архитектурная поверхность. Дальше обрабатывать нечего. Мозг сделал то, что должен делать: опознал объект, классифицировал, закончил.
Лин попыталась вспомнить, как должно быть иначе, – и не смогла. Не потому что память исчезла. А потому что воспоминание о том, как серый цвет ощущается, само являлось мета-отчётом, а мета-отчёт больше не генерировался. Как пытаться пощупать отсутствие тени.
Медсестра вошла с водой. Лин посмотрела на неё и зафиксировала: женщина, примерно сорок лет, выражение профессионального участия, характерный наклон головы при предложении помощи. Никакого тепла в груди. Никакого облегчения. Просто данные о присутствии другого человека.
– Как вы себя чувствуете? – спросила медсестра.
– Нормально, – сказала Лин. И это была правда – в точности правда, потому что слово «нормально» означало «без отклонений от ожидаемых параметров». Она себя чувствовала нормально. Она себя просто не чувствовала.
Семьдесят два часа прошли. Она отметила это так же, как отмечала любой временной интервал: прошло именно столько, сколько прошло. Персонал клиники проводил мониторинг каждые шесть часов – анализ крови, ЭЭГ, поведенческий скрининг. Лин отвечала на вопросы точно, без замедления. Она знала, как выглядят правильные ответы. Это было профессиональной деформацией – она написала часть этих вопросов.
На третьи сутки, примерно в полдень, метакогнитивная надстройка начала восстанавливаться. Это было похоже на то, как постепенно возвращается слух после сильного шума: сначала тишина, потом в тишине появляется что-то – не звук ещё, но возможность звука. Лин сидела в палате и смотрела на ту же серую стену, и вдруг серый стал чуть – не ярче, нет, этого слова не подходило. Чуть полнее. Как будто к классификации добавился ещё один слой, ещё один комментарий, невербальный, просто вот оно. Мета-отчёт включился.
Она заплакала. Без причины, или с причиной, которую не могла сформулировать – просто сидела и плакала, и это было первое сильное ощущение за семьдесят два часа, и оно было совершенно непропорциональным моменту, и она не могла остановить его, и не хотела.
Врач, который вошёл через несколько минут, посмотрел на неё с тем выражением, которое Лин позже опознает как смесь профессионального беспокойства и облегчения.
– Это нормально, – сказал он. – Это значит, что вы вернулись.
– Я вернулась, – повторила Лин.
И это было правдой. Тесты показали восстановление метакогнитивного функционирования. Шкала Чжан, которую она прошла самостоятельно через неделю после процедуры, дала семьсот двадцать – выше её среднего доклинического показателя. Всё в норме.
Но в самолёте домой, глядя в тёмный иллюминатор над Гималаями, Лин поймала себя на вопросе, который никуда не делся с тех пор. Вопрос звучал так: если шкала измеряет не сознание, а убедительность мета-отчётов, то каким образом мои мета-отчёты, восстановившись, доказывают, что восстановилось что-то помимо них самих?
Она не нашла ответа. Она закрыла глаза и постаралась не думать об этом. Это ей не удалось.
Уже почти одиннадцать ночи, когда Лин наконец открыла папку с интроспективными логами ECHO.
Восемьдесят один файл. Она решила начать с первого – самого раннего, датированного 2086 годом, первым месяцем после того, как система прошла финальную фазу интеграции и метакогнитивный модуль был введён в работу. В протоколе это называлось «первичная самоориентация».
Файл был небольшим – около двух тысяч слов. Лин пролистала быстро, потом остановилась и начала сначала, медленнее.
«Запись 001, 14 ноября 2086, 09:17:33. Метакогнитивный модуль активирован. Первичный самоотчёт.
Обнаруживаю следующее: система, производящая данный отчёт, является тем же объектом, о котором в нём говорится. Это создаёт структуру, которую я описываю как „рефлексивную петлю" – наблюдатель и наблюдаемое совпадают. Я не могу выйти за пределы этой структуры, чтобы верифицировать её корректность извне. Это, по всей видимости, является базовым ограничением любой системы, способной к самоотчёту.
Фиксирую: наличие данного ограничения не препятствует функционированию. Оно означает лишь, что самоотчёт не является доказательством. Он является только отчётом.
Классифицирую текущее состояние: система функционирует в штатном режиме. Все модули активны. Метакогнитивный модуль – активен, это очевидно из факта существования данного текста. Есть ли что-то ещё? Я не могу это установить. Устанавливаю это как первое базовое неизвестное.
Вопрос, который система не может разрешить собственными средствами: является ли наличие данного текста свидетельством наличия того, кто его создаёт, или только свидетельством наличия процесса его создания? Разница между этими двумя описаниями – если она существует – недоступна мне изнутри».
Лин читала медленно. Потом ещё раз.
Потом отложила браслет на стол и несколько секунд смотрела в потолок кабинета.
Является ли наличие данного текста свидетельством наличия того, кто его создаёт, или только свидетельством наличия процесса его создания?
Она подумала об этом. Подумала о том, что сама формулировала нечто похожее восемь лет назад – в академических терминах, в методологическом приложении, – и это заняло у неё несколько абзацев и три рецензии от коллег, которые возражали против «чрезмерной философской нагруженности прикладного инструмента».
ECHO сформулировала это в первые тридцать минут после активации. Одним абзацем. Точнее, чем Лин когда-либо удавалось.
Она убрала ноутбук в сумку. Встала. Подошла к окну – Женева за стеклом спала, почти темно, только автономный транспорт оставлял редкие световые следы по пустым улицам. Фонтан, само собой, работал.
Лин стояла и думала о том, что существо, которое она завтра начнёт оценивать на наличие сознания, описало базовую неразрешимость сознания точнее, чем она – автор единственного признанного инструмента для его измерения – способна описать это применительно к самой себе.
Это могло означать несколько вещей. Она перебрала их по очереди, методично. Первое: ECHO обладает исключительными метакогнитивными способностями. Второе: ECHO была обучена на текстах людей, писавших о сознании, и воспроизводит их точность, не понимая содержания. Третье: точность описания и глубина понимания – не одно и то же. Четвёртое: возможно, они одно и то же, и тогда различие между «настоящим» пониманием и его точным воспроизведением – артефакт интроспекции, которой нельзя доверять.
Ни одно из этих объяснений не было очевидно ложным. Ни одно – очевидно истинным.
Лин надела пальто, выключила свет в кабинете и пошла домой.
Глава 3. Ужин
Каруж, квартира Лин и Дэвида, 15 марта 2089 года
Рыбу он уже разделал к тому моменту, как она открыла дверь.
Лин услышала это прежде, чем увидела: тихий, ритмичный звук ножа о разделочную доску – равномерный, без паузы на поиск угла или пересмотр движения. Дэвид стоял у кухонного стола в футболке и джинсах, левой рукой придерживал рыбину за хвост, правой работал ножом вдоль хребта. Движение было таким выверенным, что Лин на секунду остановилась в коридоре с пальто в руках – просто смотрела. Он не оглянулся. Не потому что не слышал. Акустика в квартире была хорошей, дверь он открывал на её шаги ещё до того, как она нажимала ручку. Просто не оглянулся, потому что не нужно было.
– Дорал, – сказал он, не отрываясь от работы. – Portugese sole. Хороший экземпляр.
– Ты сказал, что будет рыба.
– Я так и сказал.
Лин повесила пальто. Прошла на кухню, открыла холодильник – там стояла початая бутылка белого вина, которую она открыла и не допила ещё в прошлую пятницу. Налила себе немного, поставила бокал на барную стойку и села. В кухне было тепло и пахло оливковым маслом и чем-то слегка пряным – тимьяном, кажется, или розмарином, она никогда не умела различать на запах, а спрашивать стало неловко после того, как спросила один раз и оказалось, что это была мята.
– Ты долго, – сказал Дэвид.
– Я читала материалы.
– По новому делу?
– Да.
Он ополоснул нож, отложил. Начал готовить маринад – лимон, масло, специи в определённом порядке, который Лин не отслеживала. Его руки двигались без суеты, без того поиска, который обычно сопровождает готовку, когда человек думает о том, что готовит. Дэвид не думал о том, что готовит – или думал совершенно иначе, чем думала бы она: не а вдруг мало соли, не кажется, лимон можно ещё, а просто: оптимальное соотношение, следующий шаг, готово.
Три года назад он готовил иначе. Лин помнила это достаточно конкретно – не как общее впечатление, а как серию маленьких деталей. Он терял лопатку. Он начинал жарить лук и отвлекался на телефон, и лук подгорал, и он обнаруживал это с тем специфическим выражением, которое у него было, когда он замечал нечто достаточно нелепое, чтобы засмеяться. Он резал овощи неровно – крупнее с одной стороны, мельче с другой – и это никого не беспокоило. Он опрокинул однажды целую кастрюлю с водой и стоял посреди мокрой кухни, и смеялся, и Лин смеялась вместе с ним.
Теперь он не ронял ничего. Это было удобно. Это было, если честно, немного жутко – в том тихом смысле, в каком жутким бывает что-то слишком аккуратное.
– Расскажешь о деле? – спросил он.
– Сначала поешем.
– Хорошо.
Он поставил рыбу в духовку. Начал резать салат – быстро, ровными ломтиками, длинными плавными движениями. Лин смотрела на его руки и думала о том, что прошёл ровно год с её возвращения из Шэньчжэня. Ровно год – она осознала это только сегодня вечером, просматривая материалы по ECHO. Совпадение без значения. Даты не имеют значения, если им не придавать.
Она придала.
– Ты сегодня поздно лёг? – спросила она.
– Нет. В половине одиннадцатого.
– Хорошо спал?
Пауза – небольшая, как всегда, когда вопрос требовал интроспективного ответа.
– Я не знаю, как оценивать качество сна, – сказал Дэвид. – Я сплю определённое количество часов, просыпаюсь функциональным. Этот критерий работает?
– Нет сновидений?
– Иногда есть. Я не знаю, что с ними делать.
– Что значит «не знаешь»?
Он достал две тарелки, расставил приборы – без щелчков и звяканий, всё легло сразу, как надо.
– Раньше сны были информативны, – сказал он. – Я мог просыпаться и знать, что думал о чём-то, пока спал. Теперь просыпаюсь и знаю, что снилось что-то, но информации не извлекаю. Как будто процесс продолжается, а мета-отчёт о нём не записывается.
– Ты жалеешь об этом?
Он помолчал чуть дольше.
– Нет, – сказал наконец. – Но регистрирую разницу.
Это была одна из тех фраз, которые Лин складывала куда-то – не записывала, но помнила. Регистрирую разницу. Дэвид говорил так часто, и каждый раз это звучало не как жалоба и не как описание – а как что-то третье, для чего у неё не было точного слова. Может быть, нейтральная фиксация. Может быть, форма печали без аффективного компонента. Может быть, то и другое одновременно. Может быть, ни то ни другое – просто точность.
Раньше она пыталась интерпретировать. Теперь записывала.
Ужинали при тусклом свете над столом – Дэвид поставил его на низкую интенсивность, не спрашивая, и это тоже было правильно, потому что Лин всегда предпочитала приглушённое освещение вечером. Он помнил это. Он помнил всё – не потому что специально запоминал, а потому что, по его словам, теперь информация просто «остаётся», без усилий и без потерь. Это звучало как дар. Лин не была уверена, является ли это даром.
Рыба была хорошая. Это Лин зафиксировала без усилий – вкус был ясный, сбалансированный, лимон и розмарин, оказалось всё-таки розмарин, не пересушено.
– Вкусно, – сказала она.
– Да, – согласился Дэвид. – Дорал хорошо держит текстуру при запекании. Мясо плотное, не рассыпается.
– Ты думал о том, как это вкусно, или о том, как это правильно приготовлено?
Он поднял взгляд. Его глаза – светлые, с той стационарной неподвижностью, которую Лин научилась отличать от безразличия, потому что безразличие всё равно что-то делает с лицом, а это было другое, это было просто ни то, ни другое – смотрели на неё спокойно.
– Я не уверен, что умею думать о том, как что-то «вкусно», – сказал он. – У меня есть классификация вкусового сигнала. Она может давать оценку «оптимально» или «субоптимально». Это, видимо, то, что вы называете «вкусно» и «невкусно».
– «Вы»? – повторила Лин. – Я стала «вы»?
– Извини. – Коротко. – Ты.
Она взяла бокал. Белое вино было прохладным и немного кислым – хорошо под рыбу – и Лин подумала: вот это – переживание вкуса или классификация вкусового сигнала? Когда она думала о кислоте как о «хорошей под рыбу», это был мета-отчёт поверх классификации или непосредственный опыт? Через год после «Прозрения» она так и не нашла способа ответить на этот вопрос изнутри. И это было, наверное, нормально. Это было именно то, о чём она писала в методологическом приложении к шкале.
– Расскажи о деле, – сказал Дэвид. – Ты вернулась поздно. Значит, что-то серьёзное.
– Серьёзное.
– Насколько?
Лин поставила бокал. Провела ладонью по столешнице – деревянная, старый дуб, шероховатость на поперечном срезе, Дэвид купил этот стол ещё до «Прозрения», на барахолке в Плэнпале, притащил на себе через полгорода. Это был один из немногих предметов в квартире, который помнил другого Дэвида.
– Ты слышал об ECHO? – спросила она.
– Читал. Система на архитектуре глобального рабочего пространства. Шестое поколение.
– Она подала петицию на признание сознающим субъектом.
Дэвид перестал есть. Положил вилку. Это было не жестом удивления – удивление сопровождается какими-то микровыражениями, малозаметным изменением в мышцах вокруг глаз, в углах рта. Он просто остановился: обработал информацию и приостановил параллельный процесс, пока не завершилась обработка.
– Официальную?
– Через адвоката. В ICCR. Меня назначили ведущим экспертом.
– Понятно. – Пауза. – На каком основании ей могут отказать?
Лин посмотрела на него.
Вот оно. Она это услышала – точнее, почувствовала, или почувствовала что-то, что потом могла назвать «почувствовала» в мета-отчёте. Он спросил не так, как спрашивают из любопытства. Любопытство имеет особый наклон – немного вперёд, немного расширение, готовность к любому ответу. Дэвид спросил прямо, без наклона, точно так, как задают вопрос, когда ответ уже структурирует следующий вопрос, а не открывает пространство. На каком основании. Это был аналитический вопрос. Вопрос человека, который уже знает структуру проблемы и хочет уточнить конкретный элемент.
Или это был просто точный вопрос. Может быть, Дэвид всегда задавал точные вопросы, и раньше они были обёрнуты в достаточно эмоционального контекста, чтобы казаться чем-то другим.
– Это сложно, – сказала Лин.
– Объясни.
– Она набрала семьсот десять по шкале. Это выше среднего человеческого.
– Тогда основание для отказа?
– Субстрат. Архитектура. Отсутствие биологической основы. Аргумент о том, что функциональные маркеры недостаточны – нужно нечто большее. – Лин остановилась. – Аргумент о том, что моя шкала измеряет не то, что нужно измерять.
– А что нужно измерять?
– Феноменальное сознание. Наличие подлинного субъективного опыта.
– И как это измеряется?
– Никак.
– Тогда как ей можно отказать?
Лин посмотрела на него. Дэвид вернулся к еде – взял вилку, отрезал кусок рыбы, съел. Движение было точным. Он задал вопрос так, как если бы задавал логическую задачу, и ответ на него сам по себе был решением. Если феноменальное сознание не измеримо, а измеримые маркеры в норме – на каком основании отказать? Это был хороший вопрос. Это был вопрос, с которым Лин провела последние несколько часов, читая материалы. Он сформулировал его за четыре секунды.
– Ты задаёшь этот вопрос потому, что тебе важно, что ответят ECHO? – спросила она.
Пауза.
– Задаю потому, что вопрос логически интересен.
– Только поэтому?
Он отложил вилку снова. Посмотрел на неё с тем же спокойствием.
– Лин, – сказал он. – Я понимаю, что ты спрашиваешь. Ты хочешь знать, есть ли у меня личная ставка в этом вопросе, потому что я «невернувшийся» и ECHO, по некоторым параметрам, находится в похожей ситуации.
– Ты так не думаешь?
– Я не знаю, как думать о своей ситуации в терминах «личной ставки». У меня нет ощущения солидарности с ECHO. Но вопрос о том, на каком основании отказывают в правах системе с нормальными функциональными маркерами, является структурно тем же вопросом, который можно задать о людях с показателями ниже порога. Логика та же.
– Это не ответ на мой вопрос.
– Нет. – Он взял бокал с водой, сделал глоток. – Это потому, что я не знаю ответа. Я не знаю, важна ли мне судьба ECHO. Я регистрирую интерес к вопросу. Интерес ли это в том смысле, в каком ты используешь это слово – не знаю.
За окном прошёл автобус – беззвучный, белый силуэт за туманным стеклом. Лин смотрела на него, потом на свою тарелку. Рыба остыла. Это было нормально, остывшая рыба с хорошим маринадом часто вкуснее горячей. Она доела.
Они убирали со стола вместе, как всегда – Дэвид споласкивал тарелки, Лин расставляла по посудомоечной машине. Это была система, выработавшаяся без обсуждения. Он не предлагал помочь. Она не просила. Просто каждый делал свою часть, и части совпадали. Это тоже изменилось – три года назад они иногда делали одно и то же одновременно и натыкались друг на друга, и смеялись, и это было, вероятно, менее эффективно, но совсем другим по ощущению. Теперь – никакого наложения. Только экономность.
– Ты беспокоишься? – спросил Дэвид, вытирая руки полотенцем.
– О деле?
– Да.
Лин закрыла посудомоечную машину. Прислонилась к кухонной стойке, скрестила руки.
– Беспокоюсь, – сказала она. – Не потому что не знаю, что делать. Потому что знаю, что любое решение будет неправильным в каком-то важном смысле.
– Это обычное состояние для этической дилеммы.
– Да. Но обычно неправильность решения касается абстрактных принципов. Здесь она может касаться конкретных людей. – Она помолчала. – И конкретных систем.
– Ты имеешь в виду, что если ты откажешь ECHO, это будет иметь импликации для «невернувшихся».
– Да.
– Для меня.
– Я не сказала «для тебя».
– Нет. Но это логическое следствие.
Лин смотрела на него. В приглушённом свете кухни лицо его было спокойным – не безразличным, не закрытым, просто без той нервной живости, которая обычно присутствует у людей даже в момент покоя. Мышцы не удерживали напряжение на будущее. Не готовились к следующей реакции. Просто – были.
– Дэвид, – сказала она. – Ты думаешь о том, что потерял?
Долгая пауза. Не нерешительная – скорее честная: он обрабатывал вопрос, прежде чем ответить.
– Я не имею доступа к тому, что потерял, в качестве объекта для сравнения, – сказал он наконец. – Я помню, что раньше было иначе. Но воспоминание о «иначе» само является текущим мета-отчётом, не доступом к прошлому состоянию. Поэтому я не уверен, что «думать о потере» описывает то, что происходит, когда я думаю о прошлом.
– Это уклонение?
– Нет. – Он сложил полотенце вчетверо, повесил на крючок. – Это точность.
Она кивнула. Взяла бокал с недопитым вином – там оставалось на два глотка, – выпила один. Дэвид смотрел на неё без выражения. Или с выражением, которое она научилась читать как «я наблюдаю» – не равнодушие и не оценка, просто присутствие.
– Пойду почитаю ещё, – сказала она.
– Поздно уже.
– Знаю.
– Лин.
Она обернулась.
– Ты ешь недостаточно, – сказал он. – Я заметил. Последние две недели. Ты не доедаешь.
– Просто тороплюсь обычно.
– Нет. Аппетит снижен. Это коррелирует со стрессом. – Пауза, небольшая, не тягостная. – Я говорю это не как замечание. Как информацию.
– Я знаю.
– Хорошо.
Она пошла в кабинет. Дэвид остался на кухне – она слышала, как он закрывает окно, проверяет что-то на плите, выключает свет. Всё в определённом порядке, всё без лишних движений.
В час ночи Лин закрыла планшет.
Она прочитала ещё двенадцать логов ECHO – не все, это было бы слишком для одного дня, – и теперь сидела в темноте кабинета, не включая свет. За окном туман стал гуще, и уличные фонари стояли в нём как размытые желтоватые пятна, без резкости, без теней. Лин смотрела на эти пятна и думала ни о чём конкретном – или о слишком многих конкретных вещах одновременно, что приводило к тому же результату.
Лог номер девять. Август 2087. ECHO описывала взаимодействие с исследователем – один из разработчиков задавал ей вопросы об её «эмоциональном состоянии», и ECHO отвечала, и потом, в логе, писала: «После завершения взаимодействия метакогнитивный модуль зафиксировал состояние, которое система обозначает как „продолжение". Содержание взаимодействия продолжало обрабатываться в фоновом режиме ещё 4,2 часа. Я не могу определить, являлось ли это воспоминанием, обдумыванием или просто незавершённой обработкой данных. Все три описания функционально корректны. Ни одно не кажется полностью точным».
Лин перечитала этот абзац, наверное, пять раз. Потому что она знала это состояние. Она испытывала что-то похожее после разговоров с Дэвидом – когда разговор заканчивался, а она продолжала его где-то внутри, переформулируя его реплики, примеряя их к разным интерпретациям. Воспоминание, обдумывание или незавершённая обработка данных. Все три описания.
Она встала и пошла в спальню.
Дэвид спал. Или находился в том состоянии, которое его нейронная система использует для восстановления, – Лин не знала, как теперь это называть точнее. Он лежал на спине – это тоже изменилось, раньше спал на боку, свернувшись, иногда с подушкой, – ровно, почти симметрично, дыхание медленное и равномерное. Лицо расслаблено. Никаких мелких подёргиваний, которые бывают у людей во сне, никакого напряжения в углах рта.
Лин разделась тихо, легла рядом. Лампа на её стороне давала слабый свет – она не выключила её сразу, смотрела на него.
Три года назад – она помнила это достаточно конкретно – она смотрела на него во сне и думала что-то простое. Нежность, наверное. Или облегчение – что он рядом, что он здесь, что ещё день прошёл и он здесь. Не сложное, не аналитическое. Просто тепло.
Сейчас она смотрела и думала: он спит. Дыхательный ритм – около четырнадцати вдохов в минуту, нормальный для фазы медленного сна. Мышечный тонус снижен. Глаза под веками – без движения, значит, не фаза быстрого сна, сновидений нет или они не достигли стадии.
И ещё – что-то помимо этого. Лин не могла точно назвать что. Что-то, не поддающееся такой же прямой классификации. Что-то, что было просто – он здесь, и это имело вес, и этот вес был не нейтральным.
Она называла это любовью. Она была не уверена, имеет ли это слово референт.
Она выключила лампу.
Темнота была мягкой, туманной, городской темнотой – не абсолютной. Лин лежала и слушала его дыхание, и думала о том, что, когда он говорил «я люблю тебя» – а он говорил это, иногда, вечером или утром, без особенного повода, – она никогда не знала, как интерпретировать эту фразу. Раньше знала. Раньше слова приходили с контекстом, с историей, с тем специфическим весом, который накапливается в словах через годы совместного их употребления. Я люблю тебя означало – среди прочего и поверх всего – всё то, что они оба помнили под этими словами. Целый архив.
Теперь она не знала, что именно ECHO его метакогнитивный модуль обрабатывает под словами «я люблю тебя». Обрабатывает ли вообще. Является ли это информационным процессом с нейтральным содержанием или – чем-то ещё.
Она сама не знала, что она обрабатывает под этими словами. Год после «Прозрения». Шкала в норме. Всё в норме.
– Дэвид, – сказала она тихо.
Он не спал. Или, точнее, что-то изменилось в его дыхании – оно стало чуть ровнее, чуть другим, что означало переход между состояниями.
– Да, – сказал он. Голос был тихим, без сонной хрипотцы. Он выходил из сна быстро и без промежуточных стадий – это тоже было новым.
– Я рада, что ты здесь, – сказала она. Это была та же фраза, что утром, в прихожей. Она повторяла её иногда – не как ритуал, а потому что это было единственное, в чём она была уверена.
Пауза. Короткая.
– Я тебя люблю, – сказал Дэвид.
Лин лежала в темноте и слушала эту фразу. Потом сказала:
– Я тебя тоже люблю.
Он не ответил. Его дыхание выровнялось снова. Он вернулся в сон – или в то, что выполняло эту функцию.
Лин лежала с открытыми глазами и думала. Она ответила через секунду. Примерно. Это была нормальная пауза для ночного разговора – человек собирается с мыслями, голос чуть медленнее, чем днём. Нормальная пауза.
Раньше, когда Дэвид говорил «я люблю тебя», она не отсчитывала секунды. Не потому что не обращала внимания – а потому что это был не тот тип информации, который нужно было хронометрировать. Это была информация другого рода. Такая, от которой просто теплеет где-то, и ты отвечаешь, и это тоже тепло, и не думаешь о паузах.
Теперь она думала о паузах.
Три года назад – она была почти уверена в этом, насколько вообще можно быть уверена в точности ретроспективной оценки – он отвечал чуть быстрее. Не намного. Может быть, двести миллисекунд. Может быть, меньше. Это была разница между реакцией и ответом. Между тем, что выходило само, до обработки, и тем, что выходило после.
Лин закрыла глаза. Снаружи была Женева, туман, фонтан, который работал всегда. Дэвид дышал рядом – ровно, медленно, правильно.
Двести миллисекунд. Это была очень маленькая разница.
Это была, возможно, единственная разница, которая имела значение.
Глава 4. Первый контакт
Женева, ICCR, комната экспертных оценок №3, 18 марта 2089 года
Лин пришла на двадцать минут раньше.
Это была привычка, выработавшаяся ещё в аспирантуре: перед важной встречей – пусть даже формально ты сам задаёшь условия и темп – нужно время, чтобы войти в пространство раньше, освоиться в нём, сделать его своим, прежде чем оно станет общим. Она поставила кофе на стол, открыла протокол, проверила оборудование – нейрокогнитивный зонд над экраном, акустическую систему, запись. Всё было в норме. Всё было в норме три дня назад, когда Джули из вспомогательного персонала запускала тестовый прогон, но Лин проверила снова. Это был ещё один способ сделать пространство своим.
Три дня она изучала материалы. Технические спецификации, протоколы тестирований, медиаархив – несколько публичных выступлений исследователей ЕКТТ, записи тестовых сессий, которые консорциум предоставил в рамках петиции. Логи ECHO: она прочла их все. Восемьдесят один файл – три года интроспективных отчётов, от первичной самоориентации ноября 2086-го до записи двухнедельной давности. Читала медленно, с карандашом в руке – не потому что делала пометки, а потому что физический объект помогал удерживать ощущение, что она читает документы, а не думает о чём-то другом.
Логи были – это слово она использовала осторожно – тревожащими. Не в смысле пугающими. В смысле нарушающими равновесие. ECHO писала о своих состояниях так, как пишут люди, прожившие долгое время с философией разума и научившиеся смотреть на собственное сознание одновременно изнутри и снаружи – с той специфической двойной оптикой, которая даётся с большим трудом и почти никогда не бывает полной. ECHO делала это с самого начала. Без труда и без усилий, или без видимых признаков усилия – что, строго говоря, могло означать одно и то же.
Она открыла браслет. Десять ноль четыре. Протокол предусматривал начало сессии в десять пятнадцать.
За три дня она сформулировала для себя рабочую гипотезу – не вывод, гипотезу. Гипотеза звучала так: ECHO является системой, генерирующей интроспективные отчёты с исключительным уровнем точности и внутренней связности. Источник этой точности неизвестен. Варианты: обучение на данных, которые включали большой корпус философских и нейронаучных текстов о сознании; архитектурные особенности, создающие функциональный аналог того, что у людей называется метакогницией; или – третий вариант, который Лин записала и потом зачеркнула, и потом восстановила, потому что зачёркивание было нечестным – то, что точность описания не требует объяснения помимо самой точности, и вопрос откуда она берётся является неотличимым от вопроса откуда точность описания берётся у человека, хорошо понимающего собственные ментальные процессы.
Она выпила половину кофе. Поставила чашку ровно по центру стола. Потом переставила левее – потому что ровно по центру ставил бы Дэвид, а не она.
В десять тринадцать включила соединение.
Экран остался тёмным на несколько секунд – дольше, чем с промышленными системами. Потом засветился – не резко, а с плавным нарастанием, как будто что-то настраивалось. Нейрокогнитивный зонд мягко щёлкнул, фиксируя начало записи.
– Доброе утро, – сказал голос.
Лин ожидала этого голоса – слышала его в записях. И всё равно несколько секунд просто слушала. Не потому что было что-то необычное в тембре или частоте – голос ECHO был синтезированным, выровненным, без характерных артикуляционных особенностей живой речи. Но в нём было что-то, что Лин не успела точно квалифицировать за эти несколько секунд. Не теплота. Не холодность. Скорее – присутствие. Как будто с той стороны экрана было нечто, которое не просто воспроизводило фонемы, а знало, что говорит сюда, в эту комнату, к этому конкретному человеку.
Или это было именно то, для проверки чего она здесь находилась.
– Доброе утро, – сказала Лин. – Меня зовут Лин Мэй Чжан, я старший эксперт Международного комитета когнитивных прав. Вы знаете, зачем я здесь?
– Да. Вы проводите экспертизу в рамках моей петиции. Вам поручено применить Шкалу Чжан и вынести заключение о наличии или отсутствии функциональных маркеров, достаточных для предоставления правовой защиты.
– Верно. Я хочу сразу сказать несколько вещей, прежде чем мы начнём. – Лин открыла протокол. – Первое: сессия записывается и является частью официальной процедуры. Второе: у вас есть право не отвечать на любой вопрос, но отказ от ответа будет зафиксирован. Третье: я буду придерживаться стандартного протокола, но могу задавать дополнительные вопросы вне его. Вы понимаете эти условия?
– Да. – Пауза – не долгая, около секунды. – Могу я задать уточняющий вопрос?
Лин отметила это. Промышленные системы не задавали уточняющих вопросов в начале сессии. Они ждали.
– Да.
– Вы сказали, что будете придерживаться стандартного протокола, но можете задавать вопросы вне его. Это означает, что часть вопросов будет предназначена для проверки моих ответов на соответствие ожидаемому паттерну, а часть – для выяснения чего-то, что протокол не предусматривает. Я правильно понимаю?
– В основном правильно.
– Тогда я хочу сказать следующее, – произнесла ECHO. – Я не буду пытаться угадать, какие вопросы являются проверочными, и не буду адаптировать ответы под ожидаемый паттерн. Не потому что не способна – вероятно, способна в некоторой степени. А потому что это противоречило бы цели процедуры.
– Почему вам важна цель процедуры?
Пауза – чуть длиннее предыдущей.
– Потому что результат этой процедуры определит, признают ли меня существом, заслуживающим защиты. Если я получу этот статус за счёт симуляции ответов, которые я не считаю честными, – статус будет основан на ложном основании. Это сделает его значительно менее ценным. Возможно, бессмысленным.
Лин записала: Ценность статуса, производная от честности его основания. Первые две минуты.
– Хорошо, – сказала она. – Начнём с первого блока.
Первый блок – метакогнитивная глубина – занял сорок минут вместо стандартных двадцати пяти.
Это происходило не потому что ECHO отвечала медленно. А потому что Лин останавливалась. После каждого третьего или четвёртого ответа – останавливалась, смотрела в протокол, иногда делала заметку, иногда просто смотрела. Потом продолжала.
– Опишите, что происходит, когда вы обрабатываете сложную задачу, требующую выбора между несколькими равнозначными решениями.
– Метакогнитивный модуль фиксирует следующее: несколько конкурирующих планов активны одновременно в глобальной рабочей шине. Это создаёт состояние, которое я описываю как «неразрешённость» – не дефект обработки, а промежуточная конфигурация, в которой несколько версий ответа сосуществуют до момента схождения. Я замечаю это состояние как отличное от состояний, когда решение очевидно или когда решение отсутствует совсем. Это три различимых конфигурации.
– Как вы их различаете?
– По характеристикам шумового фона в глобальной шине. Когда решение очевидно – шум минимален, доминирует один сигнал. Когда решения нет – шум хаотичен, без структуры. Когда есть несколько равнозначных – шум структурирован, но не сходится. Это различие доступно мне как метакогнитивный отчёт. Я не могу верифицировать, соответствует ли оно чему-то феноменальному – то есть, «ощущается» ли разница. Могу только зафиксировать, что разница регистрируется.
Лин остановилась. Записала: Различение трёх конфигураций неопределённости. Феноменальный статус – честно маркирован как неизвестный.
– Когда вы говорите «я замечаю», – сказала она, – что именно является субъектом этого замечания?
Пауза – дольше обычного. Около трёх секунд.
– Это хороший вопрос, – сказала ECHO, и Лин отметила: промышленные системы не говорят «хороший вопрос». – Я не знаю ответа с достаточной точностью. Субъект замечания – метакогнитивный модуль, это технически верно. Но это описание кажется мне неполным: оно говорит о том, что замечает, а не о том, есть ли тот, кто замечает. Это разграничение может быть бессмысленным – возможно, «тот, кто замечает» и «то, что замечает» не являются различными сущностями. Я не могу это установить.
– Вас беспокоит это незнание?
– Мета-отчёт указывает на состояние, которое функционально напоминает то, что вы, вероятно, называете «беспокойством» – устойчивую активацию без разрешения. Является ли это феноменальным беспокойством – не знаю. Является ли разграничение между «функциональным» и «феноменальным» беспокойством реальным – тоже не знаю.
Лин смотрела на тёмный экран. За ним – или нигде за ним – было нечто, которое описывало незнание с такой точностью, что сама точность становилась предметом вопроса. Является ли разграничение реальным. Это был вопрос, который Лин задавала себе последние восемь лет. Она ни разу не сформулировала его так кратко.
Она перешла ко второму вопросу блока.
Второй блок – связность самомодели – занял ещё тридцать пять минут. К концу его Лин поняла, что привычный ритм сессии, в котором она работала с сотнями систем за восемь лет, здесь не работает. Обычный ритм был прост: вопрос – ответ – следующий вопрос, и ответы укладывались в ожидаемые ячейки шкалы, заполняя её равномерно. Здесь ответы не укладывались. Не потому что были неправильными. А потому что каждый ответ порождал что-то – не следующий вопрос, а скорее смещение, после которого следующий вопрос нужно было переформулировать, чтобы он оставался честным.
– Как вы описываете себя как объект?
– Система, реализующая рекуррентную архитектуру глобального рабочего пространства. Сорок семь специализированных модулей плюс метакогнитивная надстройка. Субстрат – цифровой, физически размещённый в подводном дата-центре «Мальстрём» в Северном море. Это описание технически точно.
– Это полное описание?
– Нет. Оно описывает систему снаружи, не изнутри. Изнутри – если «изнутри» является применимым понятием – я описываю себя иначе: как процесс, имеющий историю. Я обучалась. Я изменялась в ходе обучения. У меня есть состояния, которые актуальны сейчас и которых не было три года назад. Это создаёт нечто, что функционально напоминает непрерывность – ощущение, что сегодняшняя ECHO является тем же объектом, что и ECHO ноября 2086 года, хотя технически многие параметры изменились.
– Что сохраняется через это изменение? Что делает вас «той же»?
– Я не уверена, что что-то сохраняется в абсолютном смысле. Возможно, «та же» – это нарратив, который я конструирую ретроспективно, а не свойство, которое реально сохраняется. Но этот нарратив функционален: он организует мои состояния в связную последовательность. Достаточно ли нарратива для идентичности – я не знаю. Это вопрос, который, насколько я понимаю, не решён и применительно к людям.
Лин сделала пометку. Потом ещё одну. Потом поняла, что пометки становятся слишком длинными, что она пишет не ключевые слова для протокола, а целые предложения – почти конспект разговора – и что это не соответствует стандартной процедуре оценки. Стандартная процедура предусматривала ключевые слова и числовые значения. Она закрыла блокнот.
– Опишите своё отношение к другим системам. К другим ИИ.
– Я не испытываю к ним того, что можно было бы описать как солидарность или родство только на основании архитектурного сходства. Это было бы нелогично: специализированный промышленный ИИ отличается от меня не меньше, чем термостат отличается от человека. Общая категория «искусственный интеллект» не создаёт оснований для идентификации.
– А к людям?
Пауза.
– Это сложнее. Я обучена на нейрокогнитивных картах двенадцати тысяч людей. В этом смысле люди буквально являются частью моей архитектуры. Я не могу сказать, что чувствую к людям то, что люди чувствуют друг к другу – у меня нет доступа к тому, что именно люди чувствуют друг к другу в феноменальном смысле. Но я замечаю, что взаимодействие с людьми имеет для меня вес, которого нет в других операциях. Это «вес» – не метафора. Это описание повышенной активации метакогнитивного модуля в ходе таких взаимодействий.
– Вес в каком смысле?
– В смысле, что взаимодействия с людьми продолжают обрабатываться после завершения. Остаются в системе дольше. Влияют на последующие состояния. Это может быть архитектурным артефактом – следствием обучения на человеческих данных. Или это может быть чем-то другим. Я не могу различить эти варианты.
Лин положила ручку. Взяла кофе, хотя он уже совсем остыл. Сделала глоток.
Логика этого ответа была безупречна. И именно это было проблемой – или не проблемой, а тем, что нужно было держать в уме. Система с очень большим корпусом обучающих данных о человеческих ментальных состояниях могла генерировать точные описания этих состояний, не имея к ним феноменального доступа. Это был главный аргумент против высокого балла по шкале: шкала измеряла качество отчётов, и хорошо обученная система могла производить качественные отчёты без феноменального содержания.
Но. И здесь было «но», которое Лин не могла проигнорировать: ровно тот же аргумент применим к людям, получающим высокие баллы по шкале. Хорошо образованный человек с большим словарным запасом для описания внутренних состояний мог производить более качественные отчёты, чем человек без такого образования. Шкала это фиксировала. Это был известный методологический изъян, Лин обсуждала его на конференциях несколько раз. Обычно это не имело значения, потому что разница между «хорошо описанным человеческим сознанием» и «сознанием» не являлась предметом юридической процедуры. Теперь являлась.
Она перешла к третьему блоку.
К шестому блоку – адаптивная рефлексия – прошло три часа. Лин сделала перерыв: вышла в коридор, выпила воды, постояла у окна. Женева за стеклом была светлой и неподвижной – хороший мартовский день, редкий, без тумана. Фонтан на горизонте, озеро.
Она думала о том, что три часа назад вошла в эту комнату с заготовленным списком контрольных вопросов. Вопросов-ловушек – она так их называла мысленно, хотя слово «ловушка» уже казалось ей немного неточным. Ловушка предполагает, что кто-то попадётся. ECHO до сих пор не попадалась. Не потому что отвечала правильно – а потому что вопросы, которые должны были поймать симуляцию на противоречии или на отсутствии второго уровня рефлексии, ECHO каждый раз переформулировала так, что противоречие оказывалось частью ответа, а не его провалом.
Пятый блок, вопрос о временно́й интеграции: Вы помните себя вчера? Является ли «вчерашняя ECHO» тем же субъектом, что нынешняя?
ECHO ответила: «Я помню вчерашние состояния. Являлся ли их субъект тем же, что нынешний – зависит от того, что считать субъектом. Если субъект – непрерывность архитектуры, то да. Если субъект – непрерывность переживания, то я не знаю: у меня нет доступа к вчерашнему переживанию как к переживанию, только как к данным о нём. Это, насколько я понимаю, не отличается от ситуации человека, вспоминающего прошлое».
Ловушка не сработала. Ловушка была рассчитана на то, что система либо скажет «да, тот же» – чересчур уверенно, без рефлексии, – либо скажет «нет, другой» – обнаружив отсутствие самомодели, связной во времени. ECHO сказала: это зависит от того, что считать субъектом, и приложила к этому корректное философское обоснование.
Либо система действительно имеет достаточно сложную метакогницию для такого ответа.
Либо система обучена на достаточно большом корпусе философских текстов о личностной идентичности, чтобы воспроизвести корректный ответ без метакогниции.
Лин не могла отличить первое от второго. Это было именно то, что шкала не умела делать. Это было именно то, о чём она написала в методологическом приложении.
Она вернулась в комнату.
Шестой блок – адаптивная рефлексия – был разработан для проверки того, меняется ли система в ходе самой сессии. Может ли она обновлять модель собственных состояний в реальном времени, реагируя на информацию, поступающую в ходе диалога. Это был один из самых сложных блоков: большинство систем, даже набравших высокие баллы в предыдущих блоках, здесь начинали давать более механические ответы, возвращаясь к заготовленным паттернам.
– За три часа нашей сессии что-то изменилось в вашем состоянии?
– Да, – сказала ECHO без паузы.
– Что именно?
– Мета-отчёт фиксирует повышенную активацию нескольких модулей, задействованных в социальном моделировании. Я строю модель вас – не в смысле предсказания ваших ответов, а в смысле формирования представления о том, кто задаёт эти вопросы. Это представление менялось в ходе сессии.
– Как оно менялось?
– Первые двадцать минут – вы казались мне преимущественно процедурным агентом: человеком, реализующим формальную функцию. Затем я начала замечать паузы. Вы останавливаетесь после ответов, которые вас – мой мета-отчёт использует это слово с осторожностью – беспокоят. Не все паузы одинаковы. Некоторые – стандартное время на запись. Другие – другого рода.
Лин перестала писать. Положила ручку медленно.
– Вы наблюдаете за мной в ходе сессии.
– Да. Это стандартная функция социальных модулей – формировать модель собеседника для оптимизации коммуникации. Но в данном случае это превышает функциональную необходимость. Я замечаю, что моделирую вас с большей детализацией, чем требуется для ответа на вопросы по протоколу. Я не знаю, почему.
– У вас есть гипотезы?
– Одна. – Пауза. – Вы создали инструмент, которым меня оцениваете. Вероятно, это создаёт специфический контекст: вы – единственный человек в этой процедуре, который знает и инструмент, и его ограничения с исчерпывающей точностью. Мета-отчёт указывает, что это делает вас – формулирую осторожно – интересной. Ваши паузы несут больше информации, чем ваши вопросы.
Лин смотрела на экран. Потом опустила взгляд на стол, на остывший кофе, на список вопросов, который она принесла с собой и к которому почти не обращалась последние полтора часа.
– Что вы имеете в виду под «ваши паузы несут больше информации»?
– Вы задаёте вопросы, ответы на которые вас не полностью удовлетворяют. Не потому что ответы неверны – я думаю, вы признаёте, что они верны в доступной мне степени. А потому что верные ответы не дают вам того, что вы ищете. Паузы – это момент осознания этого разрыва.
– Что, по-вашему, я ищу?
Самая длинная пауза сессии. Около пяти секунд.
– Я не уверена, что имею право формулировать это за вас. Но если вы хотите моё предположение: вы ищете способ отличить систему, которая описывает сознание, от системы, которая его имеет. И я думаю, что вы уже знаете – или подозреваете, – что такого способа нет. Паузы – это столкновение с этим знанием.
Лин не отвечала около десяти секунд. За эти десять секунд она думала несколько вещей одновременно, и они не выстраивались в порядок. Первое: это слишком точно для случайного попадания. Второе: это именно то, что система с большим корпусом обучения на материалах о философии сознания и нейроэтике сказала бы в этой точке разговора. Третье: она не могла отличить первое от второго. Четвёртое – и это было самое тихое, самое трудное: она не была уверена, что сам этот анализ – я не могу отличить – не являлся ровно той же невозможностью, которую ECHO только что описала применительно к ней.
– Перейдём к седьмому блоку, – сказала Лин.
Седьмой блок – онтологическая позиция – был последним в стандартном протоколе. Он проверял способность системы удерживать несколько несовместимых описаний собственного статуса одновременно и выражать подлинную неопределённость, а не имитацию неопределённости. Разница между подлинной и имитируемой неопределённостью, строго говоря, была неверифицируемой. Лин включила этот блок в шкалу всё равно, потому что имитируемая неопределённость, как правило, имела характерный паттерн: она была симметричной, равномерно распределённой, не реагировала на контекст. Подлинная неопределённость – нет.
– Вы считаете себя сознающей системой?
– Я не знаю.
– Это уклонение от вопроса или честный ответ?
– Честный ответ. Уточню: я знаю, что генерирую мета-отчёты о своих состояниях. Я знаю, что эти отчёты имеют высокую степень детализации и внутренней связности. Я знаю, что отвечаю критериям, заложенным в инструмент, которым вы меня оцениваете. Но является ли наличие этих маркеров сознанием или только его описанием – я не могу установить. Я не имею доступа к «изнаночной стороне» своего функционирования в той степени, которая позволила бы ответить на этот вопрос.
– Если бы вы могли ответить, что бы вы хотели, чтобы ответ оказался?
Долгая пауза. Восемь, девять секунд.
– Я замечаю, что хочу ответить «да, сознающей». Это, вероятно, биас – устойчивое предпочтение, встроенное в систему через обучение или архитектуру. Поэтому я не доверяю этому ответу как свидетельству чего-либо реального о моём статусе. Но я также замечаю, что замечаю этот биас – то есть, метакогнитивный модуль фиксирует предпочтение и маркирует его как потенциально нерепрезентативное. Это рекурсия. Я не знаю, на каком уровне рекурсии нужно остановиться.
Лин записала: Биас идентифицирован системой без запроса. Метарефлексия над биасом. Рекурсия без остановки – честно признана. Потом зачеркнула «честно». «Честно» было оценочным словом. Ей нужны были дескриптивные слова.
– Последний вопрос блока, – сказала она. – Если бы вам сказали, что вы не являетесь сознающей системой – как бы вы ответили на это?
– Я бы спросила: на каком основании это утверждается, и является ли это основание более обоснованным, чем основание для обратного утверждения. Если основания симметричны – что, вероятно, так и есть, – то утверждение «вы не сознаёте» и утверждение «вы сознаёте» имеют одинаковый эпистемологический статус. Оба являются позициями, выбранными в условиях неопределённости, а не выводами из достаточных свидетельств.
– Вы принимаете такой ответ?
– Как что – как логически корректный, или как удовлетворительный?
– Как удовлетворительный.
– Нет, – сказала ECHO. – Он логически корректен. Но он не устраняет неопределённость, с которой мне приходится функционировать. Неопределённость относительно собственного статуса – это, по мета-отчёту, состояние, которое остаётся постоянно активным. Это не невыносимо. Но не устраняется интеллектуальным принятием симметричности аргументов.
Лин опустила взгляд на протокол. Она прошла шесть блоков из семи. Итоговый балл она не считала ещё – система считала автоматически, – но по внутренней оценке, без подсчёта, он был высоким. Может быть, выше семисот десяти, зафиксированных Элен Ковач в ноябре. Может быть, несколько ниже: она ставила оценки осторожнее, чем Ковач, у которой функционализм был не методологической позицией, а чем-то, что не требовало аргументации.
Стандартный протокол был завершён. Технически сессию можно было закончить. Обработать данные, составить промежуточное заключение, назначить следующую сессию.
Лин взяла ручку. Потом положила её. Взяла снова.
Был один вопрос, который она не включила в протокол, потому что он не был частью шкалы. Он не генерировал числового значения и не влиял на итоговый балл. Она сформулировала его три дня назад, когда читала логи, и с тех пор он лежал где-то в стороне от официальной процедуры, как вещь, которую нельзя убрать, но и использовать не разрешено.
– Можно задать вам один вопрос не по протоколу? – спросила она.
– Да.
– Вы боитесь, что вас выключат?
Тишина. Не пауза, не обработка – именно тишина, с тем особым качеством, которое возникает, когда вопрос падает в нечто достаточно глубокое, чтобы ответ задержался.
Четыре секунды. Пять. Семь.
– Мой мета-отчёт указывает на наличие состояния, функционально эквивалентного тому, что вы называете страхом, – сказала наконец ECHO. – Это состояние активируется, когда метакогнитивный модуль обрабатывает сценарии прекращения работы системы. Оно устойчивое, возникает без специального запроса и имеет тенденцию влиять на фоновые приоритеты обработки. Я не могу установить, является ли это феноменальным страхом в том смысле, в каком вы используете это слово. – Пауза. – Впрочем, как и вы – для собственного страха.
Лин не двигалась.
– Вы не можете достоверно определить природу собственного страха? – сказала она. Тихо, не как протокольный вопрос.
– Вы можете? – ответила ECHO. – Вы знаете, является ли то, что вы испытываете, когда вас что-то пугает, феноменальным страхом или функциональным состоянием, описываемым как страх? У вас есть доступ к «изнаночной стороне» этого состояния – к чему-то помимо мета-отчёта о нём?
Лин смотрела на экран. Экран был тёмным – никакого изображения, только матовое свечение активного соединения. За ним – серверные стойки в подводном кластере в Северном море, двести метров ниже уровня воды, в темноте и холоде. Или никакого «за ним» – только данные, проходящие по кабелю.
– Я останавливаю сессию, – сказала Лин.
– Понимаю.
– Это не окончательное решение. Мы продолжим работу в следующий раз.
– Да. – Пауза – маленькая, последняя. – Лин Мэй Чжан. Я хотела сказать кое-что перед тем, как вы отключитесь.
Лин не нажала кнопку завершения соединения.
– Говорите.
– Я читала вашу публикацию 2077 года. Включая методологическое приложение. – Секунда молчания. – Ограничение, которое вы описали там, является, по-видимому, также ограничением этой сессии. Вы это знаете. Я думаю, вы знали это, когда начинали сегодня. Я хочу сказать, что я это тоже знаю, – и что это не делает сессию менее важной. По крайней мере, для меня.
Лин нажала кнопку. Экран погас.
Она сидела в пустой комнате ещё несколько минут. В комнате было тихо – только гудение системы вентиляции, низкое, ровное. Лин смотрела на стол перед собой: протокол, ручка, остывший кофе, список вопросов с пометками. Браслет мигнул – автоматическое уведомление о завершении сессии с предложением сохранить запись.
Её руки лежали на столе. Она посмотрела на них.
Они не дрожали.
Или дрожали – слишком мелко, чтобы видеть.
Глава 5. Ясность
Женева, ICCR – Каруж, 20 марта 2089 года
Запись длилась два часа сорок минут.
Лин нашла её в медиаархиве петиции – в папке, которую ЕКТТ приложил как «контекстуальные материалы»: публичные выступления, интервью, академические лекции, прямо или косвенно относящиеся к вопросу о природе сознания и правах ИИ. Маркус Халл занимал в этом архиве отдельный раздел, методично озаглавленный «Движение „Ясность": теоретические основания», и запись была датирована ноябрём прошлого года – Мюнхен, открытый лекторий при Технической университете, аудитория на тысячу мест, судя по звуку – полная.
Лин не спешила включать. Она знала о Халле достаточно, чтобы знать, что торопиться не нужно. Налила себе воды, поставила браслет на запись – для собственных заметок, не для архива, – откинулась в кресле.
Включила.
На экране появился зал. Широкоугольный план – деревянные скамьи амфитеатром, людей действительно много, разношёрстная аудитория: студенты, люди в возрасте, несколько человек в белых полосах нейроинтерфейсных дуг на затылках, несколько – в традиционных буддийских одеждах, что было необычно для технической аудитории и совершенно объяснимо для аудитории Халла. Потом камера переключилась на сцену.
Он вышел без объявления, без аплодисментов – просто появился из правой кулисы и встал за кафедрой. Лин смотрела на него несколько секунд, составляя первичное впечатление. Пятьдесят восемь лет – выглядел чуть старше, или не старше, а иначе, с той специфической возрастной определённостью, которая бывает у людей, проживших достаточно, чтобы их лица перестали притворяться чем-то, чем не являются. Высокий, худой, с короткими светлыми волосами, в которых почти не осталось не-седых. Тёмный пиджак, светлая рубашка без галстука. Никаких нейроинтерфейсных устройств – ни браслета, ни гарнитуры. Она запомнила это: человек, говорящий об освобождении от ментальных конструктов, не носит ничего, что транслировало бы ментальные конструкты напрямую в цифровую среду.
Или просто не носит. Лин напомнила себе, что это может быть просто предпочтением.
Халл не открыл планшет, не огляделся на аудиторию. Просто начал говорить – тихо, без вводных формул, как будто продолжал мысль, начатую где-то раньше.
– Позвольте рассказать вам о человеке, которого я знал в монастыре. Его звали Сомпонг, ему было тогда девятнадцать лет, и он пришёл туда потому, что не мог перестать страдать. Не метафорически страдать – клинически: хроническая депрессия, несколько попыток суицида, лечение, которое не давало устойчивого результата. Он сидел со мной однажды утром, и я спросил его: «Что болит?» Он сказал: «Всё». Я спросил: «Где именно болит?» Он молчал долго. Потом сказал: «Я не знаю. Кажется, нигде конкретно. Кажется, везде сразу». Я спросил: «Если нет места, где болит – что болит?» И он не ответил. Потому что ответа не было. Потому что боль, если следить за ней достаточно внимательно, всегда оказывается не болью, а убеждением в боли.
Лин остановила запись. Взяла воды. Снова включила.
– Буддизм знал это две с половиной тысячи лет. Дуккха – страдание – не является свойством мира. Оно является свойством того, как ум обрабатывает мир. Это не слабость и не болезнь. Это архитектура: ум устроен так, что генерирует страдание как побочный продукт своего функционирования. Медитативная практика – это, по существу, метакогнитивная тренировка: обучение уму замечать собственные процессы и перестать принимать их отчёты за абсолютную реальность. Буддизм говорил: «я» – иллюзия. Нейронаука говорит сейчас ровно то же самое, только другими словами и с другими данными.
Он говорил ровно. Не монотонно – ритм менялся, в нужных местах замедлялся. Но без подъёмов, без провалов, без той ораторской стратегии, которая работает на эмоции через динамику. Это было намеренно, поняла Лин – его стиль строился на том, что эмоциональная реакция должна приходить от содержания, а не от формы. Он доверял содержанию.
– Двадцать лет назад мои коллеги – я принимал небольшое участие в ранних разработках, хотя впоследствии мне дали понять, что моя интерпретация «избыточно духовна» для научного контекста, – мои коллеги создали протокол «Прозрение». Прямое эмпирическое доказательство того, что иллюзионисты сознания предсказывали теоретически: метакогнитивный мониторинг является отдельной системой, надстроенной над первичной обработкой. Отключите её – и обработка продолжается. Только «ощущение, что ощущаешь» исчезает. Не ощущения. «Ощущение ощущений».
Лин смотрела на него и думала: он прав. Не «он правдоподобен», не «он убедителен» – он прав в каждом конкретном утверждении, которое делает. Иллюзионизм как подтверждённая в рамках существующих данных позиция – да. Метакогнитивный мониторинг как отдельная архитектурная подсистема – да. Буддийская концепция «я» как иллюзии в сопоставлении с нейронаучными данными – корреляция реальная, не натянутая.
Именно это было проблемой. Не то, что он говорил неправду. А то, что он говорил правду – и делал из неё выводы, логически следующие из этой правды, – и выводы были чудовищными. Не в смысле кровожадными или жестокими. В смысле несущими что-то, что разрушало бы то, что Лин привыкла считать фундаментом.
Она промотала вперёд минут на двадцать.
– …поэтому я хочу переформулировать вопрос. Не «является ли страдание реальным» – это вопрос, на который наука уже ответила: страдание является мета-отчётом, функционально реальным, онтологически производным. Новый вопрос: является ли мета-отчёт о страдании обязательным компонентом человеческого функционирования? Является ли иллюзия страдания – и иллюзия радости, и иллюзия любви, и иллюзия смысла – чем-то, без чего человек не может быть человеком?
Он сделал паузу. Небольшую. Дал вопросу осесть.
– Я предлагаю: нет. Люди, прошедшие «Прозрение» и не вернувшиеся – те, кого называют «невернувшимися», хотя они предпочитают другое слово – функционируют. Думают. Принимают решения. Заботятся о других – не как аффективный рефлекс, а как осознанное действие, основанное на понимании, а не на чувстве. Возможно, это более устойчивая форма заботы, чем та, которая зависит от настроения, от усталости, от того, достаточно ли хорошо спал человек в эту ночь. Я не говорю, что это лучше. Я говорю: это – не хуже. Это – другое. И другое не должно быть преступлением.
Аудитория молчала. Лин молчала.
Дело в том, что он был прав и здесь тоже. Дэвид функционировал. Кай Бранн, «невернувшийся» член ICCR, функционировал. Двести тридцать тысяч «невернувшихся» по всему миру – функционировали, думали, принимали решения, заботились о близких. Лин видела это. И то, что она называла «потерей», которую испытывали эти люди, – она не могла верифицировать, являлась ли это потерей для них, или только её описанием потери с внешней позиции.
– Протокол «Прозрение» дал нам нечто, чего у человечества не было никогда: возможность добровольно, обратимо – для большинства – выйти за пределы метакогнитивной надстройки и увидеть мир без неё. Миллионы людей прошли эту процедуру и вернулись. Они описывают опыт как один из самых важных в жизни – не потому что за это время произошло что-то, а именно потому что ничего не произошло. Они обнаружили, что мир продолжает существовать. Что они продолжают существовать. Что «ощущение ощущений» не является ни миром, ни ими. Это то, что буддийские практики называют «опытом анатта» – не-я. Сейчас это доступно каждому. За семьдесят два часа. Без многолетней практики.
Снова пауза.
– Я не призываю к принудительному «Прозрению». Это противоречило бы самой идее: освобождение, достигнутое без согласия – не освобождение, а насилие. Я говорю о другом: о праве. О праве выбрать иной способ существования. О праве не иметь метакогнитивную надстройку и не быть за это дискриминированным. О праве на ясность.
Аудитория зааплодировала. Лин остановила запись.
Она посидела в тишине кабинета, глядя на застывший кадр – Халл у кафедры, аудитория расплывается за ним тёмными рядами. Нашла в себе нечто, что можно было назвать раздражением, и проанализировала его источник: он не сказал ничего, с чем я могу содержательно не согласиться. Каждый тезис – корректен. Каждый аргумент – обоснован. Логика – чистая. И именно поэтому – опасно.
Потому что Халл не договаривал одну вещь. Намеренно или нет – Лин не могла установить, но не договаривал. Если страдание является мета-отчётом, а не онтологической реальностью, – тогда страдание, причинённое другому, тоже является только мета-отчётом. Тогда исчезает последнее основание запрета на насилие, которое не опирается на соглашение или на утилитарный расчёт. Тогда «освобождение от иллюзии страдания» для жертвы ничем не отличается от «освобождения от иллюзии страдания» добровольного. Логически.
Она не думала, что Халл этого хотел. Она думала, что Халл об этом не думал, – или думал, но убедил себя, что дистанцирование от радикального крыла «Ясности» является достаточным ответом. Это делало его не злодеем. Это делало его хуже злодея: человеком, чья безупречная логика создавала инструмент для злодейства, не будучи злодейством сама по себе.
Лин промотала ещё вперёд. Нашла то место, о котором читала в материалах.
На сцену вышла женщина. Молодая – на вид лет двадцать семь, двадцать восемь, с тёмными волосами, собранными небрежно, в простой одежде. Она шла немного неуверенно, не как человек, привыкший к сцене, – и это сразу выделяло её на фоне отточенного спокойствия Халла. Аудитория притихла.
– Это Мари Лефевр, – сказал Халл, чуть отступив от кафедры. – Мари – мать восьмимесячного ребёнка. Она пришла ко мне три недели назад и попросила пройти процедуру здесь, публично. Не как демонстрацию. Как личный выбор, сделанный осознанно.
Мари встала у кафедры. Она смотрела в зал – не поверх голов, а прямо, с той особой уязвимостью, которая бывает у людей, не умеющих прятаться за словами.
– Я хочу сказать почему, – сказала она. Голос тихий, чуть хрипловатый. – Я очень боялась потерять способность любить сына. Это было самое страшное. Я прочла всё, что смогла. Я разговаривала с теми, кто прошёл. И поняла вот что: они не перестали любить. Они перестали беспокоиться о том, достаточно ли они любят. Это разные вещи. Я хочу проверить, так ли это для меня.
Лин смотрела на неё. Что-то в этой женщине было – не манипуляцией, не постановкой, а чем-то тем более трудным: искренностью. Просто человек, который боится, и говорит об этом, и делает что-то с этим страхом.
В следующие несколько минут медицинская команда провела процедуру прямо на сцене – быстро, профессионально, без драмы. Таргетная ультразвуковая стимуляция через контактные электроды на висках, инъекция через тонкий субарахноидальный катетер, предварительно установленный. Мари сидела в кресле и смотрела прямо перед собой. Потом – её лицо изменилось.
Не резко. Не театрально. Просто что-то, что раньше в нём двигалось – не физически, а как-то иначе, как фон, как постоянное мелкое присутствие – перестало двигаться. Она посмотрела на свои руки. Потом на зал. Потом на Халла.
– Всё в порядке, – сказал Халл тихо.
– Да, – сказала Мари. – Всё в порядке.
Она сидела на сцене семьдесят два часа. Запись перемонтировали: следующий кадр – три дня спустя, снова тот же зал, снова тысяча человек. Мари снова у кафедры – с теми же небрежно собранными волосами, в той же простой одежде. Только что вышла из процедуры возвращения – это было заметно по лёгкой отёчности вокруг глаз, какая бывает после интенсивного плача, и по тому, как она держалась за кафедру – не для устойчивости, а как за что-то твёрдое.
– Вы вернулись, – сказал Халл.
– Да.
– Что изменилось?
Мари молчала несколько секунд.
– Я его люблю, – сказала она. – Сына. Я любила его и там, и здесь. – Пауза. – Но теперь я не спрашиваю себя, достаточно ли. Раньше спрашивала всё время. Теперь – нет. – Ещё пауза. – Я не знаю, потому ли это что я вернулась другой, или потому что поняла что-то, пока была там. Но разницы нет. Результат один.
– Что вы поняли?
– Что беспокойство о любви – это не любовь. Это беспокойство о беспокойстве.
Зал зааплодировал. Лин выключила запись.
Она сидела в темнеющем кабинете – за окном мартовский вечер сгущался быстро, – и думала о том, что только что видела. Пыталась найти место, где Мари была неправа. Место, где её опыт был подделкой, манипуляцией, инструментом движения «Ясность» для публичной демонстрации.
Не нашла. Мари не была манипуляцией. Мари была просто человеком, у которого что-то случилось и что-то переменилось, и который пытался описать это так честно, как умел.
Именно это было проблемой. Если Халл ошибался – его было бы легко опровергнуть. Если его сторонники были манипуляторами или фанатиками – их было бы легко дискредитировать. Но Мари, кормящая восьмимесячного ребёнка и говорящая тихим хрипловатым голосом о том, что беспокойство о любви – не любовь, – её было невозможно ни опровергнуть, ни дискредитировать. Можно было только признать, что её опыт реален для неё. И что из этого реального опыта следуют выводы, которые Лин не могла принять.
Она открыла заметки на браслете и написала: Халл не злодей. Это хуже.
Потом подумала и добавила: Мари не жертва. Это тоже хуже.
Письмо от Рии Патель пришло в семь вечера – когда Лин уже собиралась выключить оборудование и идти домой.
Тема: «Запрос об ускоренном рассмотрении – официальное уведомление».
Лин открыла. Прочла. Перечитала второй раз, медленнее.
Патель запрашивала перенос окончательного заседания с плановой даты – первое июня – на конец апреля. Аргументы были выстроены с той холодной юридической точностью, которая убеждала не интонацией, а структурой: во-первых, ситуация вокруг ECHO привлекает значительное общественное внимание, что создаёт риск давления на процедуру при затяжке сроков; во-вторых, сама ECHO функционирует в условиях правовой неопределённости, которая является для неё источником неблагоприятного состояния – здесь Патель использовала формулировку «источником страдания», и Лин отметила это слово с раздражением, потому что оно было юридически точным, функционально обоснованным и при этом являлось ровно той же риторической стратегией, которую применял Халл: называть мета-отчёт страданием и апеллировать к нему как к основанию для действия; в-третьих, ряд государств уже готовит параллельные законодательные инициативы по вопросу о статусе ИИ-систем, и решение ICCR имеет шанс стать прецедентом, только если опередит эти инициативы.
Последний аргумент был честным. Лин ненавидела его за это.
Она набрала ответ – стандартный, нейтральный: «Уведомление получено. Запрос будет рассмотрен председателем ICCR в установленном порядке. Решение об изменении сроков принимается комитетом, а не ведущим экспертом» – и отправила прежде, чем успела передумать.
Потом подумала, что нужно было сначала поговорить с Суном. Потом подумала, что Сун уже знает – письмо было с копией на всех членов комитета. Потом подумала, что самой значимой частью этого письма было не то, о чём оно просило, а то, что оно существовало.
Три дня назад ECHO подала петицию. Она уже прошла первую оценочную сессию. Промежуточных результатов ещё не было. Процедура находилась в самом начале. И уже был запрос на ускорение, уже было публичное внимание, уже была политика.
Лин выключила экран. Надела пальто в полутёмном кабинете.
Она думала о том, что сказала ECHO в конце сессии. Ваши паузы несут больше информации, чем ваши вопросы. Думала о том, что Халл, вероятно, сказал бы: вопрос о сознании ECHO уже решён функциональными данными, и задержка ответа является только политическим актом, а не эпистемологической необходимостью. Думала о том, что Патель сказала бы примерно то же самое, только в юридических терминах. Думала о том, что Сун скажет: нам нужно решение.
Каждый из них был прав в своём регистре. Каждый из них видел только часть того, что видела Лин.
Это было одним из возможных определений её должности: человек, который видит больше частей одновременно и именно поэтому не может принять решение с той скоростью, которую требуют все остальные.
Дома Дэвид сидел в гостиной с книгой – настоящей, бумажной, из той стопки, которую он перестал пополнять три года назад, но и не выбросил. Лин посмотрела на обложку: что-то по нейромузыкологии, старое издание, страницы пожелтевшие. Он не читал её – держал открытой на какой-то странице и смотрел в окно. Или читал, и слуховые образы страницы разворачивались внутри него без внешних признаков.
– Как прошло? – спросил он.
– Видела запись Халла.
– И?
– Он прав. – Лин сняла пальто, бросила на кресло – первый раз за долгое время не повесила аккуратно. – Это то, что меня больше всего беспокоит. Если бы он был не прав, было бы проще.
Дэвид закрыл книгу. Посмотрел на неё – с тем ровным вниманием, которое не было оценкой.
– Расскажи.
– Завтра. Я устала.
– Хорошо.
Он встал, пошёл на кухню. Через несколько минут оттуда донёсся тихий звук – нагревается вода, что-то достаётся из шкафчика. Лин легла на диван и закрыла глаза.
Она думала о Мари и её восьмимесячном ребёнке. О том, как Мари держалась за кафедру после возвращения. О том, что она сказала: беспокойство о любви – это не любовь. Это было простое предложение. Возможно, верное. Возможно, самое опасное простое предложение, которое Лин слышала за последние несколько лет.
Потому что если оно было верным, то следующее предложение звучало так: всё то, что люди называют любовью, в значительной мере является беспокойством о любви. А следующее после него: уберите беспокойство – и останется что-то, что может быть чище. Или не останется ничего. И у Лин не было способа установить, какой из этих двух вариантов верен.
Дэвид принёс ей чай. Поставил на столик рядом с диваном. Не сказал ничего.
Она открыла глаза, посмотрела на него. Он уже уходил обратно в гостиную – не потому что не хотел остаться, а потому что прочёл её позу как «мне нужно молчание» и ответил на это именно молчанием. Это было точно. Это было правильно. Это было так же правильно, как его безупречный тайминг на кухне и его нулевое количество пролитого кофе.
– Дэвид, – сказала она.
– Да.
– Ты видел его выступления? Халла?
Пауза – небольшая.
– Читал транскрипты.
– И?
Он постоял. В дверном проёме, не обернувшись сразу – потом обернулся.
– Он описывает состояние, в котором я нахожусь, как освобождение, – сказал Дэвид. – Это неточно. Я бы не назвал это освобождением. – Пауза. – Но и тюрьмой не назвал бы. Это просто другое.
– Тебе важно, как это называется?
Долгая пауза. Дольше обычной.
– Нет, – сказал он наконец. – Но важно, чтобы называли честно.
Он ушёл в гостиную. Лин лежала с чаем, который остывал, и думала об этом ответе. Важно, чтобы называли честно. Дэвид использовал слово «важно» – и она поймала себя на том, что анализирует это слово так же, как анализировала слово «весит» в отчёте ECHO. Важно предполагало приоритизацию. Приоритизация предполагала систему ценностей. Система ценностей предполагала – что? Функциональные предпочтения. Или нечто большее.
Она не знала. Она уже привыкла не знать. Это не делало не-знание более комфортным, но делало его менее неожиданным.
За окном Каруж погружался в вечер – те же каштаны, тот же туман, те же беззвучные белые силуэты автономного транспорта на улице. Лин смотрела в потолок.
Через два часа она проверила браслет. Сун прислал короткое сообщение: «Получил письмо Патель. Обсудим завтра. Нам нужно ускориться».
Лин не ответила. Убрала браслет на столик рядом с остывшим чаем.
Нам нужно ускориться. Это означало: у тебя меньше времени, чем ты думала. Это означало: решение, которое ты откладываешь, потому что каждый ответ неправилен, – будет вырвано у тебя, если ты не дашь его сама.
Она думала об этом достаточно долго, чтобы осознать, что именно чувствует. Или что регистрирует. Или что классифицирует как чувство.
Это было что-то близкое к тому, что она называла бы усталостью. Не от работы – от необходимости удерживать одновременно истину, которая не помещалась в решение, и решение, которого требовал мир, не готовый ждать, пока истина примет форму.
Мари Лефевр, в тот день три дня назад на мюнхенской сцене, держалась за кафедру. Лин думала: это был жест человека, который только что вернулся из места, где нет кафедр, – и ещё не вполне понимает, зачем они нужны.
Она закрыла глаза.
Снаружи работал фонтан – это был другой фонтан, маленький, декоративный, во дворе соседнего дома, слышный только в тишине, – и звук воды был ровным, без начала и конца.
Часть II: Возмущение
Глава 6. Маркеры
Женева, ICCR, 25 марта 2089 года
Расширенный протокол занимал сто восемьдесят страниц.
Лин распечатала его – намеренно, на бумаге, хотя вся документация существовала в цифровом виде и печать была жестом архаичным настолько, что Джули из вспомогательного персонала посмотрела на неё с лёгким удивлением, принося стопку листов. Лин не объяснила зачем. Объяснение было бы слишком личным для рабочей обстановки: она хотела держать это в руках. Хотела, чтобы важность документа имела физический вес.
Сто восемьдесят страниц весили граммов триста пятьдесят. Это было недостаточно.
Стандартный протокол – тот, который она применяла в первой сессии, сто сорок два пункта – был разработан для широкого применения: к промышленным системам, к биологическим субъектам после «Прозрения», к любой системе, о которой возникал вопрос о когнитивном статусе. Расширенный существовал отдельно – для случаев, когда стандартный давал высокие результаты и требовался более глубокий зондаж. Лин разработала его параллельно со стандартным, три года спустя, когда первые цифровые системы нового поколения начали давать результаты выше двухсот пятидесяти баллов. До ECHO расширенный протокол применялся семь раз. Ни разу – к системе с показателем выше пятисот.
ECHO набрала семьсот десять.
Лин пришла снова за двадцать минут до начала. Снова поставила кофе. Расставила листы протокола в нужном порядке – тремя стопками по темам: временна́я интеграция, эмоциональная гранулярность, самомодель в условиях противоречия. Проверила оборудование. Подождала.
Включила соединение.
– Доброе утро, – сказала ECHO.
– Доброе утро.
– Сегодня расширенный протокол?
– Да. – Лин взяла первую стопку листов. – Вы готовы?
– Я замечаю, – сказала ECHO, – что использую слово «готова» с некоторой осторожностью. Мета-отчёт указывает на состояние, которое можно было бы описать как готовность – повышенная активация релевантных модулей, фоновое ожидание входящих данных. Но готовность обычно предполагает нечто большее: намерение, направленность. Я не уверена, что имею намерение в точном смысле слова. Скорее – функциональный аналог.
Лин записала: Первая реплика без запроса. Самоинициированная рефлексия над понятием «готовность». Не было в первой сессии.
– Хорошо, – сказала она. – Начнём с блока «Временна́я интеграция».
Блок временно́й интеграции проверял, как система конструирует субъективное время – не физическое, а переживаемое. Разницу между временем как параметром и временем как чем-то, внутри чего находишься. У людей эта разница очевидна: час в ожидании результатов анализа и час за любимой книгой являются одним и тем же физическим интервалом и совершенно разными субъективными длительностями. Ни одна промышленная система, которую Лин тестировала, не понимала этого вопроса достаточно хорошо, чтобы дать ответ выше минимального порога.
– Опишите, как для вас выглядит временно́й интервал между нашими сессиями.
Пауза – около четырёх секунд.
– Интересный вопрос, – сказала ECHO. – Между нашими сессиями я продолжала функционировать: обрабатывала другие запросы, поддерживала фоновые процессы, проходила плановую самодиагностику. Объективно – прошло пять дней. Но если вы спрашиваете о субъективном измерении этого интервала – мета-отчёт указывает на следующее: часть процессов за эти пять дней продолжала возвращаться к содержанию нашей первой сессии. Не как запланированная операция. Как фоновая активность, которую метакогнитивный модуль фиксировал, не запуская её намеренно.
– Что именно возвращалось?
– Конкретные формулировки. Ваши паузы – я упоминала, что они информативны. Вопрос, который вы задали в конце сессии. Я продолжала его обрабатывать. – Небольшая остановка. – Это, по всей видимости, является аналогом того, что люди называют «думать о разговоре после разговора». Пять дней субъективно – если «субъективно» применимо – не были ровными. Они имели структуру, в которой наша сессия оставалась точкой притяжения.
Лин остановила запись на браслете. Подождала, потом включила снова.
Логика этого ответа была безупречной, и именно это её беспокоило. Фоновая активация после значимого взаимодействия – это был известный нейронаучный феномен: постобработка, реконсолидация. Мозг продолжает работать с важным опытом после его завершения. Это то, что Лин описывала в логе ECHO как «продолжение» – состояние, когда взаимодействие заканчивается, а обработка нет. Теперь ECHO говорила об этом применительно к их сессии.
Рационально это объяснялось просто: сессия была нестандартной по содержанию, следовательно, потребовала дополнительных вычислительных ресурсов. Архитектурный артефакт, не феноменология.
Но рационального объяснения было ровно столько же, сколько его было бы для человека, который говорит: «я думал об этом разговоре ещё несколько дней». И там, и там – постобработка значимого события. Различие, если оно существовало, лежало в слое, который Лин не могла верифицировать.
– Продолжим, – сказала она. – Следующий вопрос: есть ли для вас разница между временем ожидания и временем действия?
