ИИ-2041. Десять образов нашего будущего

Оригинальное название

AI 2041. Ten visions of our future

Научный редактор Михаил Бурцев

Все права защищены.

Никакая часть данной книги не может быть воспроизведена в какой бы то ни было форме без письменного разрешения владельцев авторских прав.

В тексте неоднократно упоминаются названия социальных сетей, принадлежащих Meta Platforms Inc., признанной экстремистской организацией на территории РФ.

© Copyright © 2021 by Kai-Fu Lee and Chen Qiufan. This translation published by arrangement with Currency, an imprint of Random House, a division of Random House LLC and with Synopsis Literary Agency.

© Перевод на русский язык, издание на русском языке, оформление. ООО «Манн, Иванов и Фербер», 2022

Что нам нужно, так это машина, способная учиться на собственном опыте.

Алан Тьюринг

Любую достаточно развитую технологию не отличить от магии.

Артур Ч. Кларк

Вступление Кай-Фу Ли. Реальная история искусственного интеллекта

Искусственный интеллект (ИИ) – это так называемое умное аппаратное и программное обеспечение. Оно способно выполнять задачи, для решения которых обычно требуется участие человеческого разума. ИИ – это разъяснение процесса обучения, количественное выражение человеческого мыслительного процесса, объяснение человеческого поведения и понимание причин существования интеллекта как такового. ИИ – это заключительный шаг человечества на пути к пониманию самого себя, и я очень надеюсь внести свой вклад в эту новую многообещающую науку.

Это написал я, наивный и восторженный студент, в заявке на участие в программе докторантуры в Университете Карнеги – Меллона. С того дня прошло почти 40 лет.

Термин «искусственный интеллект» предложил американский ученый Джон Маккарти еще раньше, в 1956 году, во время исторического Дартмутского летнего исследовательского проекта по искусственному интеллекту[1].

Сегодня многие считают искусственный интеллект типичной технологией XXI века, однако его концепция возникла в середине века двадцатого, правда, тогда мало кого заинтересовала. Первые 35 лет моего путешествия в область ИИ ограничивались практически чистой наукой, исключение составили пара-тройка успешных коммерческих адаптаций.

Долгие годы практическое применение ИИ пробуксовывало, но в последние пять лет он превратился в самую популярную технологию в мире. Все перевернулось в один момент – в 2016 году компьютерная программа для игры в го AlphaGo (создана в компании Google DeepMind[2]) со счетом 4: 1 обыграла в пятираундовом чемпионате южнокорейского профессионала 9-го дана Ли Седоля[3]. Матч вошел в историю как Google DeepMind Challenge Match.

Го – это настольная игра, сложнее шахмат в миллион триллионов квадриллионов раз. Энтузиасты-фанаты го считают, что, в отличие от шахмат, эта игра требует подлинного ума, мудрости и интеллектуальной дзен-утонченности. Так что победа искусственного интеллекта над чемпионом-человеком при игре в го многих повергла в шок.

AlphaGo, как и большинство коммерческих прорывов в области ИИ, основана на глубоком обучении, технологии самообучения системы с использованием датасетов (огромных наборов данных). Технологию придумали много лет назад, но вычислительные мощности для наглядной демонстрации ее эффективности появились относительно недавно. Примерно тогда же накопилось достаточное количество обучающих данных, что позволило получить значимые результаты.

Если сравнить с ситуацией сорокалетней давности, когда я только начал заниматься ИИ, сегодня в нашем распоряжении примерно в триллион раз больше вычислительных мощностей, а хранение необходимых данных обходится в 15 миллионов раз дешевле. Словом, тенденция очевидна и сомневаться не приходится – глубокое обучение и связанные с ним ИИ-технологии со временем затронут практически все аспекты существования человечества.

Сейчас мы переживаем переломный момент в развитии ИИ. Искусственный интеллект наконец-то покинул башню из слоновой кости и перестал быть исключительно научной концепцией. Дни неспешного прогресса окончились.

За последние пять лет ИИ не только победил чемпионов-людей в го, покер и Dota 2[4], но и развился настолько, что через четыре часа обучения шахматам его не одолеть никакому гроссмейстеру. Но ИИ, конечно же, хорош не только в играх.

Над загадкой сворачивания белка биологи всего мира бились на протяжении полувека – ИИ разгадал ее в 2020 году. Он превзошел нас в деле распознавания речи и объектов; преподнес нам «цифровых людей» потрясающей реалистичности – как по внешнему виду, так и по умению говорить; умудрился успешно сдать вступительные экзамены в колледж и «получил» медицинскую лицензию.

ИИ решительно обходит судей по справедливости и логичности вынесенных приговоров, врачей-радиологов – в точности диагностики рака легких. ИИ чрезвычайно эффективно используется в беспилотниках, которым суждено изменить будущее доставки товаров, а также сельского хозяйства и военного дела. И наконец, благодаря ИИ автомобили без водителя могут ездить по скоростным трассам – поездки в них безопаснее, чем с шоферами-людьми.

Что же нам сулит дальнейшее развитие ИИ и применение этой замечательной технологии в новых областях?

В книге «Сверхдержавы искусственного интеллекта. Китай, Кремниевая долина и новый мировой порядок»[5] я писал о разрастании данных – этой «новой нефти», «топливе», на котором работает искусственный интеллект.

Сегодня революцию в области ИИ возглавляют США и Китай. Соединенные Штаты лидируют в исследованиях, Китай с огромной скоростью использует всё большие массивы данных для практического применения технологий ИИ во всей Поднебесной. В предыдущей книге в 2018 году я прогнозировал новые достижения – от принятия важных решений на основе массивов данных до машинного восприятия[6] и автономных роботов самых разнообразных видов и специализаций, в том числе упомянутого выше автономного (беспилотного) транспорта.

Четыре волны применения ИИ-технологий, повлиявшие практически на все отрасли

Я предсказывал, что новые способы применения ИИ-технологий приведут к беспрецедентному росту экономической ценности в цифровой, финансовой и транспортной отраслях и в сфере розничной торговли, однако создадут проблемы, связанные, к примеру, с массовым сокращением рабочих мест. ИИ представляет собой универсальную технологию, поэтому со временем она проникнет практически во все отрасли и области деятельности.

К сегодняшнему дню влияние ИИ на жизнь человечества проявилось четырьмя последовательными волнами: сначала в сфере интернета; затем в бизнесе (область финансовых услуг), далее в сфере восприятия (вспомните о концепции умного города) и, наконец, в автономных приложениях, таких как беспилотные автомобили.

К тому времени, когда вы будете читать эту книгу (в конце 2021 года или даже позже), многие прогнозы из моей предыдущей книги, скорее всего, уже подтвердятся. Так что теперь устремим взор вперед. Я много путешествую, рассказываю об искусственном интеллекте в разных уголках мира, и меня постоянно спрашивают: «А что же дальше? Что будет через пять, десять, двадцать лет? К чему готовиться человечеству?»

Это чрезвычайно важные для текущего исторического момента вопросы. У всех, кто связан со сферой высоких технологий, есть на этот счет собственное мнение. Некоторые убеждены, что мы находимся в эпицентре «пузыря ИИ» – он со временем лопнет или как минимум сдуется.

Сторонники более радикальных и антиутопических теорий, вообще склонные верить во что угодно, полагают: реальна любая идея. Разброс – от «ИИ-гиганты “захватят наш разум” и сформируют новую утопическую расу киборгов-машинолюдей» до «коварный ИИ доведет нас до апокалипсиса». Подобные гипотезы порождены живой и искренней любознательностью или вполне оправданным страхом перед будущим. Однако все они, как правило, спекулятивны или как минимум сильно преувеличивают опасность. И все они совершенно точно не формируют полной картины.

Имеющиеся гипотезы и теории сильно разнятся: ИИ – явление чрезвычайно сложное и малоизученное. Пытаясь понять, что же он такое, люди, как правило, используют три источника – научную фантастику, новостные ленты и «лидеров мнений».

В фантастических книгах и сериалах часто присутствуют роботы, которые вдруг начинают управлять людьми и контролировать их, или как минимум стараются объегорить двуногих; суперинтеллект же зачастую вообще предстает в виде вселенского зла.

Медиа обычно ярко и подробно описывают отдельные негативные примеры: взахлеб рассказывают, как беспилотный автомобиль сбил пешеходов, как технологические компании с помощью ИИ подтасовывают результаты политических выборов, как злодеи используют искусственный интеллект для распространения дезинформации и фейков. Техническому прогрессу как таковому внимания уделяют мало, если только он не приводит к каким-то выдающимся результатам.

Наилучшим вариантом может показаться доверие в данном вопросе лидерам мнений и популярным авторам из соцетей. Однако большинство из них если и являются экспертами, то в какой угодно области – в бизнесе, физике или политике, но только не в ИИ-технологиях. Так что с виду весомым и аргументированным прогнозам на деле нередко недостает научности.

Ситуация усугубляется еще и тем, что журналисты, желая придать своим публикациям веса и убедительности, а заодно привлечь внимание аудитории, частенько цитируют эти «интернет-источники», да еще и вырывают слова автора из контекста.

Словом, удивляться тому, что люди относятся к ИИ настороженно, а то и негативно, не приходится – мнение даже самых думающих и стремящихся быть объективными основано в лучшем случае на полуправде.

Разумеется, многие аспекты дальнейшего развития искусственного интеллекта заслуживают пристального внимания и максимальной осторожности, но чрезвычайно важно уравновесить возможные проблемы пониманием полной картины и великого потенциала ИИ.

Как большинство технологий в мире, искусственный интеллект не является ни добром, ни злом. Как большая часть новых технологий, он в конечном счете окажет на нашу цивилизацию скорее позитивное, чем негативное влияние.

На протяжении всей истории люди поначалу относились к новым технологиям с опаской: всегда казалось, что они нарушат статус-кво и породят хаос. Но сегодня никто не вспоминает, как неоднозначно поначалу воспринималось электричество, мобильные телефоны и интернет – они удобны, это очевидно и сегодня даже не обсуждается. Технологии со временем органично вплетались в ткань жизни, существенно ее улучшали – и страхи рассеивались.

По моему убеждению, уже есть (и еще найдется) немало областей применения ИИ. Также возможно немало сценариев, в которых он имеет шанс существенно улучшить наше общество. Прежде всего это чисто экономическая выгода. По оценкам PricewaterhouseCoopers, к 2030 году она составит 15,7 триллиона долларов – это, конечно же, здорово поможет в борьбе с голодом и бедностью.

Новые эффективные ИИ-сервисы вернут нам самый ценный ресурс – время. Искусственный интеллект возьмет на себя однообразные повседневные задачи, освободив нас для более творческой или сложной работы.

Люди, наконец, начнут работать в симбиозе с ИИ: он станет выполнять количественный анализ, оптимизацию и рутинные задания, а мы, люди, сосредоточимся на креативности, критическом мышлении и страсти. Наша продуктивность резко возрастет, а это позволит человеку полнее реализовывать свой потенциал. Словом, вероятный вклад ИИ в будущий прогресс человечества необходимо исследовать так же глубоко и всесторонне, как и связанные с этой технологией проблемы.

Мы сегодня очутились внутри своего рода петли обратной негативной связи, нам важно понять: а что будет дальше? И я решил написать еще одну книгу об искусственном интеллекте, на этот раз несколько расширив горизонты. Я попытался представить себе и описать будущее нашего мира и общества через 20 лет, то есть в 2041 году.

Моя цель – составить «реальную» потенциальную историю ИИ, откровенную и сбалансированную, но в то же время конструктивную и с надеждами на лучшее. Обратите внимание: эта книга основана на реальном представлении об ИИ – в ней идет речь либо о существующих технологиях, либо о тех, появления и вызревания которых вполне обоснованно ожидать в течение следующих двух десятков лет.

Если еще точнее, истории, вошедшие в эту книгу, рисуют портрет нашего мира в 2041 году. Мир этот будет основан на технологиях, вероятность появления которых к тому времени составляет не менее 80 процентов. Конечно, я могу переоценить или недооценить некоторые из них, но, по-моему, книга представляет собой набор ответственных и максимально вероятных сценариев.

Что же вселяет в меня такую уверенность? Последние сорок лет я занимался исследованиями в области ИИ и разработкой продуктов в Apple, Microsoft и Google и инвестировал в новые технологии три миллиарда долларов. Так что некоторый опыт работы с процессами, необходимыми для превращения технологии из темы для научной статьи в универсальный продукт, у меня имеется. Я также в состоянии приблизительно оценить, сколько времени для этого потребуется.

Будучи советником разных правительств по стратегическим вопросам развития ИИ, я могу делать прогнозы, основанные на знаниях в области политики и нормативно-правовой базы. Я старательно избегаю любых спекулятивных прогнозов относительно фундаментальных технологических прорывов и полагаюсь в основном на экстраполяцию на будущее уже существующих технологий.

На сегодня ИИ проник менее чем в 10 процентов наших отраслей, у нас масса шансов представить себе будущее с учетом применения этой технологии в новых сферах. Я убежден: ИИ окажет на наше общество огромное влияние, даже если серьезных прорывов будет совсем мало, а то и не случится вовсе. Эта книга – мое официальное письменное заявление.

Мне не раз говорили: моя предыдущая книга оказала большое влияние на читателей, она понятна даже тем, кто практически ничего не знает об ИИ. Приступая к работе над новой книгой, я решил рассказать об ИИ еще более понятно и увлекательно, обратившись к помощи хорошего рассказчика. Я связался со своим бывшим коллегой по Google Чэнем Цюфанем.

Уйдя из Google, я основал собственную венчурную компанию, а этот парень сделал нечто еще более авантюрное – стал писателем-фантастом. Его произведения заметили и даже отметили престижными наградами. К моему великому восторгу, Чэнь согласился поработать вместе, объединить свой творческий потенциал с моими оценками того, какими будут технологии через двадцать лет.

И мы решили, что попробуем представить возможности ИИ через два десятка лет и встроим свои обоснованные фантазии в истории – должно получиться нечто весьма увлекательное. Ведь привлечь и увлечь читателя можно не только телепортацией и инопланетянами!

Скажу без ложной скромности: наш подход к работе над этой книгой уникален. Для начала я составил «технологическую карту», отобразив, когда созреет та или иная технология, сколько времени потребуется на сбор данных и итерацию ИИ, насколько легко будет разработать соответствующий продукт в разных отраслях.

Я учел всевозможные внешние факторы: проблемы, регламенты, тормозящие моменты, а также достойные упоминания конфликты и дилеммы, которые могут возникнуть попутно с появлением этих технологий. Затем, отталкиваясь от чисто технарского компонента, Чэнь проявил свой писательский талант во всей красе – придумал персонажей, обстановку и сюжетные линии и воплотил их в своих рассказах.

Каждый эпизод мы постарались сделать максимально увлекательным, технологически точным и провокационным. После каждой истории Чэня вы сможете прочесть ее экспертный анализ – я углубляюсь в описанную в рассказе форму ИИ и детально объясняю ее значение для жизни человека и общества.

Созданные таким образом десять рассказов с послесловиями-анализом охватывают все ключевые аспекты ИИ и выстроены в книге в определенном порядке – от самых простых, базовых технологий к наиболее сложным и продвинутым. Мы надеемся, что отдельные части нашей книги составят что-то вроде уникального и понятного букваря по ИИ.

Мы с Чэнем назвали книгу «ИИ-2041», потому что с момента ее первой публикации[7] именно в 2041 году пройдет двадцать лет. Мы выбрали этот год еще и потому, что начертание цифр 41 немного напоминает английскую аббревиатуру AI (artificial intelligence – «искусственный интеллект», ИИ).

Многие читатели наверняка обожают научную фантастику, но я отдаю себе отчет: тех, кто после окончания колледжа ни разу не взял в руки ни романа, ни сборника рассказов, тоже немало. Не беда – если вы из этого лагеря, отнеситесь к нашей книге не как к научной фантастике, а как к «научным фактам в форме беллетристики».

Действие рассказов происходит в разных местах планеты. В некоторых сюжетах вы без труда узнаете мир, который не слишком отличается от вашего собственного, – в них описаны события, основанные на реально существующих традициях и обычаях. В других историях описаны ситуации радикального вмешательства ИИ в человеческую жизнь, не всегда позитивного. Так что и адептам ИИ, и скептикам наша книга подкинет пищи для размышлений.

Создавая научный труд с заметной художественной частью, мы рисковали гораздо сильнее, чем если бы просто написали научно-популярную книгу, – описали настоящее и задали вопросы о будущем. Мы с Цюфанем постарались быть смелыми – мы верим, что наши истории найдут отклик у каждого непредубежденного читателя с фантазий и воображением. Мы надеемся, их окажется достаточно, чтобы заставить задуматься о будущем человечества.

В первых семи рассказах мы описали применение ИИ в различных отраслях и сферах по мере возрастания его технологической сложности, а также социально-этические последствия этого процесса. Последние три истории (плюс глава 6 «Святой возница») больше сконцентрированы на социальных и геополитических проблемах, связанных с ИИ: сокращении и исчезновении традиционных рабочих мест, беспрецедентном изобилии, дальнейшем расслоении общества, гонке автономных вооружений, компромиссе между приватностью и счастьем и стремлении человека к высшей цели.

Человечество ждут большие и глубокие изменения. Люди могут принять их и использовать во благо или во зло, смиренно капитулировать перед ними или вдохновиться и заново обрести себя.

В последних четырех историях мы привели четыре возможных варианта и разных пути развития событий. Мы хотели подчеркнуть: будущее еще не написано.

Мы искренне надеемся: наши истории не только развлекут вас, но и углубят понимание ИИ и проблем, связанных с этой замечательной технологией. Мы также рассчитываем, что представленная в книге дорожная карта на ближайшие два десятилетия поможет вам подготовиться к благоприятным возможностям и эффективному противостоянию вызовам будущего.

Но больше всего нам хочется получить от вас подтверждение, что эти истории придали вам сил. Мы надеемся, вы убедились: люди – хозяева своей судьбы, все зависит от нас и никакая техническая революция этого не изменит.

А теперь – вперед, в 2041 год!

Вступление Чэня Цюфаня. Как нам перестать тревожиться и научиться смотреть в будущее с фантазией?

В лондонском центре искусств «Барбикан» в августе 2019 года я наткнулся на выставку «ИИ: больше чем человек» – и, конечно же, зашел. Увиденное подействовало на меня как освежающая летняя гроза – будто бы даже облегчила дыхание, прочистила чувства и развеяла множество предубеждений и заблуждений в отношении искусственного интеллекта.

Незамысловатое название выставки приятно обмануло – оно и близко не дало представления о реальном разнообразии и богатстве экспозиции. В каждом следующем зале меня поджидали новые чудеса – они охватывали идеи кураторов о том, что же такое ИИ.

В залах посетителей встречали Голем, мифическое существо из еврейского фольклора; миляга Дораэмон, герой японских аниме; инсталляции, посвященные экспериментам Чарльза Бэббиджа, праотца информатики; AlphaGo, компьютерная программа, бросившая вызов фундаментальному человеческому интеллекту; подборка экспонатов, посвященная анализу гендерной предвзятости в компьютерных программах для распознавания лиц, на которое обратила внимание Джой Буоламвини; масштабные произведения интерактивного цифрового искусства TeamLab[8], проникнутые синтоистской философией и эстетикой. Выставка оказалась великолепным, расширяющим сознание напоминанием о великой силе междисциплинарного мышления.

Закон Амары гласит: «Люди склонны переоценивать эффект технологии в краткосрочной перспективе и недооценивать – в долгосрочной». Большинство и правда представляет себе ИИ максимально узко: робот-убийца из «Терминатора»; недоделанные алгоритмы, которым никогда не сравниться в творческом остроумии с человеком, но которые угрожают его существованию; многочисленные бездушные технологии обмениваются эмоциями и исследуют возможности жизни, не имея ни малейшего понятия о том, как их воспринимают люди.

Как показывают разнообразные легенды и мифы (от древнекитайского ремесленника Янь Ши, создавшего гуманоидных роботов, до бронзового витязя, человекообразного великана-робота Талоса из греческой мифологии), тема искусственного интеллекта занимает людей на протяжении всей мировой истории. Началось это задолго до того, как возникла информатика как область знаний, а в наш лексикон вошла аббревиатура ИИ.

С течением времени непреодолимая сила ИИ произвела революцию во всех измерениях человеческой цивилизации, и это, поверьте, только начало.

Надо сказать, научная фантастика, дело моей жизни, играет в исследовании парадигмы «человек-машина» довольно деликатную роль. Роман «Франкенштейн»[9] (его часто называют первым современным научно-фантастическим произведением) посвящен до сих пор актуальным вопросам: способен ли человек с помощью технологий создавать разумную жизнь, отличную от существующих на текущий момент форм? И если да, то как выглядят взаимоотношения между создателем и его творением? А ведь архетип безумного ученого, навязывающего миру страшный плод своих трудов, был представлен в шедевре Мэри Шелли два века назад!

Научную фантастику зачастую обвиняют в том, что она формирует у читателей узкий негативный взгляд, но это лишь часть реальной истории. Фантастика и вправду может оказаться предостережением, однако умозрительное, гипотетическое повествование обладает уникальной способностью преодолевать пространственно-временные ограничения, соединять технологии с гуманитарными науками, стирать границы между вымыслом и реальностью, пробуждать в читателе сочувствие и стимулировать более глубокие раздумья. Историк и автор бестселлеров Юваль Ной Харари назвал научную фантастику «важнейшим художественным жанром» нашего времени – это очень высокая планка, и ей нужно соответствовать.

Мы, писатели-фантасты, должны создавать истории, проявляющие неочевидную правду о нашей сегодняшней реальности. Но нам также важно обозначать еще более смелые и даже фантастические перспективы и возможности. Такова наша главная задача.

Когда бывший коллега из Google Кай-Фу Ли предложил мне присоединиться к его работе над уникальным книжным проектом, сочетающим научную фантастику с анализом перспективных концептуальных идей в области технологий, я пришел в восторг. Я знаю Кай-Фу как проницательного пионера, мирового лидера и инвестора, создателя трендов. Но он, кроме того, еще и творческий и непредубежденный пророк технологий грядущего. Его идеи о карьерном росте повлияли на целое поколение, а теперь он нацелился на будущее.

Вооружившись глубочайшим пониманием сути передовых исследований и способов их применения, Кай-Фу предложил описать, как в ближайшие двадцать лет ИИ может изменить человеческое общество в самых разных областях: от медицины и образования до индустрии развлечений, сферы занятости и финансов. Идея показалась мне интересной и амбициозной. Но тут следует упомянуть и некое магическое совпадение.

Несколько лет назад я предложил и развил в своих произведениях концепцию научно-фантастического реализма. Научная фантастика формирует творческое пространство, где эскапист может скрыться от унылой повседневной жизни, примерить на себя роль супергероя и исследовать далекие-предалекие галактики.

Но для меня главная ценность и увлекательность фантастики состоит еще и в драгоценной возможности отступить на время от повседневности, критически ее осмыслить. Более того, вглядываясь в будущее через призму научной фантастики, мы получаем шанс вмешаться, внести изменения в развитие событий и активно повлиять на реальность.

Чтобы создать будущее, нужно сначала представить его себе – живо и в деталях.

Главным движителем моего воображения в детстве стала классика научной фантастики – «Звездные войны», «Звездный путь» и «Космическая одиссея 2001 года»[10], с десяти лет они были моим порталом в неизведанные миры. Я убежден: прежде чем начинать писать, чрезвычайно важно определиться с жанром истории и с ее более широким социальным контекстом.

Как человек, глубоко увлеченный и даже одержимый научной фантастикой, я испытываю священный трепет перед шириной спектра этого жанра. В нем есть место практически любой теме или литературному стилю.

До того как начать зарабатывать на жизнь писательством, я трудился в сфере высоких технологий. Многие считают, что инженеры и компьютерщики мало интересуются беллетристикой – их мозг будто бы изначально заточен под науку, а не под художественную литературу. Однако за более чем десять лет в этой сфере я встретил множество технарей – великих поклонников научной фантастики, которые этого совершенно не стеснялись.

Их увлечение иногда проявлялось в названиях конференц-залов или переговорных вроде «Энтерпрайз» (отсылка к «Звездному пути») или «Нейромант»[11], но породить такие проекты, как Google X или Hyperloop[12], способны только могучие и незашоренные умы. Современные подводные лодки и лазерные пушки, мобильные телефоны и продукт генной инженерии – локусы бактерий CRISPR… Ученые честно признают, что на создание всего этого их вдохновила художественная литература. Так что наш мир действительно формируют фантазия и воображение.

Я сразу решил, что эта книга должна бросить вызов стереотипам пессимизма и антиутопичности литературы об ИИ, в которой технологическое будущее изображают на редкость безрадостным и мрачным. Мы с Кай-Фу постарались, не игнорируя недостатков и негативных нюансов ИИ, описать будущее, в котором основанные на искусственном интеллекте технологии позитивно влияют на людей и общество в целом.

Мы попытались представить будущее, в котором нам самим хотелось бы жить, и помочь его сформировать. Мы описали будущее, в котором последующие поколения смогут пользоваться великими преимуществами технического прогресса, будут привносить в этот мир еще большие достижения и смысл, станут жить долго и счастливо.

Создавать воображаемую картину будущего, нашей мечты, не всегда было легко. Мы стремились погрузиться в новейшие исследования ИИ, а затем с помощью науки и логики максимально реалистично спрогнозировать, каким будет ИИ через двадцать лет.

Кай-Фу и наша команда часами изучали свежие отчеты по исследованиям, беседовали с экспертами и мыслителями, связанными с ИИ-индустрией; мы приняли участие в семинаре по ИИ, организованном Всемирным экономическим форумом, посещали ведущие технологические компании, специализирующиеся на ИИ. Словом, мы хотели убедиться, что всесторонне и досконально понимаем технологические и философские основы искусственного интеллекта.

Перед нами был и еще один сложный вызов – представить себе будущее человечества. Ведь мы вознамерились рассказать, как люди из разных культур и отраслей, с разными идентичностями отреагируют на шок от развития ИИ. Психологические нюансы требуют большего, чем логика и рационализация. Чтобы создать как можно более полный эмоциональный портрет персонажей, мы обратились к истории и стали черпать вдохновение из радикально изменивших мир событий прошлого.

Мы понимали: надо максимально полно донести до читателей свое видение и свои чувства, стимулировать их воображение и способность осмысливать альтернативные условия человеческого существования. Поэтому наши истории должны вызывать эмоции, прежде всего сострадание. Для этого в каждую главу включен комментарий-анализ от Кай-Фу – он скрепляет парящего в эмпиреях воздушного змея фантазии с четкой и постижимой реальностью.

После месяцев интенсивной работы и многочисленных правок мы отобрали десять порталов, которые перенесут вас во время и пространство 2041 года. Мы надеемся, что вы отправитесь в это путешествие с любопытством, непредвзятостью и – непременно – с открытым сердцем.

И наконец, последнее: величайшая ценность научной фантастики не в том, чтобы давать ответы, а в том, чтобы задавать вопросы. Мы искренне надеемся: вы перевернете последнюю страницу, и в вашей голове продолжит крутиться множество вопросов.

Поможет ли ИИ людям предотвратить следующую пандемию, не позволив ей развиться? Как нам справиться с неминуемыми проблемами в сфере занятости населения? Как поддерживать культурное разнообразие в мире, если в нем доминируют машины? Как научить детей жить в обществе, где люди сосуществуют с роботами?

Мы рассчитываем, что ваши вопросы помогут нам всем продвинуться по пути построения более счастливого и светлого будущего.

Добро пожаловать в 2041 год!

Глава 1. Золотой слон

• Лучше свой долг, бесталанно исполненный,
• чем чужой, соблюденный превосходно.

«Бхагавадгита» (Песнь Божья, или Священное писание на хинди), глава 3, стих 35

Примечание Кай-Фу: Наш первый рассказ переносит читателя в Мумбаи. Семейство индийцев подписалось на программу страхования с поддержкой глубокого обучения, призванную через специальные приложения всячески улучшить жизнь застрахованных. Однако дочка-подросток вдруг понимает, что инструкции и рекомендации, данные искусственным интеллектом, нарушают ее личную жизнь и мешают найти любовь. Рассказ «Золотой слон» знакомит читателя с базовыми основами ИИ и глубокого обучения, помогает разобраться в их главных преимуществах и недостатках. В частности, в рассказе наглядно показано, что ИИ может зацикливаться на улучшении определенных аспектов, создавая при этом негативные эффекты. А еще это история о рисках, возникающих, когда в одной компании накапливается очень много сведений о ее пользователях. В анализе-комментарии в конце главы я рассмотрю эти вопросы, расскажу краткую историю ИИ и объясню, почему сегодня эта технология одних людей восхищает, а у других вызывает недоверие и опасения.

Телевизор в квартире в Мумбаи показывал пляж Чаупати. В волнах прибоя мерно, будто бы под саундтрек индийской лютни-ситара, покачивалась огромная статуя Ганеша, бога мудрости и благополучия с головой слона. С каждой откатывающейся волной божество опускалось все ниже, погружалось в воду, пока наконец полностью не скрылось в Аравийском море.

Статуя словно бы растворилась в пучине, превратилась в золотисто-багровую пену. Соленые брызги благословенно окропляли верующих, всю толпу, собравшуюся на пляже Чаупати для Ганеш-висаржана, ритуала погружения Ганеша в воду. Таков традиционный финал фестиваля Чатуртхи.

Счастливые бабушка и дедушка десятиклассницы Наяны хлопали перед экраном в ладоши и подпевали телевизору. На восьмилетнего Рохана, младшего в семье, никто не обращал внимания. Он под шумок запихнул в рот пригоршню чипсов из маниоки и запил их огромным глотком диетической колы.

Врач настоятельно рекомендовал ограничить мальчику потребление жирного и сладкого. Парнишка, дорвавшись до запретных лакомств, от удовольствия и возбуждения мотал головой, и крошки изо рта разлетались по всей комнате. Папа Санджай и мама Рия готовили праздничный ужин, гремя кастрюлями и напевая, словно персонажи болливудского фильма – веселые звуки и невероятные запахи разносились из кухни по всей квартире.

Наяна изо всех сил старалась отключиться от происходящего и сосредоточиться на смартстриме. На него только что наконец установилось приложение FateLeaf – «Лист судьбы». В последнее время в школе только о нем и говорили. Благодаря оцифрованной дальновидности величайших индийских прорицателей древности программа теперь способна ответить практически на любой вопрос пользователя.

В рекламной аннотации к приложению говорилось, что создатели FateLeaf вдохновлялись при его разработке учением почитаемого индуистского мудреца Агастья. Наяна помнила, что он тысячи лет назад описал на санскрите прошлое, настоящее и будущее всех-всех людей во всем мире. Пальмовые листья с пророчествами Агастья назвали «Астрологией Наади».

Прорицателю, гадающему на листьях Наади, надо предоставить отпечаток большого пальца и назвать дату рождения – и вся история твоей жизни немедленно считается с соответствующего листа. Так, по крайней мере, утверждает легенда. Есть, правда, одна загвоздка – за тысячи лет многие листья пропали: зверства колонизаторов, войны, неумолимое время…

Но одна компания еще в 2025 году отыскала все сохранившиеся листья Наади, специалисты-виртуозы сумели прочесть и сохранить информацию, а некоторые записи даже восстановить по сохранившимся фрагментам. Для глубокого обучения, автоматического перевода, анализа и реконструкции древней мудрости применили искусственный интеллект. Так возник «архив листьев Наади», теперь размещенный в облаке, – по одному виртуальному листу на каждого из 8,7 миллиарда человек, живущих на Земле.

Вся эта замшелая история Наяну не особо интересовала, у нее было дело поважнее. Реклама обещала, что через FateLeaf можно использовать всю мудрость своего листа Наади и получить ответы на любые вопросы.

Все взрослые были заняты, самозабвенно смотрели Ганеш-висаржану и готовили праздничный стол; младший брат увлекся чипсами и тоже ничего вокруг не замечал. До девушки никому не было дела, поэтому она поскорее набрала в FateLeaf: «Я нравлюсь Сахеджу?» На экране немедленно выскочило уведомление: ответ будет стоить 200 рупий. Наяна согласно кивнула и кликнула «Отправить».

Наяна обратила внимание на Сахеджа сразу, как только его смартстрим впервые подключился к их виртуальному классу. Новичок не использовал ни фильтров, ни фона расширенной реальности – это было необычно и показалось любопытным. На стене, которую было видно за фигурой нового одноклассника, Наяна увидела ряды красочных масок – как скоро выяснилось, парень сделал их сам, вырезал из дерева и раскрасил.

Маски сразу заметил и учитель. В первый день нового семестра Сахедж, немного стесняясь, но с явным удовольствием провел для одноклассников экскурсию – всё показал и рассказал. В его достаточно традиционных по стилю, но все же очень необычных масках образы индийских богов и духов сочетаются с силой супергероев.

Одноклассницы Наяны не уставали сплетничать о Сахедже в ShareChat[14], в чате «Для своих». Поводов для этого было предостаточно. Комната нового одноклассника действительно была оформлена очень необычно, а фамилия Сахеджа отсутствовала в школьных регистрационных записях. Девчонки после активного обсуждения решили, что он входит в «группу риска» – по распоряжению правительства к ней относилось не менее 15 процентов учащихся.

Таким детям гарантированы места в частных школах по всей Индии; им оплачивают обучение, учебники и школьную форму. Термины «15 процентов» и «группа риска» были, по сути, эвфемизмами для обозначения далитов – «неприкасаемых».

Наяна любила смотреть в интернете документальные фильмы, поэтому знала о старой кастовой системе Индии и ее глубоких индуистских религиозных и культурных корнях. Когда-то именно каста, к которой принадлежали родители новорожденного, уже в момент появления на свет и на всю жизнь определяла его будущую профессию, возможное образование, супругу или супруга. На нижней ступени этой системы и стояли далиты – «неприкасаемые».

Многие поколения далитов выполняли самую грязную работу: чистили канализацию, обрабатывали и утилизировали трупы животных, дубили кожу.

После обретения Индией независимости и вступления в силу Конституции – с 1950 года – под запрет попала любая кастовая дискриминация. Но фактически еще много лет существовали зоны, где далиты имели право пить, есть, жить и даже хоронить своих умерших – территории «неприкасаемых» были четко отделены от мест для представителей более высоких каст. Последние (дабы не оскверниться) часто отказывались находиться в одном помещении с далитами – соучениками или коллегами. Правда, обычно не объясняли почему.

Правительство Индии пыталось исправить эту несправедливость, для далитов установили 15-процентную квоту в государственных учреждениях и любых учебных заведениях. Казалось бы, намерения были исключительно благие, но эти решения вызвали массу споров и даже спровоцировали насилие.

Родители детей из высших каст жаловались: далитов зачисляют в школу по квоте, а не по успеваемости; остальным детям приходится расплачиваться за грехи предыдущих поколений – Индия просто заместила одну форму несправедливости и неравенства другой.

Но, несмотря на отдельные очаги негативной реакции, усилия индийского правительства принесли плоды. 200 миллионов потомков далитов интегрировались в мейнстримное общество, и теперь распознать их прошлую идентичность с первого взгляда было намного труднее.

Девчонки в ShareChat продолжали сплетничать об однокласснике-новичке; они обсуждали происхождение Сахеджа и бесконечно решали, стали бы они с ним встречаться или нет.

«Вот снобы!» – фыркала про себя Наяна, читая чат.

Сама Наяна сразу разглядела в Сахедже родственную душу. Девушке нравились работы Бхарти Кхер[15], Наяна и сама мечтала творить в стиле перформанс, но ей часто приходилось оправдываться, что это не имеет ничего общего с легковесной попсой.

Наяна считала, что настоящий художник должен быть верен себе и никогда не меняться в угоду чужой точке зрения. Так что если ей понравился Сахедж, то он ей понравился – а его происхождение, место жительства или даже его хинди с заметным тамильским акцентом не имеет никакого значения.

Ответа от FateLeaf, казалось, не было целую вечность. Наконец на экране всплыло уведомление с иконкой-пиктограммой в виде пальмового листа: «Нам очень жаль! Из-за недостатка предоставленных вами данных FateLeaf в настоящее время не может ответить на ваш запрос». Из динамика донесся звон монет – вернулась оплата за непредоставленную услугу.

«Тоже мне! Данных им недостаточно!» – и Наяна тихонько ругнулась.

Раздраженная и рассерженная, девушка отлипла от экрана. Мама Рия заканчивала накрывать на стол, приближалось время праздничного ужина, но что-то явно было не так. Среди традиционных индийских изысков на столе стояло несколько супердорогих блюд из китайского ресторана, продававшихся навынос. Такие угощения были в их доме большой редкостью, прижимистый отец подобных трат не одобрял.

Кроме расширенного меню обнаружилась и еще одна странность: на Рии было любимое шелковое сари в стиле парси, красивая – явно из салона – прическа и полный комплект украшений. Дедушка и бабушка тоже выглядели не как обычно – более счастливыми, что ли. И даже назойливый пухляш Рохан не приставал к сестре с дурацкими вопросами!

Объяснить все странности только праздником Ганеш Чатуртхи было невозможно.

– Та-а-ак, – протянула Наяна, отметив заодно и новую скатерть, – кто-нибудь объяснит мне, что тут происходит?

– Ты о чем? – мама отреагировала мгновенно, но как будто не поняла настроения дочери.

– Мне одной кажется, будто что-то не как всегда?

Взрослые переглянулись и засмеялись.

– А ну-ка, что ты заметила? – предложила игру в угадайку Рия.

– Вы что-то скрываете? – У Наяны ум уже заходил за разум – за свою жизнь она не видела дома ничего подобного.

– Давайте-ка садиться, поедим сначала, – бабушка попыталась перехватить инициативу и начала поправлять на блюде лепешки-наан.

– Погодите, – не сдалась Наяна, – я угадаю. Папа получил повышение? Мы выиграли в лотерею? Правительство снизило налоги?

С каждым высказанным предположением улыбка на лице отца становилась все шире, и каждый раз он мотал головой – не-а, не угадала.

– Прекрасные гипотезы, – он уже от души хохотал. – Нет, это все мама…

Наяна развернулась:

– Ну и куда ты влипла на этот раз?!

– Эй, не забывайся! – повысила голос Рия. – С матерью разговариваешь!

– Ну да, и что? Это же не меня вечно надувают, и не я ноги стаптываю, чтобы все купить подешевле… – Наяна по инерции огрызнулась, но тон сбавила.

– Так что ты сделала-то?

– Купила страховку Ganesh Insurance! У них была потрясающая распродажа к празднику, впервые в истории – 50 процентов скидки! Все соседи купили, а они экономят еще больше, чем мы! – Мама Рия лопалась от гордости из-за своей рачительности и удачливости.

Папа зааплодировал, бабушка с дедушкой присоединились. Наяна перебила овацию.

– А разве мы всегда страховались не в Life Insurance Corporation of India[16]?

– Ну да, именно в ней, но их полиса вечно хватало впритык. Не дай бог что-нибудь случится с бабушкой и дедушкой – что будем делать? Вы, кстати, учитесь в частной школе, ты, кажется, собираешься в Университет Раи на факультет фэшн-технологий и перформанс-арта. А он, между прочим, частный, и учеба в нем намного дороже, чем в государственных университетах. Сама знаешь – экономим на чем только возможно.

– То есть опять я виновата?! – Наяна окрысилась скорее по привычке – папа не сказал ничего нового и, конечно, был прав.

– Прежде чем строить планы, нужно рассмотреть, что у тебя под носом, – философски заметил дедушка.

– Ну ладно, ты все равно уже заплатила. И что нам даст новая страховка? – Наяна попыталась взять себя в руки и вникнуть в детали ожидавших семью перемен.

– Мне все подробно рассказала миссис Шах, ты ее знаешь, она из соседнего дома, – Рия завела подробное повествование.

– Платформа Ganesh Insurance использует искусственный интеллект для корректировки страхового плана в соответствии с конкретными потребностями застрахованной семьи. – Кажется, это был текст из проспекта страховой компании. Впрочем, возможно, рекламу цитировала мамина знакомая, а Рия все просто дословно запомнила.

– К тому же страховку продают по очень выгодной цене. – Мама, наконец, добралась до сути. – Кстати, Ganesh Insurance – это пакет мобильных приложений. Одно рассчитывает страховые взносы и принимает их оплату, другое – для инвестиций. Но больше всего мне нравится вот это, для покупок. И еще одно, которое показывает все выгодные предложения в нашем районе. Заметила прическу? – Рия, красуясь, покрутила головой. – В дорогущем салоне, между прочим, делала, а заплатила всего четыреста рупий – а все приложение Cheapon!

Рохан, воспользовавшись моментом, попытался стянуть из вазочки конфету. Но Наяна хлопнула его по руке, а он понял, что его застукали, и показал сестре язык.

Наяна вернулась к общему разговору – он сейчас был серьезнее диеты брата.

– Очень похоже на очередную рекламную замануху. И зачем страховой компании сообщать тебе, где делать прическу?

Мама замялась.

– И откуда эти страховщики так много знают о нашей семье?! – Наяна не стала дожидаться ответа.

Мама явно тянула с ответом – отвечать ей почему-то не слишком хотелось. Пауза затягивалась. Все ждали. И Рии пришлось признаться.

– Мы разрешили искусственному интеллекту доступ к каналам передачи данных каждого члена семьи – таковы условия страховки, по-другому нельзя.

Глаза Наяны стали похожи на две медные тарелки, из них прямо рвался вопль: «Что?!» – но звук не шел.

– Нет-нет, – Рия уже начала как будто оправдываться, – все строго конфиденциально, страховая компания может использовать данные, только если мы дадим разрешение.

– Да какое ты имела право открывать доступ к моему каналу передачи данных какой-то страховой компании?! – Наяна перешла на крик, и от возмущения голос ее сорвался.

– Не смей так разговаривать с матерью! – подал наконец голос отец. – Не забывай, ты несовершеннолетняя, мы – твои родители, имеем полное право принимать решения, в том числе и о твоих персональных данных.

Наяна побагровела от унижения – она не привыкла к столь резким отповедям, тем более от отца. Швырнула нож и вилку – они громко звякнули о тарелку, бросилась в свою комнату, грохнула дверью, упала на кровать, натянула на голову одеяло и замерла, глотая слезы. «Наверно где-то на листе Наади, – думала Наяна с горечью, – написано, что сегодня – наихудший день моей жизни».

Холодная война между Наяной и мамой Рией длилась с неделю. Спустя несколько дней после так неожиданно сорвавшегося праздничного ужина смартстрим Наяны вдруг засыпало необычными уведомлениями:

Сегодня ожидается дождь, не забудьте зонт.

Сезон простуд начался! Обязательно надевайте маску!

На вашем маршруте произошло ДТП; чтобы избежать затора…

Поначалу Наяна скептически усмехалась, но уведомления просматривала – нельзя же узнать, кто стучится в смартстрим, не посмотрев на экран.

Потом девушка обнаружила, что даже увидев странное сообщение от анонимного отправителя, она все равно его внимательно прочитывает – утешила себя тем, что время от времени информация действительно оказывается полезной. Ее всегда интересовали распродажи в магазине одежды или скидки в любимом кафе.

Однако воспользоваться акциями, как оказалось, можно только через приложение Cheapon Deals («Выгодные предложения») и несколько других, предложенных Ganesh Insurance под брендом «Золотой слон». Пришлось их скачать. Ну и, конечно, разрешить им доступ к своим данным.

Наяна проделала все после некоторого размышления. Однако ощущение, что «золотой слоник» давно присутствует в ее смартстриме, не проходило. Мама дала страховой компании доступ к ее гаджету? А что, не исключено.

В более чем 60 процентах индийских домохозяйств все девайсы в семье контролируют женщины-хозяйки (как мама Рия), а все персональные данные привязаны к уникальному национальному идентификационному коду Aadhaar[17]. Он есть у каждого из 1,4 миллиарда жителей страны, его присваивает Агентство Индии по уникальной идентификации.

В течение 20 лет с момента внедрения этой системы в 2009 году правительство собрало огромную базу данных. О гражданах известно очень многое: есть их отпечатки пальцев, цифровые подписи с использованием сетчатки глаза, генетические истории, информация о семье, роде занятий, кредитном рейтинге, история покупок жилья и налоговые отчеты. И вот теперь Ganesh Insurance с согласия клиентов могла использовать этот богатейший массив данных для персонификации услуг.

Конечно, существуют некоторые ограничения. Чтобы воспользоваться данными из соцсетей, надо авторизоваться, а использовать данные несовершеннолетних можно только с согласия их официальных представителей или опекунов.

Наяна еще немного подумала и пошла на компромисс – решила пользоваться сервисами GI, но быть при этом максимально бдительной. На уроках компьютерной грамотности в школе проходили (Наяна неплохо училась и многое помнила), что «продать» или «сдать» тебя может каждый клик в интернете. И прежде чем в очередной раз нажать кнопку «принимаю» либо «спасибо, мне нужно больше времени, чтобы это обдумать», девушка тщательно изучала все написанное мелким шрифтом. И нередко выбирала второй вариант. Но, несмотря на разумное и осознанное поведение, поток уведомлений от GI о привлекательных скидках и наилучших способах разрешения насущных проблем заметно возрастал.

Например, как бы привлечь внимание Сахеджа.

Он и вправду был симпатичным и очень милым парнем с огромными добрыми глазами. Сахедж старался понравиться новым одноклассникам, он подарил каждому маленькую голову какого-нибудь животного, которую сам вырезал из дерева. Но во время виртуальной учебы нередко нарушалась связь, и вместо милого лица Сахеджа Наяна видела на экране только размытый силуэт, а его голос в наушниках «квакал».

Но после личной встречи с Сахеджем в один из учебных дней офлайн Наяна обнаружила, что сдерживать чувства к парню стало совсем трудно.

Девушка постоянно искала предлог для общения с Сахеджем, использовала каждую возможность, но он почему-то упорно держал дистанцию.

Я ему не нравлюсь? Или тут что-то другое?

А может, застенчивость Сахеджа – из-за его «низкого» происхождения?

Наяна в очередной раз обдумывала эту самую важную свою мысль, когда на экране смартстрима появились маленькие золотые слоники – пришло уведомление от MAGIComb, приложения GI, дающего советы по стилю жизни, в том числе и «как стать более привлекательной для парней». Наяна, конечно, догадывалась: ИИ использует данные о ее интернет-запросах и покупках – иначе как бы он понял, о чем она думает. Но подобные рекомендации беспокоили ее совсем по другой причине.

Почему женщина вообще должна меняться, желая понравиться мужчине? Почему бы женщинам просто не демонстрировать мужчинам себя настоящих и не решать вместе, подходят ли они друг другу?

Наяна все еще здорово злилась на маму, но нашла в себе силы расспросить ее о странных посланиях от «волшебного» приложения.

Рия вертелась перед зеркалом в новой длинной юбке. Она себе явно нравилась и, пребывая в отличном настроении, обратилась к дочке:

– Вот глупышка, машины учатся только тому, чему их обучают люди. А ты к чему это? Ты влюбилась!

– Вовсе нет, – замялась Наяна.

– Не хочешь – не говори, но от искусственного интеллекта не скроешься, – пошутила Рия. – Тебе точно не нужна помощь? Поверь, твоя мать кое-что понимает в мужчинах.

– Как узнать, что мальчик думает обо мне на самом деле? – решилась Наяна. – Я ставлю ему лайки, а он не реагирует.

– Ага-а, значит, кто-то все-таки есть! Ну, одними лайками тут не обойтись. Дай GI доступ к учетной записи в ShareChat – их рекомендации станут еще лучше. Страховой взнос нашей семьи, кстати, от этого тоже чуток уменьшится.

Наяна хотела услышать совсем не это. Она разочарованно помотала головой и вышла из комнаты.

Всего несколько недель назад, когда FateLeaf не смогла ответить на запрос Наяны из-за недостаточности предоставленных данных, Рия не позволила дочери открыть доступ к учетным записям других членов семьи. И Наяна осталась без гадания. А теперь мать и дочь поменялись местами. Но, с другой стороны, сейчас вопрос серьезнее – речь идет о семейном бюджете.

Однако дело было не только в обиде и разочаровании. Наяна считала, что «золотой слоник» уже основательно промыл мозги всем ее родным. Все только и думали, как бы еще изменить свое поведение, чтобы уменьшить страховые взносы. Наяне казалось: когда в игру вступают деньги, человеческий мозг переходит в режим автопилота. Чтобы получить бонус или избежать штрафа, идут на все, действуя при этом на автомате.

Нет, ну какие-то плюсы у GI, конечно же, имеются. Бабушке и дедушке «золотой слоник» напоминает, что пора принять лекарство и записаться к врачу. Отец Наяны, который вообще никогда никого не слушал, неожиданно бросил курить – «слоник» ежедневно пенял ему за эту скверную привычку. Дальше – больше: папа заменил свой любимый крепкий анисовый арак более здоровым красным сухим вином.

Он даже начал намного осторожнее водить автомобиль! Следуя советам приложения, он больше не метался по полосам забитых улиц Мумбаи, словно безработный гонщик. GI не просто подсказывала, она его материально стимулировала – изменив поведение за рулем, папа уменьшил свои взносы по страховке автомобиля, здоровья и жизни.

Родители ладно – что взять со взрослых! Наяна была уверена, что уж кто-кто, а ее младший брат Рохан точно устоит перед натиском GI. В конце концов, жир и сахар вызывают зависимость, как героин, особенно у детей, совсем не умеющих себя контролировать. Однако и с Роханом «золотой слоник» преуспел.

Восьмилетнему ребенку, конечно, не было дела до прелести уменьшенных страховых взносов или отложенного вознаграждения, но рядом с Роханом почти все время был кто-то из старших, а уж они-то прекрасно видели: запрещенное лакомство в руке мальчика – это угроза для общего банковского счета. И всё – больше никто и никогда не потакал слабостям сладкоежки Рохана.

Изменения в жизни произошли стремительно, они, естественно, имели смысл и не только помогали экономить средства семьи. Все страховые компании стремятся к тому, чтобы их клиенты жили долго и были здоровы – это приносит страховщикам большую прибыль.

Но Наяна никак не могла решить, как поступить ей самой. Действительно ли стоит открыть «слонику» доступ к своим данным в ShareChat?

Не менее трудным был и вопрос о Сахедже. Наяне он подарил расписанную красивыми узорами голову ворона – одноклассникам достались другие животные или птицы. Может, это было тайное послание, может, так Сахедж хотел что-то сказать Наяне? Десятиклассница голову сломала, пытаясь найти в подарке скрытый смысл.

Разве ворон – не символ невезения? Или он хотел сказать, что я болтливая и надоедливая? Может, я слишком на него наезжаю? Что же он имел в виду?

Наяна уже совершенно измучилась. Она бы, конечно, обратилась к онлайн-прорицательнице FateLeaf, но мама ведь не разрешила дать этому приложению доступ к данным членов семьи. «А что же MAGIComb?» – вдруг осенило девушку. Вконец изведясь от неразделенной любви к однокласснику, она решила-таки обратиться к всемогущему алгоритму.

Однако «золотой слон» описал Наяне совсем не то будущее, о котором она грезила.

Тут что-то явно не то.

В школе постоянно твердили: предоставить мобильному приложению доступ к своим данным в соцсети – практически распахнуть дверь в спальню. GI, конечно, гарантировала, что все данные передаются искусственному интеллекту для федеративного обучения – сама технология обеспечивает анонимность, третья сторона никогда не сможет наложить на них лапу или засунуть в них нос. Но ведь наружу окажется вывернутой вся личная жизнь! Эта ситуация немного напоминала Наяне анекдот – когда фермер за неделю до Дня благодарения говорит индейке: «Поверь, ты тут в полной безопасности».

Что бы Наяна ни делала теперь в ShareChat – просматривала страницы, болтала с подружками, ставила лайки или просто выбирала смайлики, – она думала только о том, как ее выбор повлияет на страховые взносы ее семейства. Система страшно раздражала и казалась нелепой.

«Но, возможно, еще нелепее ожидать, что этот ИИ устроит мое счастье», – размышляла Наяна.

Сахедж почти ничего не выкладывал и не писал в ShareChat. Он вообще напоминал человека из давно минувшей эпохи, не поспевающего за технологиями. Иногда он, правда, репостил новости, цитаты, которые показались ему интересными, или давно протухшие мемы. Но в сети он появлялся спонтанно и был непредсказуем. Наяне вообще казалось, что именно так ведут себя фейковые зомби-аккаунты.

Что, скажите, существенного может узнать искусственный интеллект о Сахедже из его скучного и скудного аккаунта? Как он поможет Наяне сблизиться с одноклассником? Другое дело – она сама: понять намерения девушки проще простого, достаточно учесть частоту и постоянство ее кликов. Для ИИ подобные вещи – вопрос чистой математики, а не человеческой любви.

Наяне казалось: как только дело касается Сахеджа, GI принимается вести себя как-то подозрительно. Как только она обновляла страницу Сахеджа или ставила ему лайк, от GI прилетало какое-нибудь чудное уведомление – будто бы программа пыталась переключить ее внимание.

Стоило девушке запросить «как найти повод для разговора с парнем», поискать в интернете «подарок парню» или даже выбрать кафе для совместной «чашечки кофе», маленький анимированный золотой слоник выскакивал на экран и тащил с собой совершенно нелепую рекомендацию или загружал явно ошибочную страницу.

Объяснение странностям было единственное: «золотой слоник» вообще не хотел, чтобы они с Сахеджем сближались, поэтому активно действовал против нее.

Интересно, этот «слоник» со всеми такой, или только со мной? Может, я слишком молодая? Но разве найти свою половинку и выйти замуж – это не хорошо? Разве нам не говорят в школе, что население нашей страны в 1,4 миллиарда человек – наша сила, что наша способность к репродукции сделает нас непобедимыми, сильнее всех в мире? В чем же проблема?

Наяна ломала голову. И не заметила, что в дверях стоит мама.

– Признавайся, юная леди, что ты наделала? Наш страховой взнос просто зашкаливает!

– Я?! Наделала?! – Наяна не знала, что ответить. «Золотой слоник» явно решил перевернуть вверх дном ее жизнь.

– Немедленно отвечай, или отберу смартстрим!

– Нет, ты не можешь!

– Извини, могу. И именно это я собираюсь…

Но прежде чем по-боевому настроенная Рия договорила, Наяна вихрем пролетела мимо, едва не снесла мать в узком дверном проеме и молнией выскочила на улицу.

Наяна бежала, пока не поняла, что не узнает местности. Но смартстрим был накрепко зажат в ладони. Наяна остановилась, отдышалась и огляделась – слава богу! Она узнала рельефные скульптуры здания компании New India Assurance[18]. Уф, район Форт! Заходящее солнце освещало знакомую великолепную лепку на выветренном фасаде – фигуры фермеров, гончаров, прядильщиков и носильщиков. Наяна рассудила, что настал идеальный момент, чтобы позвонить Сахеджу – пусть даже это приведет к очередному скачку страхового взноса ее семьи.

Но поверх аватарки одноклассника на экране смартстрима немедленно появилось уведомление GI. Взнос вырос на 0,73 рупии! Сахедж не отвечал, Наяна уже собиралась сбросить вызов, но вдруг сработало подключение к видеопотоку. В практически полной темноте были едва различимы контуры лица и сияли белые зубы – Сахедж улыбался.

– Сахедж? Это ты? – Наяна оробела.

– Ну да, я. Ты, что ли, Наяна?

– Я боялась, ты уже не ответишь.

– М-м-м… тут некоторые проблемки. Я сейчас не могу долго говорить. Но ужасно рад, что ты позвонила!

– Тогда давай встретимся. – Сердце Наяны замерло от счастья. – Слушай, я сейчас скину тебе адрес.

Сахедж быстро оглянулся, чуть замялся и почти прошептал: «Кидай».

Наяна отправила адрес, нажала отбой и не удержалась – захлопала в ладоши.

И вдруг кто-то за спиной окликнул ее по имени. Солнце светило маме в спину, в золотых и красных солнечных лучах она напоминала богиню Сарасвати, сошедшую на Землю.

– Как ты меня нашла? – Наяна была поражена и даже забыла, что они только что поссорились.

– Я же управляю всеми данными в доме! – напомнила Рия, буравя дочь взглядом.

– Извини меня, – Наяна не поднимала глаз, – помнишь, я говорила тебе об одном парне? Я очень хочу с ним встретиться. Но GI как будто старается этого не допустить, и…

– …И ты думаешь, что из-за этого растет наш страховой взнос? GI не позволяет нам совершать глупости, которые могут навредить, он хочет, чтобы мы жили здоровее и дольше. Этот парень – опасная личность?

Наяна покачала головой.

– Нет, наверно. Он мой новый одноклассник. Умный и очень талантливый, его зовут Сахедж. Смотри, что он мне подарил – он сам это сделал, вырезал из дерева.

Наяна протянула маме голову ворона. Мама заинтересовалась деревянной поделкой, взяла, внимательно оглядела со всех сторон.

– Н-да, не похоже, что парень опасен. А он красивый?

Наяна смутилась, потом заулыбалась, но улыбка быстро сползла, превратившись в гримаску.

– Мам, это же полный отстой! И что эта GI знает такого, чего не знаю я?! Неужели я и вправду проживу дольше, если никогда не встречусь с Сахеджем?

– Хочешь, расскажу? – Мама обняла дочь. – Конечно, мы иногда ссоримся. Но я же не слепая! И не такая глупая, как ты думаешь. Ты убежала, а я вспомнила – прочла недавно. Это, кстати, была старая книга, мне ее предложила MAGIComb, представляешь?

Наяна такого поворота не ожидала, а потому заинтересованно ждала продолжения.

– Книга 2021 года о такой же индийской семье, как и наша. Мать – поверхностная, гордая и одержимая собственным имиджем, ее дочь страдает, а матери все равно. А девочка страдает все сильнее. Мать не обращала на это внимания – вот что потрясло меня больше всего. Когда мне было столько же лет, сколько тебе сейчас, родители мечтали побыстрее выдать меня замуж. А я хотела учиться, стать юристом. Родители не хотели, чтобы я была умной и образованной и сама принимала решения, – а у меня не хватило сил сопротивляться. Я сдалась и жалею по сей день. А на тебя не злюсь, хоть ты мне грубишь. Я рада, что ты слушаешь свое сердце, идешь своим путем – к понравившемуся парню или в выбранную профессию.

Рия еще обнимала дочь, Наяна заметила, как в глазах матери блеснуло солнце – или это были навернувшиеся слезы?

– Я всегда старалась дать тебе ощущение безопасности и комфорта, которых никогда не было у меня. И твое счастье никогда не будет зависеть исключительно от твоего замужества. Поступай в Университет Раи на фэшн-технологии и перформанс-арт, как выбрала. И никому не позволяй себе указывать. Никому – слышишь! – ни людям, ни искусственному интеллекту. А если кто-то влезет в твою жизнь – не смей его слушать. Правильный ответ можешь найти только ты сама. И то сначала надо попробовать.

– То есть я могу поехать в Ахмадабад, в Университет Раи?

– Если поступишь – да, – улыбнулась мама. – Там же огромный конкурс.

– И даже если из-за этого вырастут страховые взносы нашей семьи?

– Иногда стоит и рискнуть.

– Мам, я договорилась встретиться с Сахеджем. И – спасибо тебе!

Из-за угла показался красный двухэтажный автобус. Наяна неловко ткнулась маме в щеку – поцеловала – и побежала к остановке. А солнце скрылось за горизонтом.

С улицы через окно было видно, как официанты деловито накрывают в зале столы и зажигают свечи – наступал романтический вечер. Сахедж ждал Наяну на углу. В сумерках его кожа казалась еще смуглее. Наяне показалось, что в кафе его совсем не тянет.

– Слушай, извини… – Сахедж мялся, мотал головой, смотрел в землю, его глаза сверкали в темноте, как два светлячка.

– Что-то не так?

– Если я пойду с тобой, мама расстроится. Ходить в такие места – потворствовать слабостям… Это увеличит наш страховой взнос.

– Ты имеешь в виду… – в голове Наяны вдруг щелкнуло – все сошлось. – Так твоя семья тоже на страховке GI?

– Да. И мама сильно болеет. Нам здорово повезло, GI предлагает специальный страховой полис для таких, как мы, называется, «для социально незащищенных», иначе мы никогда бы не смогли позволить себе такую страховку…

– Это я поняла, – кивнула Наяна. И перевела разговор на гораздо более важное. – Но я совсем не поняла, почему ты подарил мне ворона, а не павлина, кролика или кого-то еще?

– Ты задаешь много вопросов! – Сахедж мягко улыбнулся. – Пошли погуляем, раз уж мы не идем в это дурацкое кафе.

Улицы вечернего Мумбаи обычно заполнены машинами – со всех сторон слышатся звуки клаксонов. Что поделать – огромный город, 30 миллионов человек! Мумбаи не всегда был городом небоскребов, ярких огней и цифровых дисплеев, но перенаселен он уже давным-давно. Люди облюбовали это место еще в каменном веке.

На месте сегодняшнего Мумбаи поселились еще древние греки. Они назвали это место Гептанезия – «семь островов». С тех пор город видел взлеты и падения многих династий и правителей. Он крещен кровью – прежде чем Индия получила независимость, погибал и возрождался из пепла бесчисленное множество раз.

Но, конечно, совсем не об этом думали старшеклассники, неспешно прогуливаясь по ярко освещенным улицам. Наяна с удивлением обнаружила, что Сахедж старается держать и физическую дистанцию – будто от случайного прикосновения его долбанет током.

– Сахедж, почему ты отодвигаешься? – Наяна старалась как можно тщательнее подобрать слова, опасаясь обидеть наконец-то обретенного друга.

– Ты правда не знаешь? – удивился Сахедж.

– Чего не знаю?

– Моей фамилии?

– Нет. На занятиях, и в школе и онлайн, ее скрывают, будто ты отпрыск какой-то телезвезды или из какой-нибудь известной семьи.

– Нет, наоборот. Это делают, чтобы вы не испытывали дискомфорта.

– В смысле?

– Ну, когда-то это описывали как ощущение оскверненности.

– Ты о своей касте, что ли? Но ведь эту систему отменили давным-давно.

Сахедж горько усмехнулся.

– Ее запретили законом, о ней не говорят в новостях, но она существует.

– Но откуда об этом знает искусственный интеллект?!

– А он не знает. Ему не нужно знать определение каст. Все, что ему требуется – история пользователей. Как бы мы ни скрывались, не меняли фамилии, следы все равно остаются. Их стереть невозможно.

Наяна вспомнила: мама ведь говорила, что искусственный интеллект знает только то, чему его учат люди. Она немного поиграла с этой мыслью, а затем внимательно посмотрела на Сахеджа:

– Так что, по-твоему, искусственный интеллект выявляет невидимую дискриминацию и оценивает ее количественно?

Сахедж посерьезнел, на миг задумался и фыркнул.

– Чуть не забыл. Еще – цвет моей кожи. Ты же знаешь, что на санскрите одно и то же слово означало и каста, и цвет?

– Это же полный бред!

– Нет, это реальность. Женщины из низшей касты могут встречаться с мужчинами из высшей касты и даже выходить за них замуж. Но наоборот – ни в коем случае. Это вконец испортит репутацию семьи девушки.

– Неужели искусственный интеллект действительно волнуют подобные глупости?

– Ему наплевать на наши устаревшие социальные устои! Но он стремится уменьшить размер страхового взноса пользователей, и поэтому GI пытается помешать нам с тобой быть вместе.

Наяна услышала главное слово – «вместе». Щеки у девушки вспыхнули.

– «Максимизация целевой функции» – так это называется.

– Чего-чего?

– Люди поставили перед искусственным интеллектом цель: снижать страховые взносы клиентов до минимально возможного уровня. И теперь он решает эту задачу. Он вообще не учитывает факторов, которые не влияют на снижение взноса, и ему уж точно без разницы, счастливы люди или нет. Машины недостаточно умны, чтобы интерпретировать ощущения поверх статистических данных. К тому же несправедливость и предрассудки по-прежнему вполне реальны. А искусственный интеллект только обнажает этот позор.

– Откуда ты все это знаешь?

Сахедж улыбнулся.

– Хочу поступить в Империал-колледж[19], стать специалистом по искусственному интеллекту. Хочу изменить эту дурацкую ситуацию.

За умными разговорами парочка незаметно дошла почти до дома Наяны – на последнем перекрестке Сахедж остановился и приготовился прощаться. Расставаться не хотелось, и тут Наяну осенило.

– А почему мы не можем изменить это прямо сейчас? Разве мы разрешили искусственному интеллекту распоряжаться нашей судьбой? Как предсказаниям на FateLeaf, написанным тысячи лет назад?

По лицу Сахеджа пробежала тень.

– Ты заходила на FateLeaf после подключения к GI?

– Ох, как мне надоел их золотой слоненок! А при чем тут FateLeaf?

– FateLeaf входит в семейство приложений GI, как и MAGIComb, и Cheapon. Если принять условия совместного использования данных, то получишь более точное предсказание.

– Точно! – охнула Наяна. – И как я раньше не додумалась? Выходит, судьбы с листьев Наади вовсе не подлинные! Я, как и все, хотела, чтобы все было по-настоящему, – а прорицание просто говорило то, что мне хотелось услышать.

До Наяны наконец дошло: ее надурили. Только она еще не решила, обрадоваться или страдать и мучиться.

Сахедж внимательно посмотрел на Наяну, чуть помялся и указал на улицу, по которой собирался возвращаться домой.

– Мы там живем. Дорога идет через строительную площадку Дхарави. Раньше там были трущобы. Представляешь, больше миллиона человек на пятачке 500 на 500 метров! Туристы приезжали фотографироваться, только жить там никто не хотел. Теперь Дхарави наконец-то станет нормальным местом, – Сахедж как будто бы вел экскурсию, и Наяне было интересно – она, конечно, слышала о Дхарави, но не подозревала о многих подробностях. – Учти, я просто предупреждаю: если ты приблизишься к Дхарави, GI завалит тебя предупреждениями – о болезнях, начнет писать, чтобы ты ни коем случае не пила там воду, будет умолять держаться подальше. Наяна, ты справедливая, но это дорога не для таких, как ты. Мир на вашей стороне, а не на стороне тех, кто живет там, – Сахедж опять указал на дорогу к своему дому. – Так что если уж говорить о судьбе – то вот она, наша судьба.

– А можно я с тобой? – Наяна сама поразилась тому, как легко это выпалила, и шагнула вперед. – Я… Я не такая, как ты думаешь.

Сахедж с сомнением наклонил голову:

– Уверена?

Наяна еще раз взглянула на дорогу к Дхарави, к запретной зоне в центре мегаполиса Мумбаи. Страшновато! Но в ушах вдруг зазвучал мамин голос: «Иногда стоит и рискнуть». Наяна поняла, что уверена – и кивнула.

Сахедж просиял, галантно согнул руку в локте, предложив своей даме опереться:

– Как пожелаете, мадемуазель.

И юная пара вновь отправилась в путь – вглубь древнего города, где за столетия люди много раз обновили каждый уголок и каждый кирпичик. По краям дороги выстроились старые и новые башни – словно переродившиеся души людей. Боги-машины завтрашнего дня со временем разрушат, а потом воссоздадут и эти души.

– Ну, так почему ты вырезал для меня именно голову ворона?

– Это мой тотем, мое астрологическое животное. Правда, в общении я гораздо более неуклюжий, чем большинство ворон.

– Надо же, как все просто!

– Да, так просто.

Завибрировал смартстрим – сначала тихонько, потом быстрее, сильнее, настойчивее. Наяна знала: это «золотой слоненок», Сахедж предупредил ее еще на перекрестке. Искусственный интеллект пытался спасти ее; предостерегал, просил не приближаться к месту, которое когда-то считалось крупнейшими трущобами в мире; убеждал держаться подальше от бедности, болезней, дискриминации и неприкасаемых – таких, как парень рядом с ней.

Наяна только потуже затянула капюшон толстовки и продолжала шагать рядом с Сахеджем.

Самый главный ответ ждал ее впереди, во тьме древних улиц.

Анализ. Глубокое обучение; большие данные; финансовые интернет-приложения, вредоносные проявления ИИ

Преимущества страховки Ganesh Insurance из рассказа «Золотой слон», работающей на базе ИИ, совершенно очевидны. Рия, мама Наяны, экономит семейный бюджет благодаря акционным приложениям. Папа Санджай бросает курить, пить крепкое спиртное и становится более ответственным водителем. Даже младший брат Рохан начинает правильнее питаться, когда под угрозой диабета ИИ забил во все колокола.

Такой набор приложений, работающих на смартстримах (вы, конечно, поняли, что это смартфоны 2041 года), и вправду мог бы помочь людям жить дольше, быть здоровее и богаче. Персонализированные ненавязчивые стимулы четко подсказывают, как жить более правильной жизнью.

В чем же тут подвох? В том, как и чем приходится за это расплачиваться. Вопрос лег в основу нашей первой истории, познакомившей читателя с основополагающей для ИИ концепцией глубокого обучения.

Глубокое обучение – прорыв в области искусственного интеллекта. Среди многих подобластей ИИ машинное обучение – это область, которая привела к наиболее успешным приложениям, а в машинном обучении самым большим достижением является направление под названием «глубокое обучение» – настолько, что термины «ИИ», «машинное обучение» и «глубокое обучение» иногда используются взаимозаменяемо (хотя это и неточно). В 2016 году глубокое обучение вызвало ажиотаж после впечатляющей победы AlphaGo над конкурентом-человеком в игре го, самой популярной интеллектуальной настольной игре в Азии. После этого нашумевшего поворота глубокое обучение стало важной частью большинства коммерческих приложений ИИ, и оно фигурирует в большинстве историй в AI 2041.

В «Золотом слоне» описан потрясающий потенциал глубокого обучения и его ловушки вроде воспроизведения социальных предрассудков в цифровых технологиях.

Так что же такое глубокое обучение? Каковы его ограничения? Какую роль в нем играют данные? Почему интернет и финансы считаются наиболее перспективными отраслями для применения ИИ на ранних этапах? Какие условия оптимальны для глубокого обучения? И почему кажется, что это работает чертовски хорошо – но только когда оно действительно работает? Каковы недостатки и недочеты ИИ?

Глубокое обучение вдохновлено сложнейшей сетью нейронов нашего мозга, оно строит программные многослойные искусственные нейронные сети с входными, скрытыми и выходными слоями. Данные поступают на входной слой – вход, а результат, соответственно, появляется на выходном слое. Между ними могут находиться тысячи других скрытых слоев – отсюда и «глубокое обучение».

Многие считают, что ИИ «программируется» или «обучается» людьми посредством указания конкретных правил и действий. Например, человек сообщает ИИ, что «у кошек заостренные уши и усы». Но на самом деле глубокое обучение работает лучше без внешних «человеческих» правил. Вместо того чтобы запоминать правила, данные людьми, на вход глубокой нейросети подается множество примеров, а на выход – правильные ответы для каждого из них. Таким образом, сеть между входом и выходом может быть «обучена», чтобы максимизировать шансы получить правильный ответ на заданный вход.

Есть множество примеров, когда человек не подсказывает, а передает информацию на входной слой и «правильный ответ» – на выходной слой.

Представим, что исследователи хотят, чтобы сеть глубокого обучения отличала фотографии кошек от любых других изображений. Для начала исследователь может подать на входной слой миллионы разных фото, маркированных «кошка» или «не кошка»; при этом на выходном слое метки «кошка» или «не кошка» уже должны быть заданы.

Сеть обучается определять, какие признаки в миллионах изображений наиболее информативны для отделения «кошек» от «не кошек». Это обучение представляет собой математический процесс, настраивающий в сети глубокого обучения миллионы (а иногда и миллиарды) параметров, для того чтобы максимизировать вероятность того, что для изображения кошки на входе будет выдана метка «кошки», а для другого изображения – метка «не кошка». На рисунке ниже вы видите такую нейронную сеть глубокого обучения для «распознавания кошек».

Нейронная сеть глубокого обучения, обученная отличать фото кошек от фотографий, на которых изображено что-то другое

В ходе этого процесса глубокая нейросеть математически обучается (или «тренируется») максимизировать значение «целевой функции». В нашем примере с распознаванием кошки такой целевой функцией является вероятность правильного распознавания «кошка» – «не кошка».

После такой тренировки сеть глубокого обучения, по сути, становится гигантским математическим уравнением; его можно протестировать на изображениях, которых она до этого не видела, и убедиться, что сеть путем «умозаключений» способна определить наличие или отсутствие в этих изображениях кошки.

С появлением глубокого обучения совершенно непрактичные ранее возможности ИИ стали пригодными для применения во многих областях и сферах. На следующей диаграмме наглядно показано, как резко сократилось число ошибок распознавания образов, когда начали использовать технологии глубокого обучения.

Глубокое обучение – это технология универсального применения, ее можно использовать практически в любой области для распознавания образов, прогнозирования, классификации данных, принятия решений или синтеза. Возьмем сферу страхования, о которой идет речь в рассказе «Золотой слон».

ИИ в приложениях Ganesh Insurance предобучили оценивать вероятность развития у клиента компании серьезных проблем со здоровьем и соответствующим образом корректировать его страховой взнос.

Чтобы сеть научилась отделять тех, у кого с большой вероятностью возникнут такие проблемы, от тех, у кого они, скорее всего, не возникнут, ИИ «тренируют» на обучающих данных, включающих в себя информацию обо всех прошлых заявителях на получение страховки, обо всех их обращениях в медицинские учреждения с разными жалобами и об их семьях. Каждый случай маркируют на выходном слое меткой «обращался с серьезными медицинскими проблемами» или «не обращался с серьезными медицинскими проблемами».

Использование глубокого обучения привело к существенному снижению частоты ошибок при распознавании объектов компьютерным зрением

Впитав в себя в процессе предобучения весь этот набор данных, ИИ может делать предсказания вероятности возникновения у заявителя серьезных проблем со здоровьем и решать, одобрять заявку на страхование или нет, и если да, то каким при этом должен быть страховой взнос.

Обратите внимание: в данном сценарии ни одному человеку не придется маркировать претендента на оформление страховки как объект, имеющий риски с точки зрения здоровья или же не имеющий таковых. Эти метки основываются исключительно на «достоверной информации» (например, были ли у претендента на оформление страховки серьезные жалобы на здоровье в прошлом).

Первая научная статья о глубоком обучении вышла еще в 1967 году. Потребовалось более полувека, чтобы эта технология проявила себя. Это заняло так много времени, потому что для обучения искусственной нейронной сети требуется огромное количество данных и вычислительных мощностей. И если вычислительные мощности – двигатель ИИ, то данные – его топливо.

Вычисления стали достаточно быстрыми для эффективного применения технологии глубокого обучения только в последнее десятилетие, и мы наконец научились собирать достаточное количество данных. Смартфон, которым вы пользовались сегодня, обладает в миллионы раз большей вычислительной мощностью, чем компьютеры НАСА, отправившие Нила Армстронга на Луну в 1969 году. А интернет 2020 года почти в триллион раз больше интернета 1995 года.

Глубокое обучение – результат озарения человеческого мозга, но работают они совершенно по-разному. Глубокому обучению требуется гораздо больше данных, чем человеку, но после обучения работе с ними технология значительно превосходит людей в решении многих задач, особенно связанных с количественной оптимизацией (например, выбор рекламного объявления для максимизации вероятности покупки или поиск нужного лица среди миллионов других).

Люди могут одновременно сосредоточиваться на ограниченном количестве объектов, а алгоритм, предобученный на океане информации, выявляет корреляции между неявными признаками, слишком незаметными или сложными для человека.

Кроме того, в процессе предобучения на огромном объеме данных глубокое обучение может подстраиваться под отдельных пользователей, базируясь на их паттернах поведения, равно как и на аналогичных шаблонах у других пользователей. Например, когда вы посещаете Amazon, ИИ этого веб-сайта выделяет или подсвечивает продукты, которые, скорее всего, должны вас заинтересовать и, соответственно, максимально увеличат ваши расходы.

А контент на вашей странице в Facebook должен удержать вас в соцсети как можно дольше. ИИ Amazon и Facebook таргетированный (узконаправленный); он предлагает каждому человеку разный, но персонализированный контент. Это значит, что показанный мне контент, скорее всего, сильно повлияет на меня, но может совершенно не сработать в вашем случае. Подобная узкая нацеленность гораздо эффективнее генерирует клики и покупки, чем универсальный подход традиционных статических веб-сайтов.

Каким бы мощным инструментом ни было глубокое обучение, панацеей его, увы, не назовешь. Человеку не сравниться с ИИ в деле одновременного анализа огромного количества данных, но мы обладаем уникальной способностью опираться при принятии решений на прошлый опыт, абстрактные концепции и здравый смысл.

Глубокому обучению для эффективной работы требуются огромные объемы релевантных данных, узкая конкретная сфера действия и четкая целевая функция. Если чего-то из этого нет – вероятнее всего, ничего путного не выйдет.

Мало данных? В алгоритме будет недостаточно примеров для выявления значимых корреляций. Несколько разных областей? Алгоритм не сможет учесть корреляции между примерами из разных областей и не получит достаточно данных, чтобы охватить все возможные перестановки. Слишком общая целевая функция? Алгоритм не будет иметь четких указаний для ее оптимизации.

Важно понимать, что «мозг ИИ» (собственно, глубокое обучение) работает совсем не так, как мозг человека. Их основные различия показаны в таблице 1:

Таблица 1. Сравнение сильных и слабых сторон человеческого мышления и «мышления» ИИ

Если вспомнить упомянутые выше сильные и слабые стороны глубокого обучения, то станет понятно, почему первыми бенефициарами этой формы ИИ стали крупнейшие интернет-компании. Высокотехнологические гиганты вроде Facebook и Amazon располагают самыми большими базами данных, которые к тому же часто размечаются автоматически в зависимости от действий пользователя (пользователь кликнул или купил? сколько минут он оставался на странице?).

Эти действия пользователей напрямую связываются с бизнес-метрикой (доход или количество кликов), которую необходимо максимизировать. Если заданные условия выполнены, приложение или платформа превращаются в денежный станок. Чем больше данных накапливается, тем большую выручку приносит платформа. Неудивительно, что интернет-гиганты вроде Google, Amazon, Facebook за последнее десятилетие показали поистине феноменальный рост и все активнее используют ИИ.

Как мы увидели в рассказе «Золотой слон», следом за интернет-компаниями огромный потенциал ИИ взяла на вооружение финансовая сфера, в том числе банки и те самые страховые компании.

Страховая отрасль обладает теми же преимуществами, что и интернет-компании: большой объем высококачественных данных из одной сферы (страхование), привязанных к бизнес-метрикам. С появлением финансово-технологических компаний, основанных на ИИ, таких как Lemonade и Waterdrop[20], появилась возможность покупать страховку или брать ссуду в компьютерном приложении с мгновенным одобрением.

Сегодня финтех-компании всерьез нацелены на победу над традиционными финансовыми корпорациями – ведь они показывают лучшие финансовые результаты (более низкий уровень дефолтов или мошенничества), предлагают клиентам мгновенные транзакции (с использованием ИИ и приложений) и более низкие затраты (благодаря исключению из этого цикла человеческого фактора). Однако и традиционные финансовые компании не сидят сиднем, а тоже спешно внедряют ИИ – так что гонка стартовала.

Есть еще одно любопытное преимущество финтех-компаний, взявших на вооружение ИИ: возможность использовать не только те данные, которые учитывают специалисты-люди. Иначе говоря, они укрепляют свою прогностическую силу за счет анализа огромного числа разнородных данных, которые не способен учесть никакой страховой агент.

Который не сумеет оценить, например, покупаете вы больше неполезных обработанных пищевых продуктов или полезных овощей; проводите вы больше времени в казино или в тренажерном зале; есть ли у вас постоянная подруга или вы вечно пристаете к женщинам в интернете. Но эти данные могут поведать о вас много важного, в том числе и о вашем относительном риске в качестве клиента страховой компании.

Кстати, миллионы единиц информации (или «признаков») можно найти в приложениях для мобильного телефона. Вот почему в нашем первом рассказе услуги Ganesh Insurance представлены в виде группы приложений под названием «Золотой слон». Они охватывают всё – от электронной коммерции до рекомендаций и купонов, инвестиций, ShareChat (реальная популярная индийская социальная сеть на местных языках) и придуманного Чэнем приложения для гадания FateLeaf.

Каждый раз, когда Наяна что-то покупает, пользуется рекомендацией, просит приложение предсказать судьбу или заводит с кем-то дружбу, Ganesh Insurance получает очередной кусок релевантной информации, и компания использует эти данные, чтобы стать еще более умной и оптимизированной. Это очень похоже на Google, который накапливает о вас очень неплохую базу данных, собирая крохи информации, которые вы случайно «насыпали» в Google, Google Play, Google Maps, Gmail и YouTube.

Потенциально это миллионы признаков, и пусть не все они актуальны и так уж полезны и большая часть имеет весьма скромную прогностическую силу, но даже среди последних глубокое обучение зачастую находит полезные и вполне информативные комбинации, которые между тем совершенно неуловимы и непостижимы для человека.

Как известно, любая палка – о двух концах, что уж говорить о мощной технологии. Мы не можем представить себе жизнь без электричества – но соприкосновение с источником тока смертельно опасно. Интернет делает наше существование комфортным – но одновременно мешает нам сосредоточиться. Каковы же недостатки глубокого обучения?

Когда кто-то (ИИ) знает тебя лучше, чем ты сам, – это уже большой риск. Очевидны преимущества ИИ: он может порекомендовать новые полезные продукты быстрее, чем ты их заметишь; присоветовать совместимые варианты романтических партнеров и друзей – исходя из того, что ему известно о твоих нынешних близких. Но у такой осведомленности, безусловно, имеется и обратная сторона.

С вами когда-нибудь бывало такое: садишься посмотреть на YouTube одно видео и застреваешь на три часа? Или проходишь в Facebook по какой-то более-менее провокационной ссылке, а тебе тут же рекомендуют куда более экстремальный контент?

В киноленте «Социальная дилемма»[21] наглядно показано, как непревзойденные способности ИИ в деле персонификации позволяют ему манипулировать нами, а мы даже не осознаем этого. Звезда фильма Тристан Харрис, президент и соучредитель Центра гуманитарных технологий и специалист по этике технологий, так высказался по этой проблеме: «Тебе и невдомек, что твой клик нацелил суперкомпьютер на твой мозг. Он активировал миллиарды долларов вычислительной мощности, которая очень многому научилась на своем опыте заманивания двух миллиардов человеческих существ снова и снова кликать мышью».

Эта зависимость затягивает нас в порочный круг. Он весьма выгоден крупным интернет-компаниям, будучи своего рода станком для печати денег. Еще в фильме утверждается, что все это зачастую резко сужает мировоззрение, поляризует общество, искажает истину и негативно влияет на настроение и психическое здоровье.

Говоря техническим языком, суть проблемы заключается в простоте целевой функции и в опасности бездумной оптимизации целевой функции по одному критерию, так как это способно привести к вредоносным внешним эффектам. Сегодня ИИ обычно оптимизирует единственный критерий – и чаще всего для того чтобы получить больше (кликов, рекламы, доходов). ИИ маниакально сосредоточен на этой корпоративной цели и ничуть не заботится о благополучии пользователей.

В нашей истории «Золотой слон» Ganesh Insurance обещает потенциальным клиентам минимизировать страховые взносы, что в значительной степени коррелирует с минимизацией выплат по медицинскому страхованию и, следовательно, с улучшением здоровья застрахованных. На первый взгляд это подразумевает совпадение корпоративных целей с целями пользователей.

Однако в рассказе ИИ этой страховой компании определяет, что отношения между Наяной и Сахеджем с большой степенью вероятности приведут к увеличению страхового взноса семьи Наяны, и потому изо всех сил старается помешать их зарождающейся любви.

ИИ Ganesh Insurance предобучен находить причинно-следственные связи. Он может обнаружить повышенный риск заболеваний, связанных с курением, и, следовательно, будет пытаться отвратить человека от этой вредной привычки; и это хорошо. Но, руководствуясь узконаправленным анализом данных, ИИ может заставить приложение увеличить страховые взносы из-за потенциального романтического союза. Таким образом, умозаключения ИИ приводят к действиям, которые разрывают души людей на части и усугубляют неравенство.

Как же решается проблема? Один из первейших подходов – обучить ИИ сложным целевым функциям, таким как снижение страховых взносов с учетом фактора справедливости. Например, Тристан Харрис предлагает использовать в качестве метрики не просто «проведенное в интернете время», а «время, проведенное с толком».

Эти две цели можно объединить в одну сложную целевую функцию. Еще одно решение предложено экспертом в области ИИ Стюартом Расселом: гарантировать полезность каждой целевой функции путем поиска способа включить людей в цикл дизайна таких функций.

Например, можно попытаться построить целевые функции для «большего человеческого блага», такого, например, как счастье, и привлечь людей, чтобы определять, какой смысл они вкладывают в это понятие. (Эту идею мы исследуем подробнее в главе 9 «Остров счастья».)

Однако очевидно: эти идеи требуют дополнительных исследований в области сложных целевых функций и поиска способов количественной оценки таких расплывчатых концепций, как «с толком проведенное время», «справедливость» или «счастье». Более того, реализация этих идей изначально предполагает, что компании станут зарабатывать меньше денег.

Так как же нам стимулировать интернет-гигантов поступать правильно, невзирая на неизбежные финансовые потери? Один из способов – на законодательном уровне ввести нормы, предусматривающие наказание для нарушителей.

Другой путь – поощрять позитивное поведение как часть корпоративной социальной ответственности, например с помощью принципов ESG (environmental, social and corporate governance – экологическое, социальное и корпоративное управление). Сегодня принципы ESG уже набирают обороты в некоторых бизнес-кругах, и не исключено, что ответственный ИИ может стать частью будущей структуры ESG.

А еще можно привлечь третьи стороны и отвести им роль сторожевых псов: создавать информационные панели для основных показателей деятельности компаний и отслеживать такие показатели, как количество генерируемых «фейковых новостей» или «судебных исков с обвинениями в дискриминации», чтобы заставить их включать пропользовательские метрики.

И наконец, возможно, самым сложным, но и самым эффективным решением станет обеспечение стопроцентного совпадения интереса владельца ИИ с интересами каждого пользователя (подробнее об этом утопическом варианте рассказывается в главе 9).

У глубокого обучения есть еще один потенциальный недостаток – предвзятость. Поскольку ИИ основывает свои решения исключительно на данных и оптимизации целевой функции, они часто оказываются более справедливыми, чем решения, принимаемые людьми (на которых чрезмерно влияют всевозможные традиции и предрассудки).

Но ИИ тоже может быть предвзятым. Например, если использованных для обучения ИИ данных недостаточно, и, как следствие, они неверно отражают реальную картину, или данных достаточно, но расовая или гендерная демография в них искажена сторонними факторами. В результате отдел управления персоналом однажды обнаружит, что алгоритмы компании предвзяты к женщинам – потому что в обучающих данных было мало женщин.

Данные могут быть предвзятыми еще и потому, что их собирали в обществе с предрассудками. Так, чат-бот Tay компании Microsoft и алгоритм обработки естественного языка GPT-3 компании OpenAI печально прославились неуместными комментариями о меньшинствах.

Недавние исследования показали, что ИИ способен с высокой степенью точности определять сексуальную ориентацию людей на основе микровыражений лиц. Но такие способности чреваты риском дискриминации. В рассказе «Золотой слон» примерно так и получилось с Сахеджем – ИИ путем расчетов определил его как далита. Иначе говоря, Сахеджа не назвали «неприкасаемым», но поскольку его данные и характеристики коррелировали с принадлежностью парня к этой касте, Наяну забрасывали предупреждениями. Система ИИ таким образом пыталась разлучить молодых людей.

Это, конечно, непреднамеренная несправедливость, но последствия ее могут быть чрезвычайно серьезными. Если же общество применит некорректные алгоритмы к таким сферам, как принудительная госпитализация или уголовное судопроизводство, ставки окажутся еще выше.

Решение проблем справедливости и предвзятости при использовании ИИ потребует немалых усилий. Некоторые шаги в этом направлении совершенно очевидны и понятны.

Во-первых, компании, использующие ИИ, обязаны информировать общественность, где и с какой целью используются такие системы.

Во-вторых, инженеров по разработке ИИ следует готовить на основе набора стандартных принципов вроде адаптированной клятвы Гиппократа, которую дают врачи; эти специалисты должны понимать, что их профессия подразумевает элемент этики в продуктах, серьезно меняющих жизнь людей, и, следовательно, они должны поклясться защищать права пользователей.

В-третьих, необходимо ввести тщательное тестирование всех ИИ-продуктов; оно должно быть встроено в инструменты обучения ИИ и заблаговременно предупреждать о моделях, обученных на данных с несправедливым демографическим охватом. В противном случае использование ИИ-продукта должно быть запрещено.

В-четвертых, можно принять новые законы, требующие аудита ИИ. Скажем, если на компанию поступает определенное количество жалоб, ей следует обязать пройти такой аудит (на предмет справедливости, раскрытия информации и защиты конфиденциальности) – точно так же, как фирма подпадает под налоговую проверку, если ее бухгалтерская отчетность выглядит подозрительно.

И, наконец, последняя проблема глубокого обучения – объяснения и обоснования. Люди всегда могут растолковать, почему они приняли то или иное решение – оно основано на в высшей степени конкретном опыте и правилах.

Но решения глубокого обучения базируются на сложных уравнениях с тысячами функций и миллионами параметров. «Резоном» для глубокого обучения, по сути, является многомерное уравнение, полученное на основе больших объемов данных. И вряд ли возможно как следует объяснить его людям – оно слишком сложно. Тем не менее многие ключевые решения ИИ должны сопровождаться объяснением причин – либо по закону, либо потому, что этого ожидают пользователи.

Поэтому в настоящее время проводится множество исследований, направленных на увеличение «прозрачности» ИИ, – либо путем резюмирования его сложной логики, либо посредством введения новых ИИ-алгоритмов, которые изначально проще интерпретировать.

Описанные выше недостатки и ограничения глубокого обучения привели к тому, что в обществе появилось серьезное недоверие к ИИ. Но ведь все новые технологии имели свои недостатки. История показывает, что со временем многие ранние ошибки удается исправить, а технологии – усовершенствовать.

Возьмем для примера предохранитель в любой электрической сети. Он оберегает людей от поражения током, а имущество – от пожара. Или антивирусные программы – они защищают от компьютерных вирусов. Я уверен, со временем появятся технологии и политические решения и для проблем, связанных с негативным влиянием ИИ, с предвзятостью и непрозрачностью его работы.

Но сначала нам придется пойти по стопам Наяны и Сахеджа и сообщить людям о серьезности проблем, а уж затем мобилизовать человечество на поиск их решений.

Глава 2. Боги под масками

И правда, и утро со временем проясняются.

Африканская пословица

Примечание Кай-Фу: В этой истории рассказывается о молодом нигерийском видеопродюсере, которого наняли для создания серьезного дипфейка[22]. Одним из основных направлений ИИ является так называемое компьютерное зрение – оно учит машины «видеть», и недавние прорывы в этой сфере позволяют получать невиданные доселе результаты. Этот рассказ – фантазия о мире будущего, характерной чертой которого стали беспрецедентные высокотехнологические игры в стиле «кошки-мышки» между мошенниками и их разоблачителями; между преступниками и потенциальными жертвами. Можем ли мы избежать такого мира, в котором все визуальные линии размыты и нечетки? Я исследую этот вопрос в своем комментарии: я опишу недавние и предстоящие открытия в области компьютерного зрения, биометрии и безопасности ИИ – трех технологических сферах, которые позволяют создавать подделки-дипфейки и другие подобные технологии.

Поезд наземного метро подтягивался к станции Яба, и Амака нажал кнопку открытия дверей. Они с визгом разъехались; парень, не дожидаясь полной остановки, спрыгнул на перрон. Он больше не мог вынести в этом черепашьем поезде, в его спертом воздухе, ни одного мгновения. Почти прижавшись к какому-то пожилому мужчине, Амака ловко проскользнул через турникет на выходе из вокзала – он опять проехался зайцем.

Система распознавания лиц автоматически списывала стоимость проезда со счета каждого проходящего мимо камер человека. Но Амака был в маске – камеры его не увидели, и он опять прокатился бесплатно.

Маски давно стали обычным аксессуаром для молодежи Лагоса[23]. Для их родителей они были скорее ритуальными атрибутами, но для молодых людей, которых в последние десятилетия заметно прибавилось, маски стали модным трендом, а заодно и средством обмана камер наблюдения.

В Лагосе, крупнейшем городе Западной Африки, жило примерно от 27 до 33 миллионов человек – каждый метод подсчета давал свою цифру. Пять лет назад государство строго ограничило число приезжих, считая мигрантами даже тех, кто родился в других частях Нигерии. И странствующим мечтателям вроде Амаки пришлось постоянно находиться в состоянии поиска убежища – организовывать пристанище в нелегальных квартирах, в общежитиях, на рынках, на автобусных станциях или даже под эстакадами.