Читать онлайн Новые темные века бесплатно

Новые темные века

Серия «Философия – Neoclassic»

James Bridle

THE NEW DARK AGE

Перевод с английского Н. Остроглазовой

Печатается с разрешения издательства Verso, an imprint of New Left Books и литературного агентства Andrew Nurnberg.

Рис.0 Новые темные века

© James Bridle, 2018

© Школа перевода В. Баканова, 2021

© Издание на русском языке AST Publishers, 2023

Глава 1

Пропасть

«Если бы только существовала технология для связи с вами в чрезвычайной ситуации», – вновь и вновь повторял мой компьютер.

Когда в 2016 году в США объявили результаты президентских выборов, я, возможно, под влиянием коллективного разума соцсетей, вместе с несколькими знакомыми в приступе безнадежной ностальгии стал пересматривать сериал «Западное крыло». Облегчения это не принесло, но у меня вошло в привычку, когда я оставался один, смотреть по одному-два эпизода по вечерам или в самолете. После свежих апокалиптических исследовательских статей об изменении климата, тотальной слежке и сложной политической ситуации в мире неолиберальная камерная постановка с приветом из нулевых была не худшим средством отвлечься. И вот я уже на середине серии из третьего сезона, в которой Лео Макгерри, глава администрации президента Бартлетта, жалеет о том, что пропустил начало чрезвычайной ситуации из-за собрания анонимных алкоголиков.

«И что бы вы сделали полчаса назад, чего еще сделано не было?» – спрашивает президент.

«Я бы на полчаса раньше знал то, что знаю сейчас, – отвечает Макгерри. – Именно поэтому я больше не буду посещать собрания – это роскошь».

Бартлетт иронизирует: «Если бы только существовала технология для связи с вами в чрезвычайной ситуации! Какое-нибудь устройство вроде личного телефона, на который при необходимости можно позвонить. – Он достает мобильный из кармана Лео. – Возможно, оно выглядело бы как-то так, мистер Моторолла!»

Этот эпизод я так и не досмотрел. Картинка на экране двигалась, но ноутбук завис и повторял одно и то же предложение: «Если бы только существовала технология для связи с вами в чрезвычайной ситуации! Если бы только существовала технология для связи с вами в чрезвычайной ситуации! Если бы только существовала технология для связи с вами в чрезвычайной ситуации!»

Эта книга о том, чтоˊ в чрезвычайной ситуации нам стараются сообщить технологии. А еще книга о том, как и что мы знаем и чего знать не можем.

За последние сто лет стремительное развитие технологий изменило планету, общество, самих нас, при этом наше миропонимание осталось прежним. Объяснить тому причины, как и предложить решения, сложно во многом из-за того, что мы полностью опутаны технологическими системами, влияющими на наше мышление и поведение. Мы не можем выйти из этой среды, исключить ее из своего сознания.

Технологии причастны к самым острым проблемам современности: вышедшая из-под контроля экономическая система с растущим разрывом между богатыми и бедными; невозможность глобального политического и социального консенсуса и, как следствие, подъем национализма, социальное разделение, этнические конфликты и гибридные войны; опасное для человечества потепление климата.

В науке и обществе, в политике и образовании, в войне и торговле новые технологии не просто повышают наши способности, но и активно воздействуют на них, хорошо это или плохо. Все острее необходимость научиться по-другому, критически воспринимать новые технологии, чтобы сознательно подходить к происходящим изменениям, направлять их. Если мы не поймем, как функционируют сложные технологии, как взаимосвязаны технологические системы и как взаимодействуют суперсистемы, собранные из систем поменьше, тогда мы, находясь в самом их центре, будем беспомощны, а эгоистичным элитам и бесчеловечным корпорациям будет проще оборачивать технологический потенциал по своему усмотрению. Мы застряли в непонятном сплетении технологий, и, помимо практических аспектов функционирования, важно разобраться, как они появились и как им удается оставаться незаметными. Нужна грамотность.

Истинная грамотность в отношении систем включает в себя гораздо больше аспектов, чем простое понимание. Контекст и следствия видны, только если выйти за пределы практического использования технологий. Нужно перестать считать панацеей какую-то одну систему – любое единственное решение всегда ограниченно. Грамотность подразумевает владение метаязыком систем, на котором они говорят о себе и общаются друг с другом. Настоящая грамотность, и это важно, способна как критиковать, так и отвечать на критику.

Люди плохо разбираются в технологиях? Надо улучшить технологическое образование, по-простому – научиться программировать. К этому часто призывают политики, ученые, аналитики, лидеры бизнеса. Их аргументы откровенно прагматичны и ориентированы на рынок: информационной экономике не хватает программистов, а молодежи нужны рабочие места. Идея неплоха, но навыков программирования недостаточно – можно уметь починить раковину, не имея представления о сложной взаимосвязи между грунтовыми водами, политической географией, изнашиванием инфраструктуры и социальной политикой, от которых зависят системы жизнеобеспечения. Мало понимать функционал систем, не зная их истории и не задумываясь о возможных последствиях. Откуда появились эти системы, кто и для чего их придумал, какой в них заложен потенциал?

Вторая опасность сугубо функционального понимания технологий заключается в том, что я называю вычислительным мышлением. Вычислительное мышление коренится в так называемом солюционизме – вере в то, что все можно решить с помощью вычислительных технологий. С какой бы практической или социальной проблемой мы ни столкнулись – для нее найдется специальное приложение. Однако сами технологии предостерегают нас от подобного заблуждения. Более того, из вычислительного мышления (часто на бессознательном уровне) следует, что мир действительно такой, каким он представляется солюционистам, а значит, невозможно думать и говорить о нем в не поддающихся вычислению терминах. Это мышление очень распространено, оно стоит за худшими общественными и поведенческими тенденциями, и ему должна противостоять настоящая системная грамотность. Если философия занимается тем, чего не могут объяснить другие науки, то системная грамотность – это мышление, признающее влияние компьютерных технологий, но имеющее дело с миром, не поддающимся вычислению.

«Навыки программирования» не заменяют понимание систем – не нужно звать сантехника, чтобы воспользоваться туалетом или чтобы не жить в страхе, что в канализации таится опасность. Хотя списывать со счетов вероятность того, что из труб может вылезти нечто смертельно опасное, тоже нельзя; сложные вычислительные системы составляют большую часть инфраструктуры современного общества, и, если в них действительно таится опасность, одно знание об этом нас не спасет.

В этой книге мы уделим внимание техническим аспектам, не забывая, однако, о тех, кто от них далек. Им тоже нужно понимать: нужно жить, даже когда не все понятно. Нам бывает сложно постичь и описать масштаб новых технологий, даже помыслить их проблематично. Необходимы новые метафоры – метаязык, чтобы описать мир, созданный сложными системами. Нужны новые условные обозначения, чтобы, признавая реальность мира, в котором люди, политика, культура и технология полностью сцеплены, попытаться в нем разобраться. Между всеми нами всегда существовала связь: хаотичная, но всеохватывающая и неизбежная. В Сети же эта связь очевидна и неоспорима, нужно это осознать и научиться по-новому с ней работать. Таинственный Интернет и прочие «бестелесные» технологии, лишающие нас субъектности, не изолированы, а образуют Сеть. Под «Сетью» я подразумеваю большую систему, бурлящий котел, объединяющий технологии и людей, человеческое и нечеловеческое, субъектность и понимание, знание и незнание. Пропасть лежит не между нами и технологиями, а в самой Сети, и именно через Сеть мы об этом узнаём.

И наконец, системная грамотность дает возможность критиковать и отвечать на критику. Системы, которые мы будем обсуждать, слишком важны, чтобы их могли понять, спроектировать и привести в действие лишь немногие избранные, особенно если эти немногие слишком легко присоединяются к старым элитам и властным структурам или подчиняются им.

Существует конкретная причинно-следственная связь между сложностью систем, их туманным описанием и глобальными проблемами неравенства, насилия, популизма и фундаментализма. Слишком часто говорится, что новые технологии, по сути, открывают нам новые возможности. Хотя это само по себе – пример свойственного всем вычислительного мышления. Некритичный подход опасен и для тех из нас, кто приветствовал новые технологии, радовался открывшимся возможностям и, часто наивно, выступал за их распространение. Однако, критикуя, мало ссылаться на угрозу личной безопасности или выступать от имени непривилегированных или незнающих. В Сети одного индивидуализма или эмпатии недостаточно. Выживание и солидарность должны быть возможны по умолчанию, даже без полного понимания.

Мы не понимаем и не способны понять всего, но мы можем об этом думать. Способность мыслить, не претендуя на полное понимание и даже не ставя его своей целью, является ключом к выживанию в новые темные века, потому что, как мы увидим, понять его зачастую невозможно. Технологии, если не полагаться на них всецело, могут помочь в этом мышлении: компьютеры нужны не для того, чтобы давать ответы, а чтобы ставить вопросы. Как мы еще не раз увидим в этой книге, глубокое и системное понимание технологии позволяет подстраивать ее метафоры под иные способы мышления.

Начиная с 1950-х годов инженеры-электрики стали изображать на своих схемах новый символ – неровный круг, в итоге закрепившийся в форме облака. Смысл в том, что к облакам можно было подсоединить что угодно, а сами они могли символизировать всё – от энергосистем до компьютерных сетей. Облако использовалось для упрощения – позволяло сосредоточиться на текущей задаче и не думать об остальном. По мере того, как сети разрастались и становились все более взаимосвязанными, росла и значимость облака. Малые системы определялись своим отношением к облаку, тем, насколько быстро они могли обмениваться с ним информацией, и тем, что они могли из него извлечь. Облако набирало вес, становилось многофункциональным ресурсом. Облако могло быть мощным и умным. Само слово приобрело популярность в деловых кругах, его использовали как «фишку» для увеличения продаж. Из условного обозначения, которым пользовались инженеры, облако превратилось в метафору.

Сегодня облако – центральная метафора Интернета, глобальная система великой силы и энергии, которая, тем не менее, сохраняет ауру чего-то трансцендентного и сверхъестественного, чего-то запредельного. Мы подключаемся к облаку, работаем в нем, храним или находим там информацию, думаем с его помощью. Мы платим за него, но замечаем его только в случае неполадок. Мы постоянно испытываем его влияние, не понимая по-настоящему, что это такое и как работает. Мы приучаем себя полагаться на него, имея при этом самые смутные представления, что и чему мы на самом деле вверяем.

Облако критикуют за случающиеся сбои, тогда как его главный недостаток в том, что это никудышная метафора. Облако не невесомо, не аморфно, не невидимо, если знать, куда смотреть и где искать. Облако – это не какое-то волшебное место из водного пара и радиоволн, где все работает само по себе. Это физическая инфраструктура из телефонных линий, оптоволокна, спутников, глубоководных кабелей, бесконечных рядов компьютеров, потребляющих огромные объемы воды и энергии и находящихся в юрисдикции государственных и коммерческих структур. Облако – это новая всепоглощающая отрасль. Облако не просто отбрасывает тень, оно оставляет след. Облако вобрало в себя многие, некогда вполне осязаемые, объекты: магазины, банки, места отдыха и общения, библиотеки и избирательные участки. Скрытые в нем, они почти незаметны, и их сложнее критиковать, исследовать, поддерживать и регулировать.

Другая линия критики заключается в том, что наше недопонимание не случайно. На то, чтобы скрывать содержимое облака, есть веские причины – от национальной безопасности и коммерческой тайны до всевозможных должностных преступлений. Если что и «испаряется», так это субъектность и право собственности. Ваши электронные письма, фотографии, обновления статуса, деловые документы, данные из библиотеки и информация о голосовании, медицинские записи, кредитная история, поставленные лайки, воспоминания, опыт, личные предпочтения и невысказанные пожелания хранятся в облаке, внутри чужой инфраструктуры. Google и Facebook не зря строят центры обработки данных в Ирландии (низкие налоги) и Скандинавии (дешевая энергия и охлаждение). Неспроста мировые, якобы постколониальные империи держатся за клочки спорных территорий, таких как Диего-Гарсия или Кипр – в этих местах облако соприкасается с землей и можно воспользоваться сомнительным правовым статусом этих регионов. Облако зависит от географического распределения могущества и влияния и, в свою очередь, служит их укреплению. Облако – это борьба за власть, просто большинство людей этого не осознают.

Вся эта критика справедлива, и один из способов лучше разобраться в облаке – проследить, куда падает его тень; площадки центров обработки данных и подводные кабели показывают, как сегодня распределяется власть. Облако можно профильтровать, выжать и заставить говорить. По мере того, как дымка рассеивается, на свет наверняка выйдут кое-какие секреты. Разобравшись в том, как облако используется для сокрытия реального функционирования технологии, мы сможем понять, как маскируется субъектность технологий: непрозрачные машины, непостижимый язык программирования, физическая отдаленность, юридические конструкты. Следовательно, сможем узнать, как действует сама власть, привыкшая к скрытности задолго до того, как обзавелась укрытиями в виде облаков и черных ящиков.

Помимо этого – опять же функционального – видения, помимо «заземления», можем ли мы еще раз развернуть облако, чтобы получить новую метафору, которая отразит не только нашу неспособность понять, но и наше осознание такого непонимания? Можем ли мы заменить базовое вычислительное мышление облачным, которое вбирает в себя непонимание и проливается плодотворным дождем? В XIV веке неизвестный христианский мистик написал трактат «Облако неведения» – это облако отделяет мир людей от Бога, воплощения добра, справедливости и праведности. Это облако нельзя пронзить мыслью, напротив, нужно отказаться даже от попыток постичь его умом. Субъектность, возможность действовать возникает, если сосредоточиться на текущем моменте, на «здесь и сейчас», а не на предугаданном, вычисленном будущем. «Стремитесь не познать, а прочувствовать, – призывает автор. – Из-за гордыни знание может часто обманывать, но это нежное, любящее чувство не обманет. Знание взращивает тщеславие, а любовь – созидает. Знание полно труда, но любовь полна покоя» (1). Это и есть то облако, которое мы безуспешно хотели постичь вычислением. Облачное мышление, восприятие незнания, может помочь нам уйти от вычислительного мышления, и к этому нас подталкивает сама Сеть.

Самое потрясающее свойство Сети – это отсутствие у нее единственного и неизменного предназначения. Никто не планировал создать Сеть и ее самый яркий образец – Интернет. С течением времени система накладывалась на систему, культура на культуру, они соединялись через общественные программы и частные инвестиции, через личные взаимоотношения и технологические протоколы, воплощались в стали, стекле и электронах, в физическом пространстве и в пространстве сознания. В Сети нашли отражение как самые базовые инстинкты, так и высочайшие идеалы; Сеть вобрала в себя и обострила наиболее обыденные и радикальные желания, что стало неожиданностью для самих создателей, для всех нас. Она возникла не в качестве решения некой проблемы, а, напротив, появилась неумышленно в результате наших коллективных действий по созданию инструментов для несознательного поколения. Сеть демонстрирует неадекватность вычислительного мышления, всеобщую и безграничную взаимосвязь. Она настаивает на необходимости постоянно переосмысливать себя: систему сдержек и противовесов, общественное предназначение и недостатки, роли, обязательства, предрассудки и возможности. Все или ничего – вот чему нас учит Сеть(2).

Наша глубочайшая ошибка в том, как мы до последнего времени думали о Сети, какие имманентные свойства ей приписывали и от этого полагали, что то или иное функционирование неизбежно. Под имманентным я имею в виду то, что они возникли из ниоткуда – из ранее созданного нами, но без нашего содействия. Под неизбежным я подразумеваю веру в прямолинейность и неотвратимость технологического и исторического прогресса. Такую веру десятилетиями критиковали, но не искоренили, социологи и философы. Напротив, эта вера воплотилась в самих технологиях: в машинах, которые, как считается, реализуют заложенные в них желания. Мы смирились с линейностью прогресса и угодили в пропасть вычислительного мышления.

Последние несколько веков мощнейшим двигателем прогресса служила центральная идея Просвещения: чем больше знаний – больше информации, – тем лучше решения. «Лучше» каждый волен трактовать по своему разумению. Несмотря на звучавшую в период современности и постмодерна критику, этот основной принцип стал определять не только то, что уже реализовано современными технологиями, но даже то, что только считается возможным. На заре Интернета его часто называли «информационной магистралью», проводником знания, который в мерцающем свете оптоволоконных кабелей просвещает мир. Любой факт, любой объем информации доступен одним нажатием клавиши, по крайней мере, мы в это поверили.

Мы подключились к обширному хранилищу знаний и вместе с тем так и не научились мыслить. Верно обратное: то, что должно было просветить мир, на практике погрузило его во тьму. Изобилие информации и множественность мировоззрений доступных нам сегодня через Интернет приводят не к согласованности и консенсусу, а к реальности, раздираемой фундаменталистским упорством упрощенных нарративов, теорий заговора и политики постправды. Именно это противоречие заложено в идее новых темных веков, когда ценность знания теряется из-за изобилия этого прибыльного товара, и нам нужно оглядываться по сторонам в поисках нового миропонимания. В 1926 году Говард Филлипс Лавкрафт писал:

«Величайшее милосердие мироздания, на мой взгляд, заключается в том, что человеческий разум не способен охватить и связать воедино всё, что наш мир в себя включает. Мы обитаем на спокойном островке невежества посреди темного моря бескрайних знаний, и вовсе не следует плавать на далекие расстояния. Науки, каждая из которых уводит в своем направлении, пока что причиняют нам не очень много вреда; но однажды объединение разрозненных доселе обрывков знания откроет перед нами такой ужасающий вид на реальную действительность, что мы либо потеряем рассудок от этого откровения, либо постараемся укрыться от губительного просветления под покровом нового Средневековья»(3).

То, как мы мыслим и понимаем свое место в мире, а также наши отношения друг с другом и с машинами в конечном итоге определят, будет ли безумие или покой там, куда заведут нас технологии. Темнота, о которой я пишу, не буквальна, и она не означает отсутствие знаний или помеху на пути к ним, как принято думать о темных веках Средневековья. Это не выражение нигилизма или безысходности. Скорее речь о природе текущего кризиса и вытекающих из него возможностей: очевидная неспособность ясно видеть то, что находится прямо перед нами, действовать осмысленно, активно и справедливо, и через признание этой темноты искать новые способы увидеть все в ином свете.

18 января 1915 года, в самый беспросветный час Первой мировой войны, Вирджиния Вульф отметила в дневнике, что «будущее темно, и, я полагаю, так и должно быть». Вот комментарий Ребекки Солнит: «Это парадоксальное заявление, что неизвестное не должно становиться известным через ложные предсказания или проецирование мрачных политических или идеологических нарративов; это праздник тьмы, желание (на что указывает «я полагаю») быть неуверенным даже в своем собственном утверждении»(4).

Донна Харауэй отмечает, что Вульф снова высказывала эту мысль в «Трех гинеях», опубликованных в 1938 году(5):

«Мы обязаны думать. Давайте думать в офисах, в омнибусах, наблюдая в толпе на площади церемонию коронации или инаугурацию лорд-мэра; давайте думать, проходя мимо кенотафа, в суде; давайте думать на крещениях, свадьбах и похоронах. Давайте не переставать думать, что такое наша «цивилизация»? Что это за церемонии и почему мы должны принимать в них участие? Что это за профессии и почему они приносят нам деньги? Если коротко, куда нас ведет процессия отпрысков ученых мужей?»(6)

Класс и социальные конфликты, исторические иерархии и несправедливости, на которые намекает Вульф, говоря о процессиях и церемониях, сохранились по сей день, хотя некоторые места, где предлагалось о них размышлять, изменились. В 1938 году, чтобы посмотреть на парад в честь лорд-мэра или по случаю коронации, толпы выходили на улицу, а сейчас все транслируют по Сети. Галереи и мемориалы также переместились в центры обработки данных и подводные кабели. Мы не можем исключить Сеть из мышления; единственное, что нам доступно, – думать в ней и через нее. Мы можем прислушаться, когда она обращается к нам в случае чрезвычайной ситуации.

Здесь нет аргументов против технологии – это был бы аргумент против нас самих. Скорее я призываю к более вдумчивому использованию технологий, вкупе с радикально иным пониманием того, что можно помыслить и знать о мире. Вычислительные системы как инструменты подчеркивают один из наиболее сильных аспектов человечества: нашу способность действовать эффективно и менять мир по своему желанию. При этом, раскрытие и формулирование этих желаний, обеспечение того, чтобы они не унижали, не подавляли, не предавали забвению и не отменяли желания других, остается нашей прерогативой.

Технология не просто создает и использует инструменты, она генерирует метафоры. В инструменте мы воплощаем в жизнь определенное миропонимание, которое, будучи овеществленным, способно воздействовать на мир. Инструмент, хотя мы редко это осознаем, становится еще одним активным элементом нашего понимания. То есть речь о скрытой метафоре, когда конкретная мысль или образ переносятся на инструмент, а дальше запускаются без всякого мыслительного импульса. Чтобы начать думать иначе, нам нужно по-новому настроить инструменты. Настоящее описание является лишь первым шагом, попыткой такого переосмысления, при этом перенастройка необязательна, важнее – сознательный и вдумчивый подход.

Говорят, когда в руках молоток, все выглядит как гвоздь. Главное – не думать о молотке. При правильном понимании молоток можно использовать по-разному. Можно вбить им гвоздь, а можно вытащить; можно ковать железо, обрабатывать дерево или камень, осуществлять раскопки, закреплять анкеры для альпинистских веревок. Можно вынести вердикт, призвать к порядку, помериться силой на аттракционе. Молот в руках бога, например Мьельнир Тора, вызывает гром и молнию. На основании этих мифов появились амулеты в виде молота, дарующие защиту от божьего гнева или – благодаря похожей на крест форме – от насильственного обращения в христианство. Много поколений спустя, поднятые из-под земли землепашцами доисторические молоты и топоры называли громовыми камнями, и считалось, что они падали с неба во время грозы. Так эти таинственные объекты стали магическими; когда стерлась изначальная идея, они обрели новое символическое значение. Нам нужно перенастроить, «зачаровать» свои инструменты, чтобы они походили на орудия не плотника, а бога, стали похожи на громовые камни.

Технология не была создана людьми из ничего, у нее есть материальное начало. Она зависит от окружающих объектов так же, как наше существование немыслимо без бактерий, животных, пищевых культур, строительных материалов, одежды. Инфраструктура высокочастотного трейдинга (его мы рассмотрим в главе 5) и экономическая система, которую она ускоряет и характеризует, состоит из кремния и стали, мчится с невероятной скоростью сквозь стекло, сквозь туман, мимо птиц и белок. Технологии наглядно показывают, что субъектностью, способностью влиять обладают не только люди. Субъектность можно найти везде – от камней до жуков, когда они мешают или позволяют нам проложить линии связи или энергии, прогрызают их или приводят к замыканию.

Всеобщая взаимосвязь, при правильном понимании, свидетельствует о присущей технологии нестабильности: ее вреˊменного и временноˊго соединения или резонанса с окружающей средой, неопределенными и изменчивыми свойствами объектов и живых существ. Если коротко, всеобщая взаимосвязь – это облачность. К примеру, рассмотренное в 3-й главе изменение возможностей материалов для компьютеров под воздействием окружающей среды: в разное время вещества ведут себя неодинаково. За технологиями закрепилась репутация неизменности, и однажды зафиксированные в конструкциях идеи кажутся устойчивыми и неопровержимыми, но при правильном использовании «молотков» их можно снова разбить. По-новому настроив несколько инструментов, мы сможем увидеть бесчисленное множество проявлений этого свойства в нашей повседневной жизни. При этом «откровения» об «истине» мира – а на самом деле простое (или попросту отрезвляющее) переосмысление этого мира – нужно всегда держать под рукой или хотя бы на расстоянии вытянутой руки. Действительно, протянутая рука – это очень актуальный жест, который вдобавок может указывать на что-то вдали, на что-то еще незамеченное, что-то многообещающее.

Одна из главных мыслей этой книги в том, что, подобно изменению климата, воздействие технологий уже касается всего земного шара и всех сторон нашей жизни. Оно потенциально может привести к катастрофе, а возникает из-за нашей неспособности понять работу собственных изобретений, нестабильных и связанных в единую сеть. Созданные нами, они нарушают естественный, как принято считать, порядок вещей и требуют радикального переосмысления мира. Однако посыл книги также в том, что еще не все потеряно: если мы действительно сможем думать по-новому, то переосмыслим мир, поймем его и будем жить в нем по-другому. Нынешнее миропонимание основано на научных открытиях, его нужно поставить под сомнение, переосмыслить с учетом технологических изобретений, в которых проявляется сложность и противоречивость мира. Наши технологии – это продолжение нас самих. Через знания и действия технологии закодированы в машины и инфраструктуру, и если как следует в них разобраться, они покажут, каков наш мир в действительности.

Мы привыкли считать, что во тьме кроется опасность, возможно, даже смертельная. Но тьма означает и свободу, возможность, равенство. Для многих обсуждаемое здесь будет очевидным, потому что они всю жизнь провели в этой тьме, что так пугает тех, кому больше повезло в жизни. Нам предстоит многое узнать о незнании. Неуверенность может быть продуктивной, даже возвышенной.

Последняя и наиболее страшная пропасть – та, что разверзается между людьми, когда нам не удается прийти к согласию, договориться по поводу настоящего положения дел. Не заблуждайтесь, некоторые аспекты новых темных веков представляют собой непосредственную угрозу существованию, из наиболее очевидного – потепление климата планеты и разрушение ее экосистем. Недостижимость консенсуса, научные провалы, ограниченные горизонты планирования, коллективная и индивидуальная паранойя – все это проявления несогласованности и агрессии с далекоидущими последствиями. А неравенство в доходах и в понимании смертельно опасно уже в ближайшем будущем. Всё взаимосвязано. Всё из-за того, что мы не думаем и не говорим.

Рассказывать о новых темных веках, даже если я могу скрасить описание сетевым оптимизмом, неприятно. Приходится говорить то, о чем лучше бы промолчать; думать о том, о чем лучше не думать. Подобное занятие опустошает, приводит в отчаяние. И все же не сделать этого – значит не увидеть мир таким, какой он есть, и дальше жить в фантазиях и абстракциях. Я вспоминаю, чтоˊ мы с друзьями откровенно говорим друг другу, и как нас это пугает. Откровенный разговор о насущном невозможен без чувства стыда и глубокой уязвимости, но это не должно мешать нам думать. В этот раз мы просто не имеем права друг друга подвести.

Глава 2

Компьютеризация

В 1884 году искусствовед и социальный мыслитель Джон Рёскин прочитал в Лондонском институте серию лекций «Грозовые облака XIX века». В течение двух вечеров, 14 и 18 февраля, он подробно разбирал изображения неба и облаков, представленные в работах классического и европейского искусства, в рассказах альпинистов о любимых им Альпах, а также делился собственными многолетними наблюдениями за небом Южной Англии.

В своих лекциях Рёскин развивает идею о том, что появился новый вид облаков, которые он именует грозовыми или иногда «чумными»:

[их] не видел еще никто из живших на земле… У древних наблюдателей я не нашел ни одного описания. Ни Гомер, ни Вергилий, ни Аристофан, ни Гораций не сообщают о таком облаке среди прочих облаков, порожденных Юпитером. О них молчит Чосер, молчат Данте, Мильтон и Томсон. Из более современных – Скотт, Вордсворт и Байрон словно и не знают об их существовании; и самый наблюдательный и умеющий дать всему детальное описание де Соссюр о них безмолвствует(1).

«Постоянное пристальное наблюдение» за небом привело Рёскина к убеждению, что в Англии и на континенте появился новый «чумной» ветер, принесший с собой новую погоду. Ученый ссылается на цитату из своего дневника от 1 июля 1871 года:

Небо затянуто серым облаком, не обычным дождевым, а серо-черной вуалью, сквозь которую не пробиться ни лучу солнца; оно рассеянно, как легкий туман, достаточный, чтобы лишить четкости далекие объекты, но неощутимый, бесформенный и бесцветный…

Для меня это в новинку и очень страшно. Мне уже за пятьдесят, и с пяти лет лучшие моменты своей жизни в погожие весенние дни или летним утром я проводил, глядя в небо, и никогда раньше такого не видел. До этого момента.

А ученые, как труженики-муравьи, всё исследуют солнце, луну и звезды, и я уверен, им уже всё известно о движении и составе этих тел.

Мне же нет дела до двух металлических дисков, до того, из чего те состоят и как двигаются. Я не могу ни сдвинуть их, ни улучшить. Но я бы очень хотел и дорого дал бы за знание, откуда приходит этот резкий ветер и из чего он сделан(2).

Далее он приводит другие схожие наблюдения: от возникающих из ниоткуда сильных ветров до темных туч, заволакивающих солнце в самый разгар дня, и угольно-черных дождей, погубивших его сад. И хотя он делает ремарку, за которую позднее ухватились защитники окружающей среды, что эти наблюдения сделаны им в промышленных регионах, где небо все сильнее коптят бесчисленные трубы, его больше заботит этическая сторона такого облака и то, что оно, по всей видимости, берет начало на полях сражений и в местах социальных волнений.

«Вы спрашиваете меня, что же нам делать? Ответ очевиден. Даже когда невозможно повлиять на небесные знамения, можно повлиять на знамения времени»(3). Метафоры, через которые мы пытаемся описать мир, так же, как чумное облако Рёскина, формируют и меняют само наше понимание мира. Сегодня другие облака, зачастую возникающие там, где имеет место протест и противоборство, определяют то, как мы воспринимаем мир.

Рёскин подробно остановился на различиях в качестве света при воздействии на него грозового облака, поскольку свет тоже обладает моральными качествами. В своих лекциях он утверждал, что fiat lux, момент в книге Бытия, когда Бог говорит: «Да будет свет», – это также fiat anima, сотворение жизни. Он настаивал на том, что свет «управляет разумом так же, как и зрением». То, что мы видим, формирует не только мысли, но и способ мышления.

Всего за несколько лет до этого, в 1880 году, Александр Грэм Белл впервые продемонстрировал устройство под названием фотофон. Фотофон появился вскоре после изобретения телефона и позволил осуществить беспроводную передачу человеческого голоса. Принцип работы заключался в том, что луч света отражался от зеркальной поверхности, вибрирующей от звука человеческого голоса, и улавливался примитивным фотоэлектрическим элементом, который снова превращал световые волны в звук. В ходе эксперимента, проходившего на крышах в Вашингтоне в округе Колумбия, Белл смог с помощью одного лишь света передать свою речь на расстояние в 200 метров.

До появления эффективного электрического освещения фотофон полностью зависел от погоды. Для четкой передачи сигнала требовался яркий свет, а атмосферные явления могли ухудшить производимый звук и испортить результаты. Белл взволновано писал отцу: «Я услышал четкую речь благодаря солнечному свету! Я слышал, как солнечный луч смеялся, кашлял и пел! Я смог услышать тень, уловить слухом движение облака по солнечному диску»(4).

Первоначальная реакция на изобретение Белла была весьма сдержанной. Комментатор из New York Times саркастично интересовался, подвесят ли «линии солнечного света» к телеграфным столбам и нужна ли им изоляция? В газете говорилось, что «пока мы не увидим, как рабочий с мотком солнечных лучей № 12 крепит их к столбам, нас не покинет ощущение, что фотофон Белла испытывает на прочность человеческую доверчивость»(5).

Сегодня мы совершенно определенно видим, как по всему земному шару протянулись линии солнечного света. В изобретении Белла свет впервые использовался для передачи сложной информации, но, как неожиданно точно подметил газетный комментатор, необходима была изоляция, чтобы по этим линиям информация преодолевала невероятные расстояния. Сегодня лучи света Белла в виде глубоководных оптоволоконных кабелей упорядочивают данные, а с ними и коллективный мировой разум. Они соединяют обширные вычислительные инфраструктуры, которые организуют нашу жизнь и управляют всеми нами. В Сети воплощается принцип Рёскина fiat lux как fiat anima — свет творит жизнь.

Мышление посредством машин предшествует самим машинам. Существование математических вычислений доказывает, что некоторые проблемы решаемы в теории еще до того, как будет доступно их практическое решение. Если рассматривать историю как одну из таких проблем, то ее можно превратить в уравнение, решить и таким образом определить будущее. Так думали первые адепты вычислительного мышления в XX веке, и это убеждение, некритическое и даже бессознательное, сохраняется по сей день – вот о чем данная книга. История вычислительного мышления, олицетворенного в цифровом облаке, начинается с погоды.

В 1916 году британский математик Льюис Фрай Ричардсон попал на Западный фронт. Он был квакером, а значит убежденным пацифистом, и, отказавшись от военной службы по соображениям совести, поступил добровольцем в отделение Санитарной службы Друзей, куда также вошли художник Роджер Пенроуз и философ и научный фантаст Олаф Стэплдон. В течение нескольких месяцев в перерывах между вылазками на линию фронта и периодами отдыха в неотапливаемых сельских домиках во Франции и Бельгии Ричардсон провел подробный математический расчет погодных условий – первый вычисленный прогноз погоды, выполненный без электронной вычислительной машины.

До Первой мировой войны Ричардсон работал управляющим обсерватории Эскдаламвайр, метеорологической станции в тихом уголке на западе Шотландии. Среди бумаг, которые он взял с собой, когда отправился на войну, были подробные метеорологические записи, составленные 20 мая 1910 года сотнями наблюдателей со всего Европейского континента. Ричардсон считал, что, применив ряд сложных математических операций к многолетним данным о погоде, можно будет усовершенствовать вычислительные наблюдения и предсказывать изменения погодных условий на ближайшие часы. Для этого он разделил континент на серию равноудаленных точек наблюдения и несколько недель составлял расчетные таблицы, учитывавшие температуру, скорость ветра, давление и другую информацию. Все расчеты проводились вручную на бумаге, а рабочим местом служила охапка сена на полу холодной квартиры, где размещались на постой санитары-добровольцы(6).

Когда прогноз наконец был закончен, Ричардсон сверил его с данными фактических наблюдений и обнаружил, что полученные им значения оказались сильно преувеличенными. Тем не менее, метод доказал свою полезность: если разбить мир на секторы и применить различные математические методы, можно решить атмосферные уравнения для каждого из этих участков. Не хватало только технологии, которая не уступала бы масштабу и скорости самой погоды.

В книге «Прогнозирование погоды с помощью численного процесса», опубликованной в 1922 году, Ричардсон проанализировал и резюмировал свои расчеты и предложил небольшой мысленный эксперимент для их более эффективного достижения с помощью современных технологий. Роль «компьютеров» по-прежнему исполняли люди, а то, что мы сейчас понимаем под цифровым вычислением, он абстрактно сформулировал с помощью архитектурной метафоры:

Можем ли мы после стольких напряженных рассуждений немного пофантазировать? Представьте себе большой зал, похожий на театр, за исключением того, что ярусы и галереи проходят через все пространство, в том числе обычно занимаемое сценой. Стены этого зала представляют собой карту земного шара. На потолке разместились северные полярные регионы, Англия – в галерее, тропики – в бельэтаже, Австралия – в партере, а Антарктика – в оркестровой яме.

Мириады компьютеров обрабатывают погоду в своей части карты, но каждый компьютер занимается только одним уравнением или частью уравнения. Работу каждого региона координирует управляющий. Множество маленьких светящихся знаков отображает мгновенные значения, и соседние компьютеры могут их прочитать. Таким образом, каждое число отображается в трех смежных зонах, чтобы поддерживать связь с северными и южными соседями на карте.

От пола ямы высокий столб поднимается на половину высоты зала. На его вершине находится большая кафедра. Здесь в окружении нескольких помощников и посыльных сидит человек, отвечающий за весь «театр». Одна из его обязанностей – поддерживать одинаковую скорость вычислений во всех частях земного шара. В этом отношении он подобен дирижеру оркестра из логарифмических линеек и счетных машин. Но вместо дирижерской палочки у него световая указка, и он направляет розовый луч на любую область, которая опережает остальных, или голубой луч – на тех, кто отстает.

Четыре старших клерка на центральной кафедре по мере поступления расчетов о будущей погоде собирают и отправляют их пневматическим транспортером в отдельную комнату. Там информацию кодируют и передают на радиостанцию. Посыльные уносят груды использованных расчетных форм на склад в подвале.

В соседнем здании есть отдел разработки возможных улучшений. Прежде чем вносить какие-либо изменения в сложную рутину компьютерного «театра», необходимо провести множество экспериментов в небольшом масштабе. В подвале исследователь наблюдает водовороты жидкости в огромной вращающейся чаше, но пока арифметика дает лучшие результаты. В другом здании располагаются обычные финансовые, корреспондентские и административные офисы. Здание «театра» окружают игровые поля, дома, горы и озера, чтобы те, кто вычисляет погоду, были ближе к природе(7).

В предисловии к своей книге Ричардсон пишет:

«Возможно, когда-нибудь в туманном будущем удастся производить вычисления быстрее, чем меняется погода, и с меньшими затратами, чем получаемая за счет этой информации экономия. Но это – мечта»(8).

До осуществления мечты оставалось еще 50 лет. В конечном итоге она станет явью путем применения военных технологий, которые сам Ричардсон отвергнет. После войны он присоединится к метеорологическому управлению, намереваясь продолжить свои исследования, но в 1920 году, когда его передадут министерству авиации, уйдет в отставку. Исследования в области цифрового прогнозирования погоды на долгие годы застопорились, пока их не подтолкнул взрывной рост вычислительных мощностей, возникший в результате еще одного мирового конфликта. Вторая мировая война высвободила огромные объемы научного финансирования, показала безотлагательность проведения исследований и вместе с тем создала сложные проблемы: огромный, сметающий все поток информации, образовавшийся в только что связанном единой сетью мире, и быстро расширяющуюся систему производства знаний.

В эссе «Как мы сможем мыслить», опубликованном в журнале The Atlantic в 1945 году, инженер и изобретатель Вэнивар Буш писал:

«Гора исследований растет. Но появляется все больше свидетельств того, что сегодня мы увязаем в растущей специализации. Исследователя поражают открытия и выводы тысяч других исследователей. Он не успевает, не может их осознать, не говоря уже о том, чтобы запомнить. Тем не менее, специализация становится все более необходимой для прогресса, следовательно, усилия по наведению мостов между дисциплинами поверхностны»(9).

Во время войны Буш работал директором Управления научных исследований и разработок США – локомотива военных исследований и разработок. Он был одним из основоположников Манхэттенского проекта, сверхсекретной исследовательской программы военного времени по разработке американской атомной бомбы.

Пытливым умам были доступны невероятные объемы информации, а научные исследования приводили ко все более разрушительным последствиям. В качестве решения этих проблем Буш предложил устройство, которое назвал «мемексом»:

«Мемекс – это устройство, в котором человек хранит все свои книги, записи и сообщения, и которое механизировано так, что выдает нужную информацию с достаточной скоростью и гибкостью. Оно увеличивает и дополняет возможности человеческой памяти. Хотя мемексом, предположительно, можно управлять на расстоянии, это, в первую очередь, предмет мебели, рабочая поверхность. Сверху расположены наклонные полупрозрачные экраны, на которые можно проецировать материал для удобного чтения. Есть клавиатура, кнопки и рычаги. В остальном он выглядит как обычный стол»(10).

Оглядываясь назад, мы понимаем, что, по сути, Буш описал электронный сетевой компьютер. Гениальность его идеи заключалась в том, чтобы в одном устройстве объединить открытия из разных дисциплин – достижения в области телефонии, станкостроения, фотографии, хранения данных и стенографии. Включение в эту матрицу временноˊго элемента сегодня мы назвали бы гипертекстом: способность связывать вместе коллективные документы и создавать новые ассоциации между областями сетевого знания. «Появятся совершенно новые формы энциклопедий, включающие сеть ассоциативных следов, энциклопедии, которые можно будет закинуть в мемекс и, таким образом, сделать их еще эффективнее»(11).

Такая доступная всем энциклопедия не только усилит научное мышление, но и сделает его цивилизованным.

* * *

Наука помогла человеку построить хороший дом со всем необходимым и учит его жить в нем здоровой жизнью. Наука стравливает людей и дает им в руки жестокое оружие. Она может позволить человеку по-настоящему усвоить уроки истории и извлечь мудрость из полученного опыта. Прежде чем люди научатся обращать этот опыт себе во благо, они могут погибнуть в конфликтах. Однако в процессе применения науки для удовлетворения потребностей и желаний человека наверняка наступит особенно неприятный момент, когда процесс прекратится или исчезнет всякая надежда на благоприятный исход(12).

Одним из коллег Буша по Манхэттенскому проекту был ученый Джон фон Нейман, который разделял схожие опасения по поводу огромных объемов информации, производимой наукой и необходимой для научных исследований того времени. Его также увлекала идея предсказывать и даже контролировать погоду. В 1945 году он наткнулся на работу «Краткое изложение предложения о погоде» Владимира Зворыкина, исследователя компании RCA Laboratories. Во время войны фон Нейман выступал консультантом на Манхэттенском проекте, часто посещал секретную лабораторию в Лос-Аламосе в Нью-Мексико и в июле 1945 года стал свидетелем первого взрыва атомной бомбы под кодовым названием «Тринити». Он был главным сторонником имплозивного метода взрыва, примененного в «Тринити» и в сброшенном на Нагасаки «Толстяке», и помог спроектировать взрывные линзы для фокусировки ударной волны.

Зворыкин, как и Вэнивар Буш, осознавал, что возможности нового вычислительного оборудования по сбору и извлечению информации вместе с современными системами электронной связи позволяют одновременно анализировать огромные объемы данных. Но вместо того чтобы сосредоточиться на получении общечеловеческих знаний, он предвидел влияние новых технологий на метеорологию. Объединив отчеты многочисленных метеостанций из разных уголков мира, можно будет построить точную модель погодных условий в любой конкретный момент. Совершенная машина такого типа могла бы не просто отображать метеорологическую информацию, но и предсказывать ее, основываясь на ранее выявленных закономерностях. Следующим логическим шагом, по мысли Зворыкина, было практическое внедрение.

Наша конечная цель – это международное изучение погоды как глобального явления и управление погодой в мире, чтобы, насколько это возможно, минимизировать ущерб от катаклизмов и улучшить климатические условия. Такая международная организация будет способствовать миру во всем мире, объединяя разрозненные интересы для решения общей проблемы и направляя научную энергию на мирные цели. Ожидается, что в конечном итоге долгосрочное благотворное воздействие на мировую экономику может внести вклад в дело мира(13).

В октябре 1945 года фон Нейман написал Зворыкину: «Я полностью с вами согласен». Высказанная Зворыкиным идея соответствовала тому, что фон Нейман узнал из масштабной исследовательской программы Манхэттенского проекта, основанной на сложном моделировании физических процессов для предсказания реальных результатов. Он фактически сформулировал главный принцип вычислительного мышления: «Все стабильные процессы мы будем предсказывать. Все нестабильные – контролировать»(14).

В январе 1947 года фон Нейман и Зворыкин выступили в Нью-Йорке на совместной конференции Американского метеорологического общества и Института авиационных наук. За докладом фон Неймана «Будущее использование высокоскоростных вычислений в метеорологии» последовало «Обсуждение возможности управления погодой» Зворыкина. На следующий день в газете New York Times под заголовком «Погода на заказ» вышла статья о конференции, в которой отмечалось, что «если доктор Зворыкин прав, то изобретатели вычислительных машин – создатели погоды будущего»(15).

В 1947 году изобретателем вычислительных машин по преимуществу был сам фон Нейман, двумя годами ранее запустивший в Принстоне проект «Электронный компьютер». Этот проект должен был основываться на аналоговом компьютере Вэнивара Буша (дифференциальный анализатор Буша, разработанный в Массачусетском технологическом институте в 1930-х годах) и на творении самого фон Неймана – первом универсальном компьютере, электронном числовом интеграторе и вычислителе, или ЭНИАК. Днем создания ЭНИАК считается 15 февраля 1946 года, когда о нем официально объявили в Университете Пенсильвании. Изначально ЭНИАК разрабатывался в военных целях для расчета таблиц артиллерийской стрельбы для Лаборатории баллистических исследований армии США, в первые годы его в основном использовали для расчетов постоянно растущей мощности первого поколения термоядерных атомных бомб.

Позднее фон Нейман, как и Буш, глубоко обеспокоился опасностями ядерной войны и контроля над погодой. В 1955 году в эссе «Можем ли мы пережить технологии?» для журнала Fortune он писал: «Ужасы возможной ядерной войны в настоящее время могут уступить место другим, еще более пугающим. Когда станет возможным глобальный контроль климата, все наши нынешние действия в отношении погоды покажутся ничтожными. Мы не должны обманываться: как только такие возможности станут реальностью, ими тут же воспользуются»(16).

ЭНИАК, созданный при участии фон Неймана, воплотил фантазии Ричардсона о математических вычислениях. В 1948 году ЭНИАК перевезли из Филадельфии в Лабораторию баллистических исследований на Абердинском полигоне в Мэриленде. К этому времени он занимал уже три из четырех стен исследовательской лаборатории и включал в себя примерно 18 000 электронных ламп, 70 000 резисторов, 10 000 конденсаторов и 6000 переключателей. Оборудование разделялось на сорок две панели с диагональю 60 сантиметров и глубиной 90 сантиметров. Панели были уложены друг на друга до высоты в 3 метра. Гигантский компьютер потреблял 140 киловатт энергии и вырабатывал столько тепла, что пришлось устанавливать специальные потолочные вентиляторы. Чтобы его перепрограммировать, требовалось вручную повернуть сотни десятиполюсных переключателей. Операторы перемещались между штабелями оборудования, соединяли кабели и проверяли сотни тысяч спаянных вручную соединений. Работой операторов руководила Клара Дан фон Нейман, жена Джона фон Неймана, которая также написала боˊльшую часть метеорологического кода.

В 1950 году группа метеорологов собралась в Абердине для составления первого автоматизированного суточного прогноза погоды, как и предлагал Ричардсон. Для этого проекта континентальную часть Соединенных Штатов разбили на сетку из пятнадцати строк и восемнадцати столбцов. Программа машинных вычислений включала шестнадцать последовательных операций, каждая из которых была тщательно спланирована и записана на перфокарты. В результате проведенных операций создавалась новая колода перфокарт, которые необходимо было воспроизвести, сопоставить и отсортировать. Метеорологи совместно с программистами работали сменами по восемь часов, и все же для осуществления полного цикла потребовалось почти пять недель непрерывной работы, 100 000 перфокарт IBM и миллион математических операций. Но руководитель эксперимента фон Нейман изучил лабораторные журналы и обнаружил, что фактическое время вычислений составляло всего двадцать четыре часа. «Есть основания надеяться, – писал он, – что мечта Ричардсона о вычислениях, которые будут проводиться быстрее, чем меняется погода, может скоро осуществиться»(17).

Математик Гарри Рид, работавший над ЭНИАК в Абердине, позднее вспоминал о личном опыте проведения таких крупномасштабных вычислений: «ЭНИАК, как это ни странно, был весьма персональным компьютером. Теперь мы считаем персональным компьютер, который можно носить с собой, а ЭНИАК был компьютером, внутри которого вы как бы жили»(18). На самом деле, сегодня мы все живем внутри такого компьютера – огромного вычислительного механизма, охватывающего весь земной шар, а через сеть спутников – даже космическое пространство. Именно эта машина, придуманная Льюисом Ричардсоном и реализованная Джоном фон Нейманом, сегодня так или иначе управляет всеми аспектами нашей жизни. И, пожалуй, самое поразительное в этой вычислительной системе то, что она остается почти незаметной.

Можно с большой точностью определить момент, когда из нашего поля зрения ускользнули милитаризованные вычисления, вместе с верой в обещанные и реализованные ими предвидение и контроль. Для посвященных ЭНИАК был удобочитаемой, понятной машиной. Различным математическим операциям соответствовали электромеханические процессы, и по характерным толчкам и смене перфокарт операторы метеорологического эксперимента могли определить, когда компьютер входит в ту или иную фазу(19). Даже случайный наблюдатель видел, как на стенах лаборатории мигают лампочки, обозначающие различные операции.

Напротив, электронный калькулятор выборочной последовательности IBM (ЭКВП), установленный в Нью-Йорке в 1948 году, не поддавался такому легкому считыванию. Он был назван калькулятором, потому что в 1948 году вычисления по-прежнему в основном осуществлялись людьми, и президент IBM Томас Дж. Уотсон хотел убедить общественность в том, что его продукты их не заменят(20). IBM построила машину в качестве конкурента ЭНИАК, хотя оба были потомками более раннего компьютера фон Неймана «Mark I», задействованного в Манхэттенском проекте. ЭКВП был установлен на виду у публики за стеклянной витриной бывшего магазина женской обуви. (В этом здании, расположенном рядом с офисом IBM на Пятьдесят седьмой восточной улице, в настоящее время находится центральный офис компании – производителя товаров роскоши LVMH.) Беспокоясь о внешнем виде, Уотсон распорядился снести привлекавшие внимание опорные колонны, а когда это не удалось, для рекламных фотографий использовали аэрографию, так что в газетах компьютер выглядел так, как хотел Уотсон(21).

Для зевак, толпившихся у стеклянной витрины, даже несмотря на уродливые колонны, ЭКВП был образцом ультрасовременного стиля. Эстетически он восходил к компьютеру «Mark I», спроектированному Норманом Белом Геддесом, дизайнером знаменитого павильона «Футурама» на Всемирной выставке 1939 года в Нью-Йорке. ЭКВП размещался в компьютерном зале, где, чтобы скрыть неприглядные кабели, впервые использовался фальшпол (сегодня так делают во всех центрах обработки данных). Сидя за большим столом, вычислительной машиной управляла главный оператор Элизабет «Бетси» Стюарт из научного отдела IBM

Teleserial Book