Турчин Алексей Валерьевич : другие произведения.

Структура глобальной катастрофы

Самиздат: [Регистрация] [Найти] [Рейтинги] [Обсуждения] [Новинки] [Обзоры] [Помощь|Техвопросы]
Ссылки:
Школа кожевенного мастерства: сумки, ремни своими руками
Оценка: 3.00*3  Ваша оценка:
  
  последняя версия в виде док файла:
  http://www.scribd.com/doc/7529531/-
  http://avturchin.narod.ru/sgk31short.doc
  Мой новый сайт, на котором есть вся
  информация по рискам вымирания человечества: http://www.humanextinction.ru/
  английский перевод этой книги:
  STRUCTURE OF THE GLOBAL CATASTROPHE Risks of human extinction in the XXI century http://www.scribd.com/doc/6250354/
  
  А. В. Турчин
  СТРУКТУРА ГЛОБАЛЬНОЙ КАТАСТРОФЫ
  Риски вымирания человечества в XXI веке
  
  
  Предисловие Г. Г. Малинецкого
  Вводное слово Н. Бострома
  
  Проект
  Российского Трансгуманистического Движения
  
  
  Москва
  УРСС
  2010
  
  СЕРИЯ 'ДИАЛОГИ О БУДУЩЕМ'
  Т.2
  Ответственные редакторы:
  И. В. Следзевский
  Валерия Прайд
  Редактор: Е. Медведева
  
  Рецензенты:
  Д.п.н. А. П. Назаретян
  Д.г.н. Л. Я. Аранович
  Д.ф.н. В. И. Аршинов
  
  Книга 'Структура глобальной катастрофы' А.В. Турчина представляет собой научное исследование рисков вымирания человечества в XXI веке. Помимо рассмотрения самих сценариев катастрофы, упор сделан на сложное системное взаимодействие разных глобальных рисков в пределах одного исторического периода. Рассмотрены все основные пути предотвращения глобальных рисков и способов оценки их вероятности. Вторая часть книги посвящена разбору когнитивных искажений, могущих влиять на оценку рисков глобальной катастрофы, как отдельными исследователями, так и обществом в целом. В результате делается вывод о высокой вероятности глобальных катастроф в ближайшем столетии, отягощенной высокой степенью их недооценки. Благодаря своей полноте охвата, книга может служить в качестве аннотированного справочника по разным глобальным рискам.
  На обложке - рисунок Дюрера, изображающий его сон о великом потопе.
  Содержание
  Г. Г. МАЛИНЕЦКИЙ. РАЗМЫШЛЕНИЯ О НЕМЫСЛИМОМ 10
  Н. БОСТРОМ. ВВОДНОЕ СЛОВО 23
  ПРЕДИСЛОВИЕ 24
  ТЕРМИНЫ 29
  ВВЕДЕНИЕ 30
  ЧАСТЬ 1. АНАЛИЗ РИСКОВ 32
  ГЛАВА 1. ОБЩИЕ ЗАМЕЧАНИЯ 32
  ГЛАВА 2. АТОМНОЕ ОРУЖИЕ 57
  ГЛАВА 3. ГЛОБАЛЬНОЕ ХИМИЧЕСКОЕ ЗАРАЖЕНИЕ 72
  ГЛАВА 4. БИОЛОГИЧЕСКОЕ ОРУЖИЕ 76
  ГЛАВА 5. СУПЕРНАРКОТИК И ДРУГИЕ РИСКИ, СВЯЗАННЫЕ С ВОЗДЕЙСТВИЕМ НА ЧЕЛОВЕКА 83
  ГЛАВА 6. ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ 90
  ГЛАВА 7. РИСКИ, СВЯЗАННЫЕ С РОБОТАМИ И НАНОТЕХНОЛОГИЯМИ 103
  ГЛАВА 8. ТЕХНОЛОГИЧЕСКИЕ СПОСОБЫ ПРОВОЦИРОВАНИЯ ПРИРОДНЫХ КАТАСТРОФ 109
  ГЛАВА 9. ТЕХНОЛОГИЧЕСКИЕ РИСКИ, СВЯЗАННЫЕ С ПРИНЦИПИАЛЬНО НОВЫМИ ОТКРЫТИЯМИ 113
  ГЛАВА 10. РИСКИ, СОЗДАВАЕМЫЕ КОСМИЧЕСКИМИ ТЕХНОЛОГИЯМИ 117
  ГЛАВА 11. РИСКИ, СВЯЗАННЫЕ С ПРОГРАММОЙ SETI 121
  ГЛАВА 12. РИСКИ, СВЯЗАННЫЕ С ПРИРОДНЫМИ КАТАСТРОФАМИ 123
  ГЛАВА 13. КРАЙНЕ МАЛОВЕРОЯТНЫЕ ПРИРОДНЫЕ РИСКИ 138
  ГЛАВА 14. ПРИРОДНЫЕ КАТАСТРОФЫ И ЭФФЕКТ НАБЛЮДАТЕЛЬНОЙ СЕЛЕКЦИИ 142
  ГЛАВА 15. ГЛОБАЛЬНОЕ ПОТЕПЛЕНИЕ 144
  ГЛАВА 16. АНТРОПОГЕННЫЕ РИСКИ, НЕ СВЯЗАННЫЕ С НОВЫМИ ТЕХНОЛОГИЯМИ 147
  ГЛАВА 17. СПОСОБЫ ОБНАРУЖЕНИЯ ОДНОФАКТОРНЫХ СЦЕНАРИЕВ ГЛОБАЛЬНОЙ КАТАСТРОФЫ 153
  ГЛАВА 18. МНОГОФАКТОРНЫЕ СЦЕНАРИИ 160
  ГЛАВА 19. СОБЫТИЯ, ИЗМЕНЯЮЩИЕ ВЕРОЯТНОСТЬ ГЛОБАЛЬНОЙ КАТАСТРОФЫ 181
  ГЛАВА 20. КАТАСТРОФЫ, ВЛИЯЮЩИЕ НА СКОРОСТЬ ПРОГРЕССА 208
  ГЛАВА 21. ЗАЩИТА ОТ ГЛОБАЛЬНЫХ РИСКОВ 211
  ГЛАВА 22. НЕПРЯМЫЕ СПОСОБЫ ОЦЕНКИ ВЕРОЯТНОСТИ ГЛОБАЛЬНОЙ КАТАСТРОФЫ 244
  ГЛАВА 23. НАИБОЛЕЕ ВЕРОЯТНЫЕ СЦЕНАРИИ ГЛОБАЛЬНОЙ КАТАСТРОФЫ 259
  ЧАСТЬ 2. КОГНИТИВНЫЕ ИСКАЖЕНИЯ В ОЦЕНКЕ ГЛОБАЛЬНЫХ РИСКОВ 263
  ГЛАВА 1. ОБЩИЕ ЗАМЕЧАНИЯ. ОШИБКА КАК ИНТЕЛЛЕКТУАЛЬНАЯ КАТАСТРОФА 263
  ГЛАВА 2. ОШИБКИ, ВОЗМОЖНЫЕ ТОЛЬКО ОТНОСИТЕЛЬНО УГРОЗ СУЩЕСТВОВАНИЮ ЧЕЛОВЕЧЕСТВА 266
  ГЛАВА 3. КАК КОГНИТИВНЫЕ ИСКАЖЕНИЯ, КОТОРЫЕ МОГУТ КАСАТЬСЯ ЛЮБЫХ ПРОБЛЕМ, ВЛИЯЮТ НА ОЦЕНКУ ГЛОБАЛЬНЫХ РИСКОВ 276
  ГЛАВА 4. ВОЗМОЖНЫЕ ОБЩЕЛОГИЧЕСКИЕ ОШИБКИ В РАССУЖДЕНИЯХ О ГЛОБАЛЬНЫХ РИСКАХ 299
  ЗАКЛЮЧЕНИЕ. ПЕРСПЕКТИВЫ ПРЕДОТВРАЩЕНИЯ ГЛОБАЛЬНЫХ КАТАСТРОФ 308
  ЛИТЕРАТУРА 309
  
  
  
  Contents
  Г. Г. МАЛИНЕЦКИЙ. РАЗМЫШЛЕНИЯ О НЕМЫСЛИМОМ 4
  1. Глобальная неустойчивость 5
  2. Психологический дискурс 7
  3. Проблема инструмента 10
  4. В погоне за предвестниками 13
  Н. БОСТРОМ. ВВОДНОЕ СЛОВО 17
  ПРЕДИСЛОВИЕ 18
  ТЕРМИНЫ 21
  ВВЕДЕНИЕ 22
  ЧАСТЬ 1. АНАЛИЗ РИСКОВ 24
  ГЛАВА 1. ОБЩИЕ ЗАМЕЧАНИЯ 24
  1.1 Пространство возможностей 24
  1.2 Рассматриваемый промежуток времени: XXI век 24
  1.3 Проблемы вычисления вероятностей различных сценариев 26
  1.4 Количественные оценки вероятности глобальной катастрофы, даваемые различными авторами 38
  1.5 Глобальные катастрофы и горизонт прогнозирования 39
  1.6 Краткая история исследований вопроса 40
  1.7 Угрозы менее масштабных катастроф: уровни возможной деградации 46
  1.8 Однофакторные сценарии глобальной катастрофы 48
  1.9 Принципы классификации глобальных рисков 48
  ГЛАВА 2. АТОМНОЕ ОРУЖИЕ 49
  2.1 'Ядерная зима' 50
  2.2 Полное радиоактивное заражение 54
  2.3 Иные опасности атомного оружия 56
  2.4 Интеграция поражающих факторов ядерного оружия 59
  2.5 Стоимость создания ядерного потенциала, могущего угрожать выживанию человеческой цивилизации 59
  2.7 Изменение вероятности глобальной катастрофы, вызванной ядерным оружием, с течением времени 62
  2.8 Стратегия сдерживания под вопросом 62
  2.9 Ядерный терроризм как фактор глобальной катастрофы 63
  2.10 Выводы по рискам применения ядерного оружия 63
  ГЛАВА 3. ГЛОБАЛЬНОЕ ХИМИЧЕСКОЕ ЗАРАЖЕНИЕ 64
  ГЛАВА 4. БИОЛОГИЧЕСКОЕ ОРУЖИЕ 68
  4.1 Общие соображения и основные сценарии 68
  4.2 Структура биологической катастрофы 70
  4.3 'Саморазмножающейся' синтезатор ДНК 71
  4.4 Множественный биологический удар 72
  4.5 Биологические средства доставки 72
  4.6 Вероятность применения биологического оружия и её распределение во времени 73
  ГЛАВА 5. СУПЕРНАРКОТИК И ДРУГИЕ РИСКИ, СВЯЗАННЫЕ С ВОЗДЕЙСТВИЕМ НА ЧЕЛОВЕКА 75
  5.1. Воздействие на центр удовольствия и новые технологии 75
  5.2 Риски, связанные с самокопирующимися идеями (мемами) 77
  5.3 Риски, связанные с размыванием границ между человеческим и нечеловеческим 79
  5.4 Риски, связанные с проблемой 'философского зомби' 79
  5.5 Утрата интереса к жизни и кризисы, заложенные в самой природе разума 80
  5.6 Генетическая деградация человека 82
  5.7 Ошибочные решения правительств 82
  ГЛАВА 6. ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ 82
  6.1. Общее описание проблемы 82
  6.2 ИИ как универсальное абсолютное оружие 85
  6.3 Система целей 86
  6.4 Борьба ИИ-проектов между собой 86
  6.5 'Усовершенствованный человек' 87
  6.6 ИИ и его отдельные экземпляры 87
  6.7 'Бунт' ИИ 87
  6.8 Скорость старта 88
  6.9 Сценарии 'быстрого старта' 88
  6.10 Медленный старт и борьба разных ИИ между собой 89
  6.11 Плавный переход. Превращение государства тотального контроля в ИИ 89
  6.12 'Восстание' роботов 90
  6.13 Контроль и возможность истребления 91
  6.14 ИИ и государства 91
  6.15 Вероятность катастрофы, связанной с ИИ 92
  6.16 Типы враждебного ИИ 93
  6.17 Другие риски, связанные с компьютерами 94
  6.18 Время возникновения ИИ 94
  ГЛАВА 7. РИСКИ, СВЯЗАННЫЕ С РОБОТАМИ И НАНОТЕХНОЛОГИЯМИ 95
  7.1 Проблема создания микроскопических роботов и нанотехнологии 95
  7.2 Робот-распылитель 96
  7.3 Самовоспроизводящийся робот 97
  7.4 Стая микророботов 97
  7.5 Армии крупных боевых роботов, выходящие из-под контроля 98
  7.6 Миниатюризация роботов - путь к нанотехнологическому оружию 98
  7.7 Неограниченное распространение самовоспроизводящихся нанороботов 99
  7.8 Вероятность возникновения нанороботов и возможное время осуществления этого события 101
  ГЛАВА 8. ТЕХНОЛОГИЧЕСКИЕ СПОСОБЫ ПРОВОЦИРОВАНИЯ ПРИРОДНЫХ КАТАСТРОФ 101
  8.1 Искусственная инициация термоядерной детонации Земли и других небесных тел 101
  8.2 Отклонение астероидов 102
  8.3 Создание искусственного сверхвулкана 103
  8.4 Намеренное разрушение озонового слоя 105
  ГЛАВА 9. ТЕХНОЛОГИЧЕСКИЕ РИСКИ, СВЯЗАННЫЕ С ПРИНЦИПИАЛЬНО НОВЫМИ ОТКРЫТИЯМИ 105
  9.1 Неудачный физический эксперимент 105
  9.2 Новые виды оружия, новые источники энергии, новые среды распространения и способы дальнодействия 108
  ГЛАВА 10. РИСКИ, СОЗДАВАЕМЫЕ КОСМИЧЕСКИМИ ТЕХНОЛОГИЯМИ 109
  10.1 Гипотетические виды космического оружия 109
  10.2 Ксенобиологические риски 109
  10.3 Столкновение с превосходящими нас разумными силами во Вселенной 110
  ГЛАВА 11. РИСКИ, СВЯЗАННЫЕ С ПРОГРАММОЙ SETI 113
  ГЛАВА 12. РИСКИ, СВЯЗАННЫЕ С ПРИРОДНЫМИ КАТАСТРОФАМИ 115
  12.1 Вселенские катастрофы 115
  12.2 Геологические катастрофы 117
  12.3 Извержения сверхвулканов 117
  12.4 Падение астероидов 118
  12.5 Зона поражения в зависимости от силы взрыва 121
  12.6 Солнечные вспышки и увеличение светимости 122
  12.7 Гамма-всплески 124
  12.8 Сверхновые звёзды 126
  12.9 Сверх-цунами 126
  12.10 Сверхземлетрясение 127
  12.11 Переполюсовка магнитного поля Земли 127
  12.12 Возникновение новой болезни в природе 128
  12.13 Разрушение озонового слоя 129
  ГЛАВА 13. КРАЙНЕ МАЛОВЕРОЯТНЫЕ ПРИРОДНЫЕ РИСКИ 130
  13.1 Неизвестные процессы в ядре Земли 130
  13.2 Внезапная дегазация растворённых в мировом океане газов 131
  13.3 Нарушение стабильности Земной атмосферы 132
  13.4 Взрывы других планет Солнечной системы 132
  13.5 Гравитационные возмущения от гипотетических небесных тел 133
  13.6 Ложные и опровергнутые теории глобальных катастроф 133
  ГЛАВА 14. ПРИРОДНЫЕ КАТАСТРОФЫ И ЭФФЕКТ НАБЛЮДАТЕЛЬНОЙ СЕЛЕКЦИИ 134
  14.1 Прекращение действия 'защиты', которую нам обеспечивал антропный принцип 134
  14.2 Ослабление устойчивости природных процессов и человеческие вмешательства 136
  ГЛАВА 15. ГЛОБАЛЬНОЕ ПОТЕПЛЕНИЕ 136
  ГЛАВА 16. АНТРОПОГЕННЫЕ РИСКИ, НЕ СВЯЗАННЫЕ С НОВЫМИ ТЕХНОЛОГИЯМИ 139
  16.1 Исчерпание ресурсов 139
  16.2 Перенаселение 140
  16.3 Крах биосферы 141
  16.4 Социально-экономический кризис. Война 142
  16.5 Генетическая деградация и ослабление фертильности (способности к размножению) 142
  16.6 Старение вида 143
  16.7 Вытеснение другим биологическим видом 143
  16.8 Неизвестные нам сейчас причины катастроф 144
  ГЛАВА 17. СПОСОБЫ ОБНАРУЖЕНИЯ ОДНОФАКТОРНЫХ СЦЕНАРИЕВ ГЛОБАЛЬНОЙ КАТАСТРОФЫ 145
  17.1 Общие признаки любого опасного агента 145
  17.2 Способы возникновения 145
  17.3 Выход из точки и начало распространения 146
  17.4 Распространение важнее разрушения 146
  17.5 Способ распространения 147
  17.6 Способ причинения смерти 148
  17.7 Типичные виды разрушающего воздействия 148
  17.8 Временная структура события 149
  17.9 Предаварийные ситуации 150
  17.10 Намеренная и случайная глобальная катастрофа 150
  17.11 Машина судного дня 151
  ГЛАВА 18. МНОГОФАКТОРНЫЕ СЦЕНАРИИ 152
  18.1 Интеграция различных технологий, создающих ситуации риска 152
  18.2 Парные сценарии 153
  18.3 Изучение глобальных катастроф с помощью моделей и аналогий 155
  18.4 Неизбежность достижения устойчивого состояния 157
  18.5 Рекуррентные риски 158
  18.6 Глобальные риски и проблема темпа их нарастания 159
  18.7 Сравнительная сила разных опасных технологий 160
  18.8 Последовательность возникновения различных технологий во времени 160
  18.9 Сопоставление различных технологических рисков 161
  18.10 Цели создания оружия судного дня 162
  18.11 Социальные группы, готовые рискнуть судьбой планеты 165
  18.12 Обобщающий коэффициент, связанный с человеческим фактором 166
  18.13 Принятие решения о ядерном ударе 167
  18.14 Цена вопроса 168
  18.15 Универсальные причины вымирания цивилизаций 169
  ГЛАВА 19. СОБЫТИЯ, ИЗМЕНЯЮЩИЕ ВЕРОЯТНОСТЬ ГЛОБАЛЬНОЙ КАТАСТРОФЫ 173
  19.1 Определение и общие соображения 173
  19.2 События, которые могут открыть окно уязвимости 174
  19.3 Системные кризисы 175
  19.4 Кризис кризисов 181
  19.5 Технологическая Сингулярность 182
  19.6 Перепотребление приводит к одновременному исчерпанию всех ресурсов 184
  19.7 Системный кризис и технологические риски 185
  19.8 Системный технологический кризис - наиболее вероятный сценарий глобальной катастрофы 186
  19.9 Криптовойна 187
  19.10 Уязвимость к сверхмалым воздействиям 187
  19.11 Гонка вооружений 188
  19.12 Моральная деградация 188
  19.13 Враждебность в обществе как сценарный фактор 189
  19.14 Месть как сценарный фактор 190
  19.15 Война как сценарный фактор 190
  19.16 Деградация биосферы 192
  19.17 Глобальная дезинфекция 192
  19.18 'Раскачивающее' управление 193
  19.19 Контролируемый и неконтролируемый глобальный риск. Проблемы понимания глобального риска 193
  19.20 Общие модели поведения систем на грани устойчивости 195
  19.21 Гипотеза техногуманитарного баланса 195
  19.22 Схемы сценариев 196
  19.23 Степень мотивации и осведомлённости лиц, принимающих решения, как факторы глобального риска 196
  19.24 Означает ли крах технологической цивилизации вымирание людей? 198
  ГЛАВА 20. КАТАСТРОФЫ, ВЛИЯЮЩИЕ НА СКОРОСТЬ ПРОГРЕССА 199
  20.1 Влияние катастроф на скорость развития 199
  20.2 Закон Мура 200
  ГЛАВА 21. ЗАЩИТА ОТ ГЛОБАЛЬНЫХ РИСКОВ 203
  21.1 Общее понятие о предотвратимости глобальных рисков 203
  21.2 Активные щиты 204
  21.3 Действующие и будущие щиты 206
  21.4 Сохранение мирового баланса сил 208
  21.5 Возможная система контроля над глобальными рисками 208
  21.6 Сознательная остановка технологического прогресса 209
  21.7 Средства превентивного удара 210
  21.8 Удаление источников рисков на значительное расстояние от Земли 211
  21.9 Создание автономных поселений в отдалённых уголках Земли 212
  21.10 Создание досье на глобальные риски и рост общественного понимания связанной с ними проблематики 212
  21.11 Убежища и бункеры 212
  21.12 Опережающее расселение в космосе 215
  21.13 'Всё как-нибудь обойдётся' 220
  21.14 Деградация цивилизации до уровня устойчивого состояния 220
  21.15 Предотвращение одной катастрофы с помощью другой 221
  21.16 Опережающая эволюция человека 221
  21.17 Возможная роль международных организаций в предотвращении глобальной катастрофы 221
  21.18 Бесконечность Вселенной и вопрос об окончательности человеческого вымирания 223
  21.19 Предположения о том, что мы живём в 'Матрице' 224
  21.20 Глобальные катастрофы и устройство общества 225
  21.21 Глобальные катастрофы и текущая ситуация в мире 227
  21.22 Мир после глобальной катастрофы 228
  21.23 Мир без глобальной катастрофы: наилучший реалистичный вариант предотвращения глобальных катастроф 229
  21.24 Максимизация функции удовольствия 229
  21.25. Применение новых технологий для уменьшения последствий катастроф 230
  ГЛАВА 22. НЕПРЯМЫЕ СПОСОБЫ ОЦЕНКИ ВЕРОЯТНОСТИ ГЛОБАЛЬНОЙ КАТАСТРОФЫ 230
  22.1 Принцип Парето 230
  22.2 Гипотеза о 'Чёрной королеве' 232
  22.3 Парадокс Ферми 232
  22.4 Доказательство Конца Света - 'Doomsday argument'. Формула Готта 235
  22.5 Рассуждение о конце света Картера-Лесли 237
  22.6 Непрямая оценка вероятности природных катастроф 239
  22.7 Рассуждение о Симуляции 241
  22.8 Интеграция различных непрямых оценок 243
  ГЛАВА 23. НАИБОЛЕЕ ВЕРОЯТНЫЕ СЦЕНАРИИ ГЛОБАЛЬНОЙ КАТАСТРОФЫ 246
  ЧАСТЬ 2. КОГНИТИВНЫЕ ИСКАЖЕНИЯ В ОЦЕНКЕ ГЛОБАЛЬНЫХ РИСКОВ 250
  ГЛАВА 1. ОБЩИЕ ЗАМЕЧАНИЯ. ОШИБКА КАК ИНТЕЛЛЕКТУАЛЬНАЯ КАТАСТРОФА 250
  ГЛАВА 2. ОШИБКИ, ВОЗМОЖНЫЕ ТОЛЬКО ОТНОСИТЕЛЬНО УГРОЗ СУЩЕСТВОВАНИЮ ЧЕЛОВЕЧЕСТВА 253
  ГЛАВА 3. КАК КОГНИТИВНЫЕ ИСКАЖЕНИЯ, КОТОРЫЕ МОГУТ КАСАТЬСЯ ЛЮБЫХ ГЛОБАЛЬНЫХ РИСКОВ, ВЛИЯЮТ НА ИХ ОЦЕНКУ 264
  ГЛАВА 4. ВОЗМОЖНЫЕ ОБЩЕЛОГИЧЕСКИЕ ОШИБКИ В РАССУЖДЕНИЯХ О ГЛОБАЛЬНЫХ РИСКАХ 290
  ЗАКЛЮЧЕНИЕ. ПЕРСПЕКТИВЫ ПРЕДОТВРАЩЕНИЯ ГЛОБАЛЬНЫХ КАТАСТРОФ 299
  ЛИТЕРАТУРА 300
  
  
  Г. Г. Малинецкий . Размышления о немыслимом
  
  Завидую Прусту. Упиваясь прошлым, он опирался на весьма прочную основу: вполне надежное настоящее и неоспоримое будущее. Но для нас прошлое стало прошлым вдвойне, время вдвойне утрачено, потому что вместе со временем мы утратили и самый мир, в котором текло это время. Произошёл обрыв. Поступательное движение веков прервалось. И нам уже неведомо, когда, в каком веке мы живем и будет ли у нас хоть какое-то будущее.
  Р. Мерль. 'Мальвиль'
  Картина, нарисованная мною, не обязательно должна быть картиной полного уныния: ведь неизбежных катастроф, возможно, и нет. И, конечно, шансов избежать катастрофы становится больше, если мы смело посмотрим катастрофе в лицо и оценим её опасность.
  А. Азимов. 'Выбор катастроф'
  Такая книга должна была появиться. Её время пришло. Хорошо было бы, чтобы она была написана лет на 20 раньше. Но прошлого уже не изменишь, а о будущем надо думать, проектировать его и осмысливать его опасности, риски и угрозы.
  Эта книга находится на грани между обзором работ, посвященных сценариям глобальной катастрофы, выполненным в мире, между футурологическим исследованием и методологическим анализом существующих подходов. Автор книги - Алексей Турчин - стремится к объективному анализу, к научности, к целостному осмыслению глобальных рисков. Безусловным достоинством книги является её интеллектуальная честность, стремление к чёткому разделению фактов, результатов, гипотез, сомнений, домыслов.
  Наверно, у многих читателей возникнет естественный вопрос, как соотносится предпринятое исследование с конкретными работами по управлению рисками и проектированию будущего, которые активно ведутся в России и во всем мире. О 'мостике', соединяющим анализ гипотетических катастроф и работы по прогнозированию и предупреждению реальных аварий, бедствий, чрезвычайных ситуаций, наверно, и стоит сказать в предисловии к этой книге.
  1. Глобальная неустойчивость
  ...макросдвиг - это трансформация цивилизации, в которой движущей силой является технология, а запускается сдвиг наличием критической массы людей, осознавших необходимость обновления системы ценностей.
  Э. Ласло. 'Макросдвиг'
  Вероятно, именно сейчас человечество делает самый важный и значимый выбор в своей истории. В теории самоорганизации - синергетике (дословно, теории совместного действия) - есть принципиально важное понятие бифуркация. Слово пришло из французского языка, где означает раздвоение, ветвление. Бифуркацией называют изменение числа или устойчивости решений определенного типа при изменении параметра.
  В нашем случае параметром является время (точнее, историческое 'медленное время', как назвал его выдающийся французский историк Фернан Бродель). 'Решение' - это важнейшие количественные параметры, характеризующие жизнеустройство нашей цивилизации. И в течение жизни одного поколения предыдущая траектория развития теряет устойчивость.
  Очевидное свидетельство этому - технологический предел, к которому подошла цивилизация. По оценкам экологов, если весь мир сегодня начал бы жить по стандартам Калифорнии, то всех разведанных запасов полезных ископаемых хватит по одним видам на 2,5 года, по другим на 4. Человечество живет не по средствам - за год оно потребляет такое количество углеводородов, на создание которого у природы уходило более 2 миллионов лет. Несколько лет назад был пройден важный рубеж - более трети нефти начало добываться на шельфе и с океанических глубин. Бразильские и американские кампании начали бурить в море на глубинах 2,5 километра. То, до чего легко было дотянуться, уже освоено или исчерпано.
  Наука ХХ века не решила задачу производства необходимого количества дешёвой чистой энергии и её эффективного аккумулирования. Наглядное свидетельство нынешнего мирового нефтяного кризиса рост цен на нефть с 7 (несколько десятилетий назад) до 140 долларов за баррель. То же касается производства продовольствия, сценариев экономического развития, обостряющихся проблем глобализации . Становится очевидным, что прежняя траектория развития человечества потеряла устойчивость. И надо осознанно и разумно выбирать новую траекторию, либо обстоятельства выберут её за нас.
  В синергетике показано, что вблизи точки бифуркации имеет место неустойчивость. И малые причины могут иметь большие следствия. Мы видим множество признаков неустойчивости современной реальности. Неустойчивости всегда были спутником развития человечества.
  Неустойчивости, как показывает синергетика, носят разный характер. Например, в линейных системах они развиваются по экспоненциальному закону или, что то же самое, по геометрической прогрессии - в одинаковое число раз за одинаковое время. Простейший пример такого роста дает уравнение Мальтуса.
   . (1)
  По предположению английского священника и профессора Ост-Индийской компании Томаса Мальтуса (1766-1834), по этому закону растет численность всех видов, включая человека. Из школьной математики известно решение этого уравнения N(t) = N0exp(t). Если увеличить начальные данные вдвое, то и решение возрастет вдвое: отклик, пропорциональный воздействию - общая черта всех линейных систем.
  Это очень 'быстрый' закон. В соответствии с ним, например, с 1960-х годов, развивается компьютерная индустрия. Там он называется закон Мура: каждые 18 месяцев степень интеграции элементов микросхемы (а с ней и быстродействие компьютеров) удваивается.
  Однако есть и ещё более быстрые законы, характерные для нелинейных систем, например, систем с положительной обратной связью. В них отклонение вызывает реакцию системы, увеличивающую отклонение, увеличивающую более сильно, чем в уравнении (1).
  Такую неустойчивость, например, описывает уравнение (2)
   . (2)
  Но закон роста здесь совсем другой
   . (3)
  Здесь имеет место режим с обострением , когда исследуемая величина неограниченно возрастает за ограниченное время tf, которое само зависит от начальных данных tf = 1 / N0.
  Всё это не является математическим упражнением, а имеет непосредственное отношение к нашему настоящему и будущему. Исследования последних десятилетий ХХ века, данные палеодемографов, показали, что именно по закону (2), а не по закону (1) росла численность человечества на протяжении двух миллионов лет, и определили момент обострения tf  2025 год.
  Закон (3) описывает сингулярность (особенность). Специалисты по прогнозированию связывают с сингулярностью гипотетическую точку во времени вблизи 2030 года, в которой ряд прогностических кривых уходят в бесконечность. Многие эксперты связывают его с взрывным развитием технического прогресса, в особенности информационно-телекоммуникационных, нано-, био- и когнитивных технологий (английское сокращение NanoBioInfoCogno - NBIC), с качественным изменением человечества.
  Будем рассуждать как реалисты, твердо стоящие на Земле. Нас не может быть бесконечно много. Поэтому закон (3), гиперболический рост численности человечества - главная пружина истории на протяжении многих веков - должен измениться. И это происходит. Происходит в последние 20 лет - на протяжении жизни одного поколения. Речь идет об изменении алгоритмов развития цивилизации. Самое близкое по масштабу событие - неолитическая революция, в результате которой человечеству удалось перейти от охоты и собирательства к земледелию и к скотоводству. По оценкам ряда экспертов, в ходе этой революции численность человечества уменьшилась почти в 10 раз.
  Человечеству и науке брошен вызов, сравнимого с которым ещё не было. Состояние ресурсов, биосферы, общества заставляет нас в очень короткий срок 15-20 лет обновить или радикально изменить весь набор жизнеобеспечивающих технологий (энергетика, производство продовольствия, транспорт, управление обществом и многое другое).
  По сути, речь идет о типе бифуркации. В синергетике различают мягкие бифуркации, при прохождении которых возникшие траектории лежат в окрестности прежней, потерявшей устойчивость. И далее постепенно, эволюционно удаляются от неё при изменении параметра. Делается важный и ответственный выбор, суть и значение которого выясняется позже, однако развитие идёт эволюционно. Это вариант будущего, который предвидит профессор С. П. Капица.
  Но бывают и жесткие бифуркации, когда близкой ветви нет и, скажем, происходит переход на другую, достаточно далёкую от предыдущей ветвь. Это революционное событие. Не хочется думать, что это ждёт человечество в ближайшие десятилетия, но и исключать такого варианта нельзя. И здравый смысл подсказывает, что, надеясь на лучшее, следует рассчитывать на худшее и, конечно, всерьёз размышлять о нем.
  Это и является лейтмотивом книги А. В. Турчина. По сути, она является первой научной (насколько это возможно при анализе трагического, невиданного, никогда не происходившего) работой, посвященной данному кругу проблем. Обсуждаемое направление мысли уже несколько десятилетий развивается на Западе. Соответствующие работы публикуются во многих авторитетных научных журналах, в частности, в Nature. Естественно познакомить с этим направлением поисков, которое может оказаться очень важным ('кто предупрежден, тот вооружен') и отечественного читателя.
  В точке бифуркации очень велика неопределенность. И обещания светлого будущего соседствует с апокалиптическими сценариями. Но и те, и другие гипотезы должны быть предметом серьёзного обсуждения и анализа. Автор весьма добросовестно подошёл к проблеме. Он обладает отличной логикой, огромной эрудицией, хорошим стилем и прекрасной способностью к классификации. Тем не менее, свою книгу он называет дискуссионной. Местоимение 'я' появляется на её страницах гораздо чаще, чем это принято в научной литературе. Думаю, что и это стремление взять на себя ответственность за сделанные утверждения заслуживает уважения.
  2. Психологический дискурс
  Всё, всё, что гибелью грозит,
  Для сердца смертного таит
  Неизъяснимы наслажденья -
  Бессмертья, может быть, залог!
  И счастлив тот, кто средь волненья
  Их обретать и ведать мог.
  А.С. Пушкин
  Страх вообще и страх смерти в частности, является важным компонентом индивидуального и коллективного сознания. Место, которое он занимает, зависит от состояния личности и общества. В эпохи перемен, нестабильности, неуверенности это место становится очень большим. Об этом можно судить по рубежу ХХ века в России - мода на медиумов, мистику, богоискательство и богостроительство, Григорий Распутин у вершин власти. Алексей Турчин не случайно приводит в качестве эпиграфа слова из спектакля, который ставили дачники в чеховской 'Чайке'. Это слова о конце времен, когда на Земле уже не осталось ничего живого. Проблема смерти и бессмертия - стержень любого религиозного мировоззрения.
  Переломный период, время выбора и неуверенности в будущем переживает сейчас наша цивилизация. Проект Модерна, связанный с надеждами на технический прогресс, способный качественно улучшить жизнь людей, на более эффективное, разумное и справедливое жизнеустройство, на культурное развитие, на становление научного мировоззрения испытывает глубокий кризис. Ему противостоят Постмодерн, постулирующий множественность смыслов, ценностей, познавательных практик, типов общества и отрицающий элемент объективности, необходимый для сравнения, а также саму возможность диалога культур, цивилизаций, школ. Наука в постмодернистской традиции оказывается на одной доске с религиозными сектами, медиумами, экстрасенсами. Философия, служившая в Новое время опорой развития, начинает расшатывать основы мироустройства. '... смерть Бога обращает нас не к ограниченному позитивному миру, она обращает нас к тому миру, что распускает себя в опыте предела, в акте эксцесса, излишества, злоупотребления, преодолевающих этот предел, переступающих через него, нарушающих его', - пишет один из классиков философии постмодернизма М. Фуко о фундаментальной метафоре этого направления - 'смерти Бога'.
  С другой стороны, проект Модерна атакует Контрмодерн, связанный с возвратом к религиозной традиции, с фундаментализмом, с отказом от ряда возникших в ходе реализации проекта Модерн моральных и нравственных норм, многих достижений культуры. Место науки в мировоззрении занимает мистика, магия, религия. Поэтому при таком социально-психологическом фоне даже обсуждать вопросы, рассматриваемые в книге, очень нелегко. И поэтому А.В. Турчин выбрал рациональную, нарочито-суховатую форму обзора, лишенную эмоциональной окраски. И это представляется очень разумным.
  Очевидно, есть две реакции на такого рода тексты. Первый - это общая, на уровне обыденного сознания реакция недоверия. Приведу пример такого рассуждения: 'почему страшилки так живучи? Ну ладно, ладно, инстинкт самосохранения... но ведь известно, что те угрозы, о которых говорят, и те угрозы, с которыми человек потом столкнется, существенно отличаются... Так почему же коллективное бессознательное не откорректирует отношение к пророчеству угроз? Да очень просто - не только письменная история пишется победителями. Они ещё и формируют коллективное бессознательное... Вот так-то и корректируется архетип - несбывшиеся ужасы забываются, а любовь к страшилкам - живет' . Замечу в скобках, что для того, чтобы многие ужасы не сбылись, потребовались в ряде случаев громадные средства и усилия очень многих людей.
  Оборотная сторона этой медали - попытки решить сущностные, социальные, психологические, мировоззренческие вопросы технологическими средствами. Здесь можно привести в пример проекты радикального продления жизни (с помощью стволовых клеток, микророботов или как-то иначе), крионику (замораживание после смерти, в надежде, что потомки займутся оживлением, лечением и т.д.), многие инициативы трансгуманистического движения. Например, один из активистов этого движения, сотрудник Института системного анализа РАН А. А. Кононов предложил заключить договор с потомками: 'Это будет договор между поколениями! Мы напишем в договоре, что работали ради прогресса, двигали технологии воскрешения, и потомки нас воскресят.'
  Мне доводилось быть на семинаре, где обсуждался проект Гечвок ('Ковчег' наоборот), где рассматривалось создание городов на глубине многих километров под землей, которые пригодятся на случай столкновения Земли с гигантским астероидом...
  Мне могут возразить, сказав, что мечтатели нужны, и даже привести в пример русского космиста Н. Ф. Федорова, автора философии Общего дела, связанной с воскрешением всех умерших людей, который оказал большое влияние на выдающихся ученых - отца космонавтики К. Э. Циолковского и основателя гелиобиологии А. Л. Чижевского. Мечтатели действительно нужны. А приведенное исключение только подтверждает правило - с какой же любовью и мудростью надо относится к людям, считая, что все они заслуживают воскрешения... И здесь тоже видно, что вначале стоят глубокие мировоззренческие вопросы, а потом исследования и технологии...
  Наука также является частью культуры и, естественно, самым тесным образом оказывается связанной с другими частями, ощущая на себе дух времени.
  Этот психологический феномен легко проследить на примере нескольких книг, связанных с очень далеким будущим и с глобальными угрозами, которые оно несет.
  Библия научно - технической революции - 'Сумма технологий' (начало 60-х годов) . Никаких сомнений в том, что удастся преодолеть все барьеры на пути технологического, социального, психологического развития и парировать все угрозы, которые могут возникнуть на этом бесконечном пути.
  Выдающийся фантаст и популяризатор науки Айзек Азимов. Книга, посвященная
  глобальным катастрофам: 'Выбор катастроф' (конец ХХ века). Об этой книге прекрасно сказал её редактор, профессор С. А. Степанов: 'это блестящая, спокойная, познавательная книга, тем не менее, принадлежит к той эпохе, которая уходит вместе с последним десятилетием ХХ столетия. Азимов - как фантаст и как популяризатор науки - воспитан столетиями гуманизма. Для него 'естественный свет разума', помноженный на усилие гения, оказывается той силой, которая способна преобразовать и неведомые силы природы и неразумное начало в человеческом существе...
  Скажи мне, чего ты боишься, и я скажу, кто ты. Человек гуманистической эпохи боится опасностей, на которые указывает ему здравый смысл: исчерпание природных ресурсов, плохое правительство, безумие ученых, обилие пятен на Солнце...
  Для того, чтобы узнать, чего боится современный 'человек с улицы', достаточно посмотреть фильмы, которые нравятся ему. Современный человек боится собственного бессознательного, невозможности исчерпывающего контроля внутренних своих начал. Он боится, что создаст существо, которое уничтожит его же самого (мутант, робот, суперкомпьютер). Он боится, что существует скрытая ложа космополитов, которая правит экономической и политической жизнью, придумав ради порабощения народных масс Интернет и СМИ. Он очень опасается зловредных пришельцев, исповедующих абсолютно другие ценности, чем человечество. Он не доверяет рациональным статистическим расчетам и предполагает, что Землю в ближайшем будущем ожидает столкновение с кометой...
  Как назвать наступающую эпоху? Пусть об этом заботится эпоха следующая. Можно лишь предполагать, что грядущий век будет в чем-то ближе древнему восприятию мира c магическим отношением к реальности и мистическим ощущением присутствия Собеседника, предлагающего человеку загадки - одну интереснее другой'.
  Эта мода затронула и популяризаторов, и учёных. В США родился целый жанр литературы, посвященной тому, как будут с течением времени исчезать следы пребывания человека на Земле, если в один прекрасный день все люди исчезнут. Всерьёз обсуждаются проблемы, которые возникнут у космологов через 100 триллионов лет и проблемы финала: 'Мы, Кросс и Шеррер считаем, что наблюдаемую Вселенную в далеком будущем ожидает коллапс в черную дыру, что в начале произойдет и с нашей Галактикой' .
  3. Проблема инструмента
  - Какая вероятность, что выйдя с экзамена Вы встретите динозавра?
  - ½
  - Почему?
  - Потому что я его либо встречу, либо не встречу.
  Из разговора на экзамене
  Математика это язык. Но само употребление языка не гарантирует содержательности суждения, высказанного на этом языке. Математика - эффективный и ценный инструмент. Однако употреблять его следует разумно и по назначению.
  Не исключением является и теория вероятности (создающая обманчивое впечатление простоты, очевидности и научности в массовом сознании). Употребление вероятностных аргументов и оценок в книге А. В. Турчина является одним из 'дискуссионных' моментов. В самом деле, что такое вероятность? Если исходить из частной формулировки, то следует поставить N одинаковых экспериментов, в n которых произошло интересующее нас событие. В этом случае
   (4)
  Разумеется, у нас нет возможности поставить бесконечно много экспериментов, и мы должны судить о вероятности pn на основе М наблюдений, что дает приближенное значение этой величины p(M). И математическая теория показывает насколько p(M) будет близко к истинной вероятности.
  Но ведь когда мы говорим о вероятности глобальных катастроф, которых, к счастью, пока не было, то пользоваться соотношением (4) или чем-то подобным просто нельзя. Здесь-то N = 0!
  Нет пророка в своём отечестве, и поэтому обратимся к зарубежным пророкам, чтобы показать типичные пробелы в логике применения математического аппарата. Это формула Фрэнка Дрейка для числа внеземных цивилизаций (встречу с которыми А. В. Турчин, видимо, не без оснований относит к глобальным рискам).
   , (5)
  где N - число внеземных цивилизаций, R - число ежегодно образующихся звезд во вселенной, P - вероятность наличия звезды у планетной системы, Ne - вероятность того, что среди планет имеется планета земного типа, на которой возможно зарождение жизни, L - вероятность реального зарождения жизни на планете, C - вероятность того, что разумная жизнь пошла по пути технологического развития, разработала средства связи и желает вступить в контакт, T - усредненное время, на протяжении которого желающая вступить в контакт цивилизация посылает радиосигналы в космос.
  По форме соотношение (5) выглядит вполне научно, а по сути является чистой воды фантастикой со своим сюжетом, предположениями и моралью. В этой формуле многовато неизвестных, значения которых в принципе непонятно, как могут быть определены.
  Допустим величину R могут оценить астрофизики и космологи, хотя в контексте обнаруженного расширения вселенной с ускорением, темной материи и это неочевидный вопрос.
  О величине P ещё недавно вообще ничего сказать было нельзя - не видели планет астрономы у звезд кроме Солнца. В последние десять с небольшим лет в астрономии произошла революция - планетные системы удалось разглядеть у сотни с лишним звезд. И вопросы о 'земной группе', о 'составе атмосферы' - это передний край науки, и пока тут тоже время для определенных суждений ещё не пришло.
  Величина Ne исходит из допущения, совсем не очевидного, что для зарождения жизни нужна планета земной группы.
  Вероятность реального зарождения жизни L... Многие исследователи полагают, что жизнь на Земле уникальна. Фрэнсис Крик (открывший двойную спираль ДНК) и ещё несколько нобелевских лауреатов считают, что жизнь вообще не могла зародиться на Земле и занесена к нам из космоса. Мне довелось участвовать в программе Президиума РАН, посвященной добиологической и ранним стадиям биологической эволюции (то есть происхождению жизни). И руководитель программы, академик Э. М. Галимов, поставил вопрос перед исследователями: 'Каковы достаточные условия возникновения жизни?' Несмотря на серьёзные усилия многих ведущих специалистов, пока, судя по всему, эта задача ученым недоступна.
  Об оценке двух остальных, ещё более экзотических слагаемых и речи нет.
  Сильной стороной данной работы А. В. Турчина является серьёзное внимание к методологическим вопросам, им уделена довольно большая часть книги. И здесь, наверно, мне тоже стоит внести свою лепту. По-видимому, с понятием 'вероятность' произошла аберрация восприятия. Поясню её на конкретном примере.
  При оценке экономических, научно-технических, научно-технологических проектов, в том числе с высоким уровнем риска, начиная с XVI века, пользуются (вначале интуитивно, а затем и осознанно) формулой
   , (6)
  где S - ожидаемая полезность проекта; i - номер возможного сценария, по которому могут развиваться события; N - общее число рассматриваемых сценариев; pi - вероятность реализации i-го сценария; xi - прибыли или убытки в случае i-го сценария. И величина xi, и соответствующие вероятности - объективные величины, оцениваемые на основе предшествующего опыта. Актуарная математика создала соответствующие методики, и страховые компании ими пользуются. Это основа объективной оценки риска. (Проблемы, которые также рассматриваются в прикладной математике, связаны с анализом и модификацией формулы (6) в случае, когда S = ∞. В случае глобальных рисков мы имеем дело именно с этой ситуацией, если в j-ом сценарии речь идет об уничтожении всего живого, то S = ∞).
  Однако в ХХ веке при анализе поведения экономических агентов было выяснено, что люди, компании, государства, принимая решения, достаточно часто исходят из иного соотношения
   , (7)
  где М - число сценариев, принимаемых во внимание; gi(pi,xi) - субъективная вероятность, то есть представление лиц, принимающих решения, о вероятности i -го сценария; hi(pi,xi) - субъективная оценка прибылей и издержек в случае наступления i -го сценария.
  Субъективная вероятность зависит от психологических установок руководителей, традиций, принятого законодательства и, во многом, её оценка парадоксальна. Например, психологические исследования показывают, что у большинства людей gi(pi,xi) = 0, если pi < 10 5, как бы не был велик ущерб. Иными словами, если, что-то случается с одним из 10 000, то человек обычно уверен, что с ним-то ничего подобного не произойдет . То есть, субъективная вероятность - 'тень' объективной вероятности, её подобие, подчас весьма далекое от оригинала.
  Однако, в последние десятилетия 'субъективная вероятность' получила права гражданства и начала гулять по страницам монографий, учебников, научных журналов (формула Дрейка - наглядный пример). Вероятности глобальных катастроф, изучаемые в книге А. В. Турчина - это сплошь и рядом субъективные вероятности.
  Эти величины - полезный инструмент для проведения социологических или социально-психологических исследований, для оценки пессимизма или оптимизма экспертов. Однако к существу дела они могут не иметь никакого отношения. И если нет предмета (объективной вероятности), то и субъективная вероятность повисает в воздухе, приобретает не рациональный, а интуитивный или эмоциональный характер, становится тенью несуществующего предмета.
  Ещё одна методическая тонкость. Для обычных аварий и бедствий характерен гауссов закон для распределения плотности вероятности ущерба. Рост людей, коэффициент интеллектуальности и другие характеристики и способности человека распределены по этому закону:
   , (8)
  где (x) - плотность вероятности случайной величины; M - её математическое ожидание; 2 - дисперсия. Для этого распределения имеет место 'закон трёх сигм' - вероятность того, что случайная величина выйдет из интервала (M 3, M+3). составляет менее 0,3 %. 'Хвосты' этого распределения спадают очень быстро и вероятностью гигантских отклонений можно пренебречь.
  Однако, для землетрясений, наводнений, торнадо, биржевых крахов, ущерба от утечки конфиденциальной информации, аварий на атомных станциях имеет место совсем другая статистика.
   . (9)
  Это степенная статистика с 'тяжелыми хвостами', здесь гигантскими отклонениями пренебречь нельзя. Это напоминает страшный и удивительный мир восточных сказок, в которых действуют гиганты и джинны: шанс встретить их очень мал, но встреча с ними может изменить все.
  И действительно, в ХХ веке было землетрясение, которое унесло более 1 миллиона жизней, наводнение, в результате которого осталось без крова более 28 миллионов человек, и чернобыльская авария, ущерб от которой превысил потери от всех других катастроф в ядерной энергетике.
  Велик соблазн, исходя из закона (9), оценивать ущербы, связанные со сверхкатастрофами, вероятность глобальных рисков. Однако, формула (9) - приближение, которое на каком-то уровне 'обрезается' свойствами системы, которая имеет свои пределы и ограничения.
  Поэтому представляется разумным, обсуждая глобальные риски и их количественный аспект, опираясь на математику и результаты естествознания, сосредоточить внимание на трех направлениях:
   Выявление процессов тех или иных катастрофических явлений. Судя по оценкам, например, высота волны цунами не может превысить километр. Аналогичные оценки существуют для ряда других бедствий.
   Конкретные, уже построенные и исследованные модели многих чрезвычайных ситуаций: ядерных взрывов, результатов столкновения с астероидами, эпидемий, распространения компьютерных вирусов и ряда других. Здесь есть и оценки, и специалисты, и опыт анализа. В книге о многом упоминается, но в следующих работах имеет смысл провести более конкретный анализ. И бог, и черт в деталях.
   Переход от теории вероятности глобальных катастроф к теории возможности таких событий. Математические основы этого подхода в последние годы были заложены профессором Ю. П. Питьевым. Тем более, что в книге есть несколько очень интересных и неочевидных сценариев развития глобальных неустойчивостей.
  Вероятно, всё это будет детально рассматриваться в следующих книгах, посвященных этой крайне важной тематике.
  4. В погоне за предвестниками
  Все меры, которые могут хотя бы в какой-то мере повысить безопасность должны быть приняты, какими бы странными, на первый взгляд, они не казались.
  Из выступления на совещании по антитеррористической деятельности.
  
  У меня, как наверное и у многих других читателей, в первый раз взявших эту книгу в руки, возник вопрос: имеет ли смысл рассматривать все эти трагические сценарии, тем более, что вероятность каждого из них весьма невелика, а научные данные о соответствующих неустойчивостях отрывочны, а во многих случаях недостоверны? Следует ли отнимать ученым хлеб у фантастов и авторов триллеров?
  Однако, на эти вопросы есть убедительные ответы, и причин для серьёзного отношения к таким исследованиям несколько.
  
  4.1. Анализ и предупреждение о глобальных рисках способны парировать или отодвинуть опасности планетарного масштаба
  Наглядный пример - работы по моделированию климатических процессов, которые около тридцати лет назад велись в Вычислительном центре АН СССР под руководством академика Н. Н. Моисеева. Созданный в то время программный комплекс позволял исследователям моделировать систему 'атмосфера - океан - биосфера'. Одним из результатов моделирования стала оценка последствий масштабного обмена ядерными ударами между сверхдержавами. Расчёты, проведенные под руководством Н Н. Моисеева и В.В. Александрова показали, что следствием такого события стала бы длительная 'ядерная зима' и изменение глобальной циркуляции атмосферы. Эти результаты согласовались с данными американских ученых, работавших под руководством К. Сагана.
  Эта работа получила широкую известность, ее результаты докладывались в Конгрессе США, Ватикане, на множестве международных форумов. В конечном итоге, она стала одним из значимых аргументов на переговорах по контролю стратегических вооружений, направленных на то, чтобы не допустить обмена ядерными ударами, а также - отправным пунктом для множества последующих работ этого направления.
  Схожая ситуация имела место с американской программой 'звездных войн', связанной с выводом различных типов оружия в космос. Одним из аргументов против этой программы стала модель профессора Г. Майер-Кресса, показавшая, что наличие противоспутникового оружия и систем преодоления противоракетной обороны не только не повысит безопасность ни одной из сторон, но и в целом резко ухудшит ситуацию и будет иметь дестабилизирующий эффект. Этот и многие другие аргументы позволили на десятки лет отложить создание космического эшелона вооружений, безусловно, угрожающего глобальными рисками.
  Возрождение космической оборонной инициативы опасно и на следующем витке. В сентябре 2006 года администрация президента Буша одобрила новую национальную космическую доктрину США, в соответствии с которой США 'не признают ограничения фундаментального права Соединенных Штатов осуществлять деятельность и получать информацию в космосе'. Три месяца спустя Китай уничтожил свой метеорологический спутник, породив большое количество обломков в космосе .
  Здесь мы сталкиваемся с новым стратегическим риском. В течение многих лет в Институте прикладной математики им. М. В. Келдыша РАН работает группа по анализу космического мусора, отслеживающая траектории более 30 тысяч объектов в космосе. По оценкам специалистов этой группы, ситуация с космическим мусором, а значит, и с безопасностью запусков последующих космических аппаратов, быстро ухудшается.
  Иными словами, в отсутствие специальных мер может произойти 'фазовый переход' - Земля в перспективе может оказаться без космического сегмента своей техносферы со всеми вытекающими отсюда последствиями.
  
  4.2. Анализ глобальных последствий деятельности человека позволяет более адекватно оценивать те риски, которые недооцениваются
  В 2007 году при МЧС РФ был создан Экспертный совет по чрезвычайным ситуациям, в который вошли ведущие учёные России, работающие в этой области и ряд руководителей министерства. Проведенный советом анализ ведущихся в стране исследований показал, что нескольким важным блокам опасностей сейчас в России уделяется явно недостаточно внимания. Среди них:
   'Гипотетические аварии' (их рассматривают наряду с 'простейшими' и 'запроектными') - крайне маловероятные события с гигантским ущербом (пример - Чернобыльская авария, - до того, как она произошла вероятность чрезвычайной ситуации такого класса оценивали как 10 6 год 1 - одна авария в миллион лет; аварии на морских буровых платформах, которых уже произошли десятки, и вероятность которых при проектировании оценивается 10 7 год 1).
   Новые поколения террористических актов, жертвами которых могут стать сотни тысяч и миллионы человек (один такой теракт может иметь глобальные последствия, снизив 'порог невозможного' в сознании общества и элит, подобно тому, как это сделали в своё время американские ядерные бомбардировки Хиросимы и Нагасаки).
   Постиндустриальные риски, связанные со старением инфраструктуры, накопленными отходами, загрязнениями, созданными на индустриальной стадии развития. Например, в опасном состоянии в России находится около 50 водохранилищ, некоторые из которых подпирают по 6-8 кубических километров воды. Они строились из расчета срока эксплуатации в 50 лет, которые уже прошли. Модернизация этих сооружений (капитальный ремонт, реконструкция, возможно, со спуском водохранилищ) - большой, тяжелый и нерешенный вопрос. В то же время прорыв таких плотин может привести к очень тяжелым последствиям, меняющим отношение и к техносфере, и к безопасности, и к человеческой жизни.
   Риски нового поколения технологий. В США и в мире активно развивается NanoBioInfoCogno - технологическая и научная парадигма. В каждой из этих сфер есть свои весьма серьёзные угрозы. В США, к примеру, десятки мозговых центров заняты анализом сценариев развития нанотехнологий, оценкой их рисков и методов парирования будущих опасностей. Насколько мне известно, в России подобные работы пока не проводятся.
  4.3. Сложные системы гораздо более хрупки, чем кажется на первый взгляд. Обеспечение их безопасности неотделимо от исследования таких сложных объектов и создания эффективных систем мониторинга и управления рисками их развития и функционирования
  Сложность очень часто возникнет как результат адаптации, настройки на внешнюю среду и окружение. Эта настройка может приводить к возникновению специфических механизмов и причинно-следственных связей, которые при изменении условий могут привести к неустойчивостям, имеющим гигантские масштабы. И время выхода ситуации из под контроля в этих системах может быть очень малым.
  Более того, сложные, эффективные, хорошо защищенные системы обычно имеют ахиллесову пяту (парадокс Ахиллеса) - плату за способность реагировать на изменение окружения, корректируя свои стратегии и перестраивая свою структуру.
  В качестве примера можно привести мировую финансовую систему - важнейший механизм управления мировой экономикой. Её неустойчивость стремительно нарастает. Результаты же её краха могут сейчас иметь последствия, сравнимые с последствиями мировой войны. Это может привести к формированию новой системы жизнеустройства, с новыми смыслами, ценностями, алгоритмами развития (ближайший аналог - темные века, через которые прошло человечество). Это путь к планетарному системному кризису, в результате которого многое, созданное в предыдущие века, может обратиться против человечества.
  
  4.4 На обсуждение многих глобальных угроз, основ бытия отдельных цивилизаций, будущего человечества, фактически наложено табу, что весьма опасно
  Проблемы определенного масштаба как бы находятся вне сферы внимания научного сообщества и массового сознания. Несущественные, второстепенные проблемы заслоняют главные. Книги, подобные работе А. Азимова и А. В. Турчина, помогают скорректировать шкалу масштабов тех явлений, которые должны волновать человечество.
  
  4.5. Большого внимания заслуживают предвестники катастроф невиданного ранее масштаба
  История катастроф ХХ века показывает, что гигантские стихийные бедствия и сокрушительные техногенные катастрофы обычно имели предвестников - беды того же типа, развивающиеся по схожему сценарию, но гораздо меньшего масштаба. И те страны, которые смогли оценить их смысл и значение и принять необходимые меры, избежали многих трагических событий. Государства, проигнорировавшие предвестников, часто несли огромные потери. В МЧС России в своё время был принят принцип: 'каждая катастрофа должна учить'. И гораздо лучше учиться, осмысливая предвестников, чем переживая глобальную катастрофу.
  Экстраполяция (продолжение) - некорректная процедура (малые погрешности в исходных данных могут привести к большим ошибкам в прогнозе), но вместе с тем - и крайне важная. По сути, это один из важнейших способов избежать опасностей. Приведем недавний конкретный пример, показывающий, что разумная экстраполяция могла бы спасти сотни тысяч жизней.
  Сейчас Россия занимает ведущие позиции в мире в области среднесрочного прогноза землетрясений (1-5 лет). Все основные методики в мире опираются на подходы, разрабатывающиеся в Институте физики земли РАН и развиваемые ныне в Международном институте математической геофизики и теории прогноза землетрясений РАН.
  В результате проведенных исследований была создана весьма эффективная методика прогноза землетрясений силой около 8 баллов. Суть этого подхода близка к идее барометра или термометра. Барометр даже без решения уравнений, описывающих динамику, 'падает' с переменной погоды, и если он 'падает' очень сильно, то можно ждать бури. Медицинский термометр, показывающий температуру тела выше 37, говорит о необходимости обратить внимание на состояние организма.
  Данные сейсмостанций, осредненные по кругу диаметра 1333 километров (именно на такой территории готовятся 8-бальные землетрясения), позволяют сформировать 8 функционалов - аналогов температуры или давления для земной коры. Затем организуется мониторинг и когда 7 функционалов превышают опасную черту (которая определяется на основе имеющейся сейсмической предыстории региона), то объявляется тревога .
  В декабре 2004 года гигантское землетрясение в Индийском океане породило волну цунами, которая, в конечном счёте, унесла жизни более 300 тысяч человек. К удивлению исследователей, оказалось, что оно не было предсказано ведущими мировыми центрами, занимающимися прогнозом землетрясений. Если бы такой прогноз был, то это было бы мощным стимулом для создания систем предупреждения. При наличии таких систем число жертв удалось бы сократить, по экспертным оценкам, до 5 тысяч человек.
  Ретроспективный анализ показал причину этой ошибки. За время предшествующей работы не было 9-бальных землетрясений. Землетрясения такой силы готовятся на территории круга диаметром 3000 км. Никто, не ожидая гигантского землетрясения, просто не анализировал такие пространственные масштабы. Ошибка состояла в том, что события гигантского масштаба, превышающего всё виденное, просто не имели в виду.
  Подводя итог, можно сказать, что книга А. В. Турчина может сыграть большую положительную роль в управлении стратегическими рисками. Не всё в ней безупречно, и с некоторыми оценками и подходами хотелось бы поспорить. И, вероятно, в будущем к этим проблемам придется вернуться.
  Однако главное, чтобы это будущее состоялось. И здесь трезвая, научная оценка сценариев возможных глобальных катастроф, которой и посвящена книга, очень важна.
  
  
  Н. Бостром. Вводное слово
  
  Множество академических учёных тратит массу времени, думая о множестве вещей. К сожалению, угрозы существованию человеческого вида всё ещё не являются одной из них. Мы должны надеяться, что эта ситуация изменится, и возможно, данная книга стимулирует больше исследований по этой проблеме.
  Я пытался исследовать различные аспекты этой проблемы, но исследования угроз существованию всё ещё находятся на зачаточном уровне. Я вижу эти проблемы как важную часть огромной задачи, стоящей перед нами. По мере роста наших технологических и экономических возможностей и по мере роста нашего научного понимания, мы должны всё более тщательно и критически размышлять о по-настоящему масштабных вопросах, стоящих перед человечеством. Мы должны подойти к этим вопросам, по крайней мере, с тем же уровнем внимания к деталям и аналитической строгостью, каких мы ожидаем от научных исследований способов размножения навозной мухи или строения колец Сатурна. Мы знаем, что откровения об этих малых вещах приходят не из воздуха, и нам не следует ожидать, что мудрость о бóльших проблемах будет достигнута проще. Но если мы предпримем усилия, и если мы постараемся быть интеллектуально честными, и если мы используем огромное количество уже накопленных релевантных научных знаний, мы, вероятно, достигнем определённого прогресса с течением времени. И это будет существенным вкладом во благо человечества.
  
  Ник Бостром, Оксфорд, 7 декабря 2007 года.
  
  Предисловие
  
  Угроза существованию - это та угроза, в которой негативный исход или уничтожает возникшую на Земле разумную жизнь, или необратимо и значительно сокращает её потенциал.
  Н. Бостром. 'Угрозы существованию: анализ сценариев человеческого вымирания'.
  
  Если в ХХ веке возможность вымирания человечества связывалась в первую очередь с угрозой глобальной ядерной войны, то в начале XXI мы можем без труда называть более десяти различных источников рисков необратимой глобальной катастрофы, в основном создаваемых развитием новых технологий, и число это постоянно растёт. Исследование данного вопроса странным образом отстаёт от многих других, более частных вопросов, что видно хотя бы по количеству научных работ на эту тему. (Видимо таково свойство человеческой натуры: в своё время Дейл Карнеги жаловался, что в библиотеке много книг о червях (worm), но нет книг о 'беспокойстве' ('worry') - куда более важной теме.) Проблемы исчерпания запасов нефти, будущего китайской экономики или освоения Космоса привлекают гораздо больше внимания, чем необратимые глобальные катастрофы, а исследования, в которых разные виды глобальных катастроф сопоставляются друг с другом, встречаются реже, чем предметные дискуссии по отдельным рискам. Однако кажется бессмысленным обсуждать будущее человеческой цивилизации до того, как будет получена разумная оценка её шансов на выживание. Даже если в результате такого исследования мы узнаем, что риск пренебрежимо мал, в любом случае важно этот вопрос изучить. Но, к сожалению, сразу могу сказать, что мы не получим такого обнадёживающего результата. Сэр Мартин Рис [Rees 2003] оценивает шансы гибели человечества в XXI веке в 50 %, и я склоняюсь к тому, что это вполне обоснованная оценка.
  Предлагаемая читателю книга 'Структура глобальной катастрофы' посвящена мало освещённой в отечественной литературе теме: системному обзору 'угроз существованию', то есть рискам необратимой гибели всей человеческой цивилизации и вымирания человека. Цель этой книги - дать широкий и максимально достоверный обзор темы. При этом, однако, книга носит дискуссионный характер. Она призвана не столько дать окончательные ответы, сколько подтолкнуть мысль читателя и создать почву для дальнейших обсуждений. Многие высказанные гипотезы могут показаться излишне радикальными. Однако, говоря о них, я руководствовался 'принципом предосторожности', который рекомендует рассматривать наихудший из реалистических сценариев, когда речь идёт об обеспечении безопасности. Критерием реалистичности сценариев для меня является то, что они могут возникнуть при сохранении нынешнего темпа развития технологий в течение XXI века и не нарушают известные законы физики.
  Исследование характера глобальных угроз и их вероятностная оценка необходимы, чтобы определить, насколько велик риск и какие меры следует принять в отношении него. И хотя в этой книге обсуждаются возможные превентивные меры, здесь нет универсального рецепта избавления от глобальных рисков. Однако не хотелось бы внушить читателю ощущение неизбежности гибели. Я полагаю, что, несмотря на трудности и риски, ожидающие человечество в XXI веке, люди имеют шанс выжить и, более того, построить более совершенный мир. Однако сохранение человечества является необходимым условием для любого совершенного мира. Опять же, в этой книге мы не обсуждаем вопрос о том, каким бы мог быть совершенный мир, в котором новые технологии использованы во благо, а не для разрушения.
  Данная монография состоит из двух частей: собственно исследования рисков и анализа когнитивных искажений, влияющих на оценку рисков. Разбор конкретных угроз в первой части состоит из максимально подробного их перечня со ссылками на источники и критического анализа этих источников. Затем исследуются системные эффекты взаимодействия разных рисков, обсуждаются способы вероятностной оценки глобальных рисков и другие, связанные с этим вопросы. Во второй части предложен критический анализ способности человеческого мышления к предсказанию и оценке глобальных рисков . Он может быть полезна, с небольшими изменениями, и в любых других футурологических исследованиях.
  Имеет ли смысл вообще писать по-русски о глобальных катастрофах? Я думаю, что имеет, по следующим причинам:
  1. Эта тема мало освещена в русскоязычной литературе и отдана на откуп разного рода сектантам и проповедникам апокалипсиса. Основные исследования не переведены (за исключением примерно 10 статей по проблеме, переведённых мною в 2006-2008 годах). Открытое обсуждение этих вопросов может быть интересно не только специалистам, но и широкой публике.
  2. Технологическое отставание России не настолько велико, чтобы служить гарантией того, что у нас не могут быть разработаны опасные технологии и созданы опасные изделия на их основе. Наоборот, РФ обладает техническим потенциалом для развития многих видов опасных технологий, в первую очередь, в области ядерного и биологического оружия. Также есть в нашей стране группы, работающие в области ИИ. Проводятся и высокоэнергетические физические эксперименты.
  3. Россия неоднократно в истории или опережала мир в важных технологических разработках (спутник, первый человек в космосе), или доводила их до масштабного предела ('Царь-бомба'). Кроме того, на территории СССР произошли некоторые крупнейшие в своём роде катастрофы (Чернобыль).
  4. Безответственность и коррупция, влияющие на организацию производства ('авось', 'откат', ориентация на краткосрочную выгоду), привели к тому, что вопросам безопасности не уделяется достаточно внимания. Г. Г. Малинецкий в своих книгах и докладах рисует бедственную картину в области предотвращения техногенных катастроф в России. Глобальные катастрофы привлекают ещё меньше внимания.
  5. Информация о рисках, связанных с создаваемыми на Западе новыми технологиями, проникает в массовое сознание медленнее, чем сами технологии, и бóльшая часть работ на тему глобальных рисков до сих пор не переведена на русский язык.
  6. Отсутствие жёсткого контроля позволяет существовать большому числу нелегальных разработчиков компьютерных программ ('русские хакеры'), и может быть крайне опасно, если то же самое произойдёт в области биотехнологий.
  7. Россия унаследовала мощные геополитические противоречия и 'комплекс неполноценности' в результате распада СССР ('постимперский синдром'), что может способствовать осуществлению опасных проектов.
  8. Публикации на русском языке могут оказать позитивное влияние на зарубежную науку и общественное мнение, увеличивая 'насыщенность среды' информацией о глобальных рисках. Уникальные наработки российских исследователей могут внести свой вклад в общее дело спасения мира и цивилизации. Русскоязычная литература будет доступна также в странах СНГ. Многие русские студенты в будущем будут учиться или работать в зарубежных учреждениях, перенося накопленные в нашей стране знания. Есть довольно значительная группа зарубежных исследователей, читающих по-русски или русского происхождения.
  9. Россия может оказаться в обстоятельствах, когда само её существование как части большого мира, окажется зависящим от внешних обстоятельств, и станет необходимым быстрое принятие адекватных решений в условиях острого недостатка информации. В этом случае возникнет потребность в информации и людях. Необходимо ясное понимание правительствами разных стран природы глобальных рисков.
  10. Широта и свобода мировоззрения, как я надеюсь, свойственная мыслителям в России, может дать новый взгляд на общечеловеческие проблемы, открыть новые уязвимости и указать новые пути предотвращения глобальных рисков.
  11. Если наша страна позиционирует себя в качестве великой державы, развивает нанотехнологии, собирается участвовать в проекте полёта на Марс и т. д., то она должна играть ответственную роль в обеспечении безопасности всего человечества.
  Многое, сказанное здесь о России, относится и к другим странам, например, к Индии и Китаю, где технологии быстро развиваются, а культура предотвращения рисков также низка.
  Я хочу выразить благодарность людям, которые поддержали меня во время написания этой книги. В первую очередь я хочу поблагодарить Е. Юдковски и Н. Бострома, которые вдохновили меня на исследование темы глобальных рисков своими ясными и пронзительными статьями, а также любезно разрешили опубликовать переводы этих статей на русском. Безусловно, эта книга не могла бы возникнуть без того влияния, которое оказала на меня Е. Д. Плавинская. Я благодарен И. В. Следзевскому, который помог придать законченную форму моему повествованию и положил массу усилий к его редактированию. Особенно велика моя благодарность Координационному совету Российского Трансгуманистического Движения в лице Валерии Прайд и Данилы Андреевича Медведева, оказавших материальную и моральную помощь в издании этой книги. Значительная группа людей внесла посильный вклад в редактирование этой книги, в том числе Ольга Артемьева, Елена Медведева, Диана Жданова, Павел Ильин и многие другие. Не могу не высказать благодарность своему первому учителю М. М. Алленову, давшему мне образец ясности и проницательности мысли. Я признателен моей матери Ксении Богемской, моему отцу Валерию Турчину, сыну Станиславу и его маме Анне Соболевой, способствовавших самим своим существованием моей работе, а также моей крёстной матери Наталии Сегал. Особая благодарность пользователю ЖЖ под ником caps_lockk. Я благодарен всем тем, кого не могу назвать по имени, в том числе читателям моего блога, которые помогли мне своими бесчисленными комментариями.
  А. В. Турчин
  
  
  Что изменилось за три года? Дополнение в 2010 году
  
  
  Три года я пишу, читаю и перевожу на тему глобальных рисков. Как изменилась ситуация в этой области за прошедшее время?
  
  1. Самое главное - глобальной катастрофы не произошло. Не произошло и колоссальных терактов, войн, природных катастроф.
  2. Основные тенденции развития технологий - экспоненциальный рост результатов в духе закона Мура - не изменились.
  3. Начался экономический кризис. Я читал Хазина несколько лет назад, ещё с 2005 года, Рубини с 2006 и в принципе полагал кризис неизбежным. Но при этом я предполагал его более внезапное течение, в духе внезапного краха доллара. Тут самое интересное - исполнение пророчеств маргинальной (по числу последователей) теории. Любая маргинальная теория ждёт своего часа Х, чтобы доказать свою правоту. (Для уфологов- это disclosure - обнародование сокрытой правительством информации). Тут основное наблюдение состоит в том, что пророчества сбываются не так, и пророки мало чего пожинают на этом. Я также полагаю, что основные события экономического кризиса ещё не произошли, однако связано это с тем, что власти нашли способ максимально откладывать неприятные последствия. В надежде, что или шах, или ишак как-нибудь сами вымрут. В целом, я недооценил этот способ решения проблем. Однако теперь я понял, что как только начинается власть, всегда возникают неразрешимые проблемы, и власть в основном занимается тем, что ищет способы их откладывать. Так, Хазин полагает, что нынешний кризис - это отложенный ещё с 2001 года кризис. Тут можно порассуждать на тему, что вся история человечества - это набор временных мер и попытка бежать впереди катящегося снежного кома последствий.
  4. Началась очередная пандемия гриппа. Вроде она оказалась пока не так страшна, как могла бы быть, но здесь та же ситуация - не понятно, чем кончится. Начались разговоры об искусственности вируса. Я также недооценил веру народа в теории заговора, в духе того, что мировое правительство хочет отравить всех прививками.
  5. Климатгейт. Опять же основное событие касается не каких-то изменений климата (мало кто заметил, что в Арктике в 2008г обнаружили области, где пузырится метан), а области знаний и принятия решений в области предотвращения рисков. В результате, если раньше я полагал, что у меня есть хоть какие-то достоверные идеи по поводу потепления, то теперь я в равной мере не доверяю ни одному из объяснений. То есть в результате мои знания вернулись к априорному незнанию - 50 на 50.
  6. Вышла моя книга на русском и сборник Бострома на английском по глобальным катастрофам. Все тексты по теме были выложены в нет, в том числе и по-английски. Любой, кто хочет изучить эту тему, обладает теперь полным доступом к открытым исследованиям.
  7. Драматический запуск коллайдера со всеми его поломками, протестами и спорами. Вроде бы эти споры должны были привести к тому, что основные аргументы, связанные с любым глобальным риском, станут общедоступными - о наблюдательной селекции, о мат. ожидании числа жертв, о независимой экспертизе рисков. Но такого ощущения нет, а есть ощущение, что каждый отстаивает случайным образом сложившиеся у него мнения. (Смешно, когда одни и те же люди верят в климатгейт, и при этом же верят в заверения в безопасности коллайдера - я вас уверяю, там тоже было много интересных емейлов.)
  8. Вероятно, мы таки прошли Пик ойл - то есть пик добычи нефти, и, возможно, именно он является одной из причин финансового кризиса, так как только спад в экономике позволяет держать цены низкими. Основная проблема понимания Пик ойл, в том, что технологически мы можем обойтись без нефти - ветряки понастроить ударными темпами итд. Но практически мы не можем этого сделать, так как пик ойл порождает финасовый кризис, а в этих условиях трудно осуществить массовые инвестиции в новые технологии. Плюс к тому - пик всего: все пики стремятся произойти одновременно за счёт взиамозаменимости ресурсов.
  9. Для меня было неожиданностью, что многие трансгуманисты весьма зло реагировали на мои исследования, так как, по их логике, разговоры о глобальных рисках тормозят прогресс, а это снижает их личные шансы на бессмертие.
  
  
  
  Термины
  В этой работе ряд терминов употребляется в следующих значениях (подробнее каждый термин будет разъяснён в тексте):
  Doomsday argument - Доказательство Конца Света, или иногда рассуждение о конце света Картера-Лесли, сокращённо - DA.
  NBIC-конвергенция - означает наблюдающуюся в современной науке тенденцию к слиянию и обмену информацией, методами и результатами между четырьмя ключевыми технологиями nano-bio-info-cogno.
  Агент - вещество, вирус, бактерия, поток энергии или любой другой распространяющийся фактор воздействия, причиняющий смерть.
  Глобальная катастрофа - событие, приводящее к необратимому вымиранию всех людей. События, которые затрагивают весь мир, но не приводят к тотальному вымиранию, называются в этом тексте 'очень большими катастрофами'.
  'Дружественный' ИИ - универсальный сильный ИИ, система целей которого устроена так, что он не будет причинять вред людям и будет уменьшать риск глобальной катастрофы. Его противоположность - недружественный ИИ, система целей которого ведёт к гибели людей и даже вымиранию человечества.
  Закон Мура - исходно относится к удвоению числа транзисторов на микропроцессорах каждые два года. Говоря о законе Мура, мы будем иметь в виду закон Мура в широком смысле слова, как процесс экспоненциального роста ряда ключевых технологий с периодом удвоения в несколько лет.
  ИИ - Искусственный интеллект, понимаемый как Универсальный искусственный интеллект, способный к самосовершенствованию и любой интеллектуальной деятельности, доступной человеку.
  Машина судного дня, оружие судного дня - любое устройство, вещество или способ, которые разработаны специально для окончательного и необратимого уничтожения человечества.
  Ошибки - по-английски 'cognitive biases', что можно перевести как 'предубеждения' или 'отклонения в ходе рассуждений', или, если употребить точный психологический термин, 'когнитивные искажения'.
  Постапокалиптический мир - то, чем может стать Земля, в случае, если на ней произойдёт очень большая катастрофа, однако какое-то число людей выживет.
  Сверхтехнологии - принципиально новые технологические способы влияния на внешний мир, способные его полностью трансформировать и/или создать глобальные риски, в первую очередь это нано-, био-, когно- и ИИ-технологии
  Сингулярность - гипотетическая точка во времени в районе 2030 года, когда ряд прогностических кривых уходят в бесконечность. Связывается с крайне быстрым ростом технического прогресса, особенно компьютеров, нано- и биотехнологий, исследований мозга и систем ИИ и предполагает качественное изменение человечества. Термин введён в употребление Вернором Винджем в 1993 году.
  Структура катастрофы - взаимосвязь научных заблуждений, конструкторских недоработок, операторских ошибок и цепной реакции факторов разрушения, ведущих к катастрофе.
  
  
  
  Введение
  
  Люди, львы, орлы и куропатки, рогатые олени, гуси, пауки, молчаливые рыбы, обитавшие в воде, морские звезды и те, которых нельзя было видеть глазом,- словом, все жизни, все жизни, все жизни, свершив печальный круг, угасли... Уже тысячи веков, как земля не носит на себе ни одного живого существа, и эта бедная луна напрасно зажигает свой фонарь. На лугу уже не просыпаются с криком журавли, и майских жуков не бывает слышно в липовых рощах. Холодно, холодно, холодно. Пусто, пусто, пусто. Страшно, страшно, страшно.
  А.П.Чехов. 'Чайка'
  
  Несмотря на то, что книг с общим обзором проблемы глобальных рисков издано в мире немного, уже наметилась определённая традиция в обсуждении предмета. Она состоит в обсуждении методологии, классификации возможных рисков, оценки их вероятности, способов защиты и затем - обзора логических парадоксов, связанных с этой проблемой, а именно, 'Доказательство Конца Света' (Doomsday argument). Наиболее существенных современных источников по проблеме четыре. Это книга канадского философа Дж. Лесли 'Конец света. Наука и этика человеческого вымирания' [Leslie 1996], книга английского астронома сэра Мартина Риса 'Наш последний час' [Rees 2003], книга американского учёного и юриста Р. Познера 'Катастрофа. Риск и реакция' [Posner 2004] и сборник статей под редакцией Н. Бострома и М. Чирковича 'Риски глобальной катастрофы' [Bostrom, Circovic 2008]. Ещё раз мы обратимся к имеющейся литературе в разделе 'Краткая история исследования вопроса' в 1-ой главе, в том числе упомянем и работы советских и российских авторов, однако, перечисленные книги будут нашими основными точками опоры.
  Предлагаемая читателю книга значительно отличается от книг предшествующих исследователей, в первую очередь, широтой обзора. Например, в статье Юдковски [Yudkowsky 2008a] обсуждается, хотя и очень подробно, только 10 возможных систематических ошибок, влияющих на оценку глобальных рисков, тогда как в нашей книге предпринимается попытка составить их полный список, включающий 150 пунктов. Также в разделе, посвященном классификации рисков, упоминаются многие риски, о которых нет речи ни в одной из трёх книг. Если посчитать все возможные риски, включая подкатегории и составные риски, то их число тоже легко может перевалить за сотню, что превышает цифру из 15 рисков, обсуждаемых Бостромом [Bostrom 2001]. Наконец, я предлагаю классификацию вариантов Доказательства Конца Света (Doomsday argument), что не освещается в известных мне зарубежных источниках.
  Особенностью предлагаемой книги является подробный критический обзор различных средств защиты от глобальных рисков. При этом я стремился дать системный взгляд на проблему, который бы позволил оторваться от перечисления различных рисков и увидеть то общее, что есть в каждом из них, а также - как разные риски, соединяясь, могут образовывать структуру. Именно этим объясняется выбор названия книги.
  Данная работа адресована любым будущим и ныне существующим организациям, которые будут предотвращать глобальные катастрофы или по роду своей деятельности сталкиваться с ними (включая правительства, исследовательские институты, спецслужбы, военных и неправительственные фонды), их руководителям и сотрудникам, а также футурологам, молодым учёным и всем, кому интересно будущее человечества. Цель работы - дать картину рисков глобальной окончательной катастрофы. Имеется в виду событие, которое, по словам Бострома, 'истребит разумную жизнь на Земле или необратимо повредит её потенциал' [Bostrom 2001]. Полное вымирание всех людей является наиболее вероятной формой такого события, и далее по тексту под словами 'глобальная катастрофа' будет иметься в виду именно это событие.
  
  
  Часть 1. Анализ Рисков
  
  Глава 1. Общие замечания
  1.1 Пространство возможностей
  В первой части книги мы очертим и проанализируем 'пространство возможностей', в котором может произойти глобальная катастрофа. 'Пространство возможностей' - термин, восходящий к книге 'Фантастика и футурология' Станислава Лема. Он противопоставляется представлениям об отдельных сценариях и возможностях. Лем приводит следующие сравнения для пояснения этого термина: хотя количество возможных шахматных партий бесконечно, само описание правил игры и основных принципов стратегии занимает конечный объём и умопостигаемо. В качестве примера он приводит пространство возможностей 'холодной войны', которое было задано появлением определённой технологии, и внутри которого разворачивались те или иные сценарии противостояния: Карибский кризис, гонка вооружений и т. д. Описание сценариев практически бесполезно, так как, хотя каждый может быть очень интригующим, вероятность именно его реализации крайне мала. Чем больше в сценарии конкретных деталей, тем менее он вероятен - хотя видимость правдоподобия от этого возрастает. Вместе с тем, анализ отдельных сценариев даёт нам срез пространства возможностей, и потому полезен.
  Один из важнейших способов достижения безопасности - учёт всех возможных сценариев в соответствии с их вероятностями, то есть построение 'древа отказов'. Например, безопасность авиатранспорта достигается, в частности, за счёт того, что учитываются всевозможные сценарии катастрофы вплоть до определённого, точно вычисленного уровня риска. Описание пространства возможностей глобальной катастрофы преследует цель её предотвращения. Следовательно, оно должно сосредоточиться на тех узловых точках, управление которыми позволит регулировать риск как можно большего числа возможных катастрофических сценариев. Кроме того, описание должно дать информацию, удобную для осмысления и пригодную для практического использования - и желательно, чтобы эта информация была адаптирована для тех потребителей, которые будут осуществлять непосредственное предотвращение глобальных рисков. Однако задача определения этих потребителей сама по себе не проста.
  Обратите внимание, что при чтении одни моменты могут показаться вам очевидными, другие интересными, а третьи - вопиющими глупостями. Обратите также внимание, насколько будет отличаться ваша реакция от реакции других, не менее образованных, чем вы, людей. Этот разброс оценок есть, на самом деле, мера неопределенности в том, что мы знаем и можем знать о будущем.
  Вся информация взята из открытых источников, приведённых в списке литературы.
  1.2 Рассматриваемый промежуток времени: XXI век
  Есть два различных класса прогнозов - о том, что именно произойдет, и о том, когда это случится. Идеальный прогноз должен отвечать на оба эти вопроса. Однако, поскольку до идеала в прогнозах обычно далеко, то одни прогнозы лучше говорят о том, что будет, а другие о том, когда. Наилучший результат в отношении времени события можно получить, вообще не вникая в фактическую суть событий, а анализируя события статистически. Например, если знать, что рецессия в США бывает в среднем раз в 8 лет с разбросом плюс минус два года, можно неплохо угадывать время следующей рецессии, не вникая в её фактически причины. C другой стороны, анализируя фундаментальные причины событий, можно совершить значительную ошибку в оценке времени их наступления, которое часто зависит от случайных и невычислимых факторов. Например, мы наверняка можем утверждать, что рано или поздно в районе Калифорнии произойдёт мощное землетрясение силой до 9 баллов, связанное с подвижкой океанической коры под материковую, то есть мы знаем, что произойдёт землетрясение, но не знаем, когда.
  Исследуя глобальные катастрофы, возможные в XXI веке, мы в нашей работе пытаемся ответить на оба вопроса, поскольку мы описываем не только их механизмы, но и утверждаем, что эти механизмы могут реализоваться в течение ближайших нескольких десятков лет. Возможно, некоторым читателям будет проще допустить возможность реализации этих механизмов не через 30, а, допустим, через 300 лет. Таким читателям можно сказать, что, исходя из принципа предосторожности, мы рассматриваем наиболее опасный сценарий наиболее быстрого развития ситуации, и что действительно возможно, что эти же самые события произойдут значительно позже. Но следует заметить, что Р. Курцвел, рассматривая вопрос ускорения темпов исторического времени и скорости технологического прогресса, предлагает считать XXI век равным по объёму инноваций предыдущим 20 000 годам человеческого развития.
  В нашей книге анализируются угрозы существованию человечества, которые могут возникнуть и реализоваться в течение XXI века. За этой границей неопределённость настолько велика, что мы не можем сейчас ничего ни предсказать, ни предотвратить. Более того, возможно, даже граница 2100 года является слишком отдалённой (см. далее о пике прогностических кривых в районе 2030 года).
  Некоторые сценарии имеют определённые последствия, которые могут сказаться после XXI века (например, глобальное потепление), и в этом случае мы обсуждаем их. Граница 2100-ого года позволяет нам не рассматривать в качестве рисков глобальной катастрофы отдалённые во времени космические события, вроде превращения Солнца в красного гиганта. И взята эта граница не случайно. Именно 100 лет являются характерным сроком для глобальных катастроф, а не 1 год, не 10 лет и не 1000 - это станет очевидным из дальнейшего анализа конкретных рисков.
  Иначе говоря, любые комбинации из приведённых ниже сценариев глобальной катастрофы могут реализоваться в течение ближайших нескольких десятков лет. Однако поскольку я понимаю, что моя оценка времени, возможно, содержит неустранимую ошибку, я расширяю её до 100 лет. Однако моя оценка времени может содержать и ошибку в обратную сторону, что означает, что у нас нет ни ста лет, ни двадцати, а только несколько лет до того момента, когда вероятность глобальной катастрофы достигнет максимума. (Поскольку погодовая вероятность глобальной катастрофы растёт, и поскольку так не может продолжаться вечно, то эта плотность вероятности имеет некий горб, который означает момент времени, когда вероятность этой катастрофы максимальна - о том, будет ли он через несколько лет, через 23 года или через 100 лет и идёт разговор. Подробнее этот вопрос будет обсуждаться в разделе 'Неизбежность достижения устойчивого состояния' главы 19 'Многофакторные сценарии'.) Разумеется, есть вероятность, что она случится и завтра, однако я рассматриваю её как незначительную.
  Фактически, говоря о XXI веке в целом, я, возможно, внушаю ложное чувство спокойствия, поскольку существует класс источников глобальных рисков, вероятность появления которых значительно возрастёт в ближайшие 10-20 лет. Речь идёт, в первую очередь, об опасных практических приложениях биотехнологий (см. дальше в главе 4). Поэтому возможно, следовало бы говорить о первой половине XXI века. Иначе говоря, глобальные катастрофы могут случиться не с нашими потомками, а именно с нами. Я допускаю, что для живущего сейчас обычного человека шанс умереть от глобальной катастрофы выше, чем вероятность естественной смерти.
  Предлагаемый далее список возможных угроз наверняка не полон. Скорее всего, от широкой публики определённое количество рисков скрывают (просто потому что нас не считают экспертами в области ИИ, атомного оружия, коллайдера и т. д.) Почти наверняка от нас скрывают некие новые виды вооружений.
  1.3 Проблемы вычисления вероятностей различных сценариев
  Чтение этого раздела можно пропустить без ущерба для дальнейшего понимания текста. Основной вывод состоит в том, что невозможно вычислить объективные вероятности глобальных катастроф, поскольку это уникальные события, и поскольку наше сознание подвержено сильным когнитивным искажениям. Поэтому мы должны приписывать этим катастрофам некие условные вероятности, которые эквивалентны ставкам в игре. Пример такого подхода даёт Бостром, когда говорит, что было бы неразумно считать вероятность вымирания меньшей, чем 25 %. 'Разумность' оценки состоит в том, что до определённого порога мы повышаем вероятность выживания человечества, если завышаем оценку вероятности катастрофы.
  Сам по себе вероятностный подход к анализу глобальных рисков может создать иллюзию знания там, где мы на самом деле ничего не знаем, и поэтому его следует применять с определённой осторожностью.
  Вот цитата из эссе 'О невозможности прогнозирования' С. Лема: 'Здесь автор провозглашает тщетность предвидений будущего, основанных на вероятностных оценках. Он хочет показать, что история сплошь состоит из фактов, совершенно немыслимых с точки зрения теории вероятностей. Профессор Коуска переносит воображаемого футуролога в начало XX века, наделив его всеми знаниями той эпохи, чтобы задать ему ряд вопросов. Например: 'Считаешь ли ты вероятным, что вскоре откроют серебристый, похожий на свинец металл, который способен уничтожить жизнь на Земле, если два полушария из этого металла придвинуть друг к другу, чтобы получился шар величиной с большой апельсин? Считаешь ли ты возможным, что вон та старая бричка, в которую господин Бенц запихнул стрекочущий двигатель мощностью в полторы лошади, вскоре так расплодится, что от удушливых испарений и выхлопных газов в больших городах день обратится в ночь, а приткнуть эту повозку куда-нибудь станет настолько трудно, что в громаднейших мегаполисах не будет проблемы труднее этой? Считаешь ли ты вероятным, что благодаря принципу шутих и пинков люди вскоре смогут разгуливать по Луне, а их прогулки в ту же самую минуту увидят в сотнях миллионов домов на Земле? Считаешь ли ты возможным, что вскоре появятся искусственные небесные тела, снабженные устройствами, которые позволят из космоса следить за любым человеком в поле или на улице? Возможно ли, по-твоему, построить машину, которая будет лучше тебя играть в шахматы, сочинять музыку, переводить с одного языка на другой и выполнять за какие-то минуты вычисления, которых за всю свою жизнь не выполнили бы все на свете бухгалтеры и счетоводы? Считаешь ли ты возможным, что вскоре в центре Европы возникнут огромные фабрики, в которых станут топить печи живыми людьми, причем число этих несчастных превысит миллионы?' Понятно, говорит профессор Коуска, что в 1900 году только умалишенный признал бы все эти события хоть чуточку вероятными. А ведь все они совершились. Но если случились сплошные невероятности, с какой это стати вдруг наступит кардинальное улучшение и отныне начнет сбываться лишь то, что кажется нам вероятным, мыслимым и возможным? Предсказывайте себе будущее, как хотите, обращается он к футурологам, только не стройте свои предсказания на наибольших вероятностях...' [Лем 1995].
  Предлагаемая картина глобальных рисков и их взаимодействия друг с другом вызывает естественное желание вычислить точные вероятности тех или иных сценариев. Очевидно также, что при этом мы сталкиваемся со значительными трудностями. Связано это с принципиальной недостаточностью информации в наших моделях, несовершенством самих моделей, а также - с хаотическим характером всей системы.
  Само понятие 'вероятность глобальной катастрофы' в смысле 'вероятность конца света' внутренне противоречиво, так как речь идёт об, по определению, однократном событии. Даже если такое событие будет необратимо надвигаться, нам не удастся узнать, стали мы жертвой крайне случайного или закономерного события. (А если учесть эффект многомирного бессмертия, то я-наблюдатель вообще никогда не смогу обнаружить глобальную катастрофу, так как всегда найдётся мир, в котором я выживу. Но при этом я могу быть свидетелем гибели оставшейся цивилизации и быть последнем выжившим в бункере, и такой расклад должен быть приравнен к окончательному вымиранию.)
  Концепция того, что такое вероятность, претерпела длительную эволюцию, и в ней есть два направления - объективистский, где вероятность рассматривается как доля событий из некого множества, и субъективистский, где вероятность рассматривается как мера нашего незнания . Тот и другой подход применим к определению того, что считать вероятностью глобальной катастрофы. Далее мы обсудим три 'объективных' подхода к вычислению вероятности - а именно распределения по множеству возможных будущих, по множеству всех цивилизаций в галактике и по доле различных миров в Мультиверсе, и два 'субъективных' - как точную меру нашего незнания и как рациональные ожидания отдельных людей. Чтобы сделать изложение понятнее, мы в каждом случае приведём оценки вероятности для двух принципиально различных случаев - вероятности катастрофы в результате падения астероида и рисков возникновения враждебного ИИ.
  А) Абсолютная вероятность - эта та доля тех возможных будущих нашей планеты, в которых она гибнет от данной причины в данный период времени - с учётом всех наших возможных усилий по ее предотвращению. Абсолютная вероятность нам неизвестна и даже не может быть известна, так как это привело бы к логическим парадоксам (а именно, если бы мы знали, что вероятность события Х равна нулю, мы перестали бы от него защищаться и тогда бы она стала не равна нулю). Знание абсолютной вероятности предполагает наличие полного знания о всей Солнечной системе и далёких звездах - например, траекторий всех астероидов, состояния всех предсверхновых и т. д. В идеале все наши оценки вероятности должны стремиться к абсолютной вероятности. Если бы мы жили в чисто механической и вычислимой вселенной, то вместо абсолютной вероятности было бы точное знание времени наступления события. Но поскольку наша вселенная обладает квантовой неопределённостью, и неопределённостью, связанной с усилением малых изменений в духе теории хаоса, то 'демон Лапласа' (то есть сверхкомпьютер, который мог бы предсказать всё будущее вселенной, если бы знал настоящее) не работает точно, а может знать только вероятность. В случае астероидов вероятность вымирания людей в XXI веке либо равна нулю, если угрожающих нам астероидов нет, либо равна примерно 50 %, если такой астероид есть. Неопределённость последней величины зависит от неопределённости того, сможет ли человечество отклонить этот астероид, что в свою очередь зависит от крайне хаотического хода человеческой истории и разных случайностей в процессе подготовки к запуску антиракет. Примерно та же ситуация и с ИИ - если он технически возможен в ближайшее время, то есть значительные шансы его возникновения и враждебного использования; в противном случае шансы равны нулю. В случае, если квантовая неопределённость будущего мала (а мы не можем пока сказать, насколько неопределённость влияет на развитие общественных и физических процессов), то абсолютная вероятность превращается в предопределённый срок. Или предопределённый срок плюс-минус небольшое отклонение. Например, принято считать, что предопределённый срок жизни человека - 100 лет (плюс минус 30). Или что предопределённый срок существования Солнца - 5 млрд. лет (плюс минус 2)
  Б) Безусловная абсолютная вероятность - это вероятность того, что мы погибнем от некоторой данной причины, при условии, что мы не погибнем от других причин до того - и что мы ничего не будем делать, чтобы отвратить эту опасность. И наоборот - условная вероятность вымирания - эта вероятность гибели от данной причины с учётом (то есть при наличие условий) того, что мы можем погибнуть до того и от других причин (например, если шанс погибнуть в XXII веке от падения астероида равен 10 %, но при этом в силу рисков от развития новых технологий шанс человечества дожить до XXII века составляет тоже 10 % (то есть шанс вымереть - 90 %), то полная вероятность вымереть в XXII веке равна только 1 %, что резко изменяет направление приложения усилий.) Условная вероятность также включает в себя предположение о том, что мы сделаем всё возможное на данном этапе развития техники и цивилизации для предотвращения катастрофы - то есть она означает тот остаток риска, который мы не можем предотвратить никакими своими реальными усилиями. А для разных рисков возможность их предотвратить различна. Например, если технологическая цивилизация продолжит своё развитие в XXI веке, то к XXII веку она сможет отклонять любые , даже самые большие опасные астероиды.
  В) Средняя вероятность - это вероятность погибнуть от данной причины для цивилизации нашего типа. Эта вероятность есть доля цивилизаций, погибших от данной причины, из всех цивилизаций в нашей вселенной. Аналогом ей является средняя продолжительность жизни человека. Однако в случае гибели цивилизаций у нас нет статистики по другим цивилизациям (и не может быть, так как если бы мы установили коммуникацию с другой цивилизацией, то нас следовало бы считать единой цивилизацией). Средняя вероятность может резко отличаться от абсолютной вероятности из пункта А в силу конкретных особенностей нашей звёздной системы и нашего исторического пути, а также эффектов наблюдательной селекции и т. д. При этом к средней вероятности применимо понимание о причине (ядерная война), но неприменимо понимание о промежутке времени (XXI век), так как у разных цивилизаций разные временные шкалы - и имеет смысл составлять такую классификацию только для всего времени существования цивилизации. Опять-таки, среднюю вероятность может знать только господь Бог или сверхцивилизация, наблюдающая многие цивилизации низшего уровня. Но мы можем рассуждать о средней вероятности на основании парадокса Ферми и т. д. Исходя из принципа Коперника (meritocracy principle), мы должны считать, что мы, скорее всего, являемся обычной цивилизацией, и следовательно, в нашем случае, абсолютная вероятность равна средней вероятности, во всяком случае, до того момента, как мы получим некую конкретную информацию об особенности нашей цивилизации (отличающей ее от других), которую мы можем учесть. Отметим, что поскольку мы живём в середине технологической эры, то эффект наблюдательной селекции приводит к тому, что мы недооцениваем вероятность того, что мы могли вымереть в период с 1945 по 2009 год, а в силу этого абсолютная вероятность вымирания для нашей цивилизации в оставшееся время жизни МЕНЬШЕ, чем средняя вероятность вымирания цивилизаций по Галактике (например, если большинство цивилизаций в Галактике погибает в первый годы после изобретения ядерного оружия). Далее, идея о средней вероятности должна опираться на некую идею, какова окончательная судьба всех цивилизаций. Если судьбы всех цивилизаций прослеживаются до их конца, то сумма всех средних вероятностей по разным причинам должна быть равна 100 процентам - по определению. Либо должен предполагаться некий порог, за которым цивилизации считаются бессмертными - например, переход на галактическую фазу развития, Сингулярность и т. п. Далее, средняя вероятность существенно зависит от референтного класса того, что мы считаем разумными цивилизациями. (Например, нечто вроде муравьёв с зачатками письменности на некой планете, остановившихся в своём развитии - должны ли мы их считать?) Обычно речь идёт о технологических цивилизациях - подобных нашей. Но здесь есть ловушка - чем в большей мере мы сужаем референтный класс до подобности нам, тем в большей мере мы делаем зависящим его от случайных особенностей нашей цивилизации. Наконец, средняя вероятность не даёт нам погодовой плотности вероятности (кроме некоторых частных случаев, вроде взрывов сверхновых), в отличие от абсолютной вероятности, то есть мы не можем сказать, что вероятность события X равна 1 процент в год - поскольку разные цивилизации могут развиваться с разным темпом. Всё же есть попытки превратить среднюю вероятность в ожидаемую продолжительность существования внеземных цивилизаций, - это важно для оценок времени, в течение которых возможна коммуникация с внеземными цивилизациями (Шкловский об этом писал, называя это коммуникативной фазой цивилизации). Можно предположить, что скорость прогресса у других цивилизаций зависит от скорости обработки ими информации, то есть от быстродействия их мозгов, которая может быть в 10 раз больше, и в 10 раз меньше. Однако тут должны быть универсальные эволюционные ограничения. Кроме того, не ясно, должны ли мы учитывать цивилизации только в нашей вселенной, или во всех возможных вселенных с разными физическими законами - это важно при оценке рисков физических экспериментов. Средняя вероятность гибели цивилизации от падения астероида должна быть крайне мала, на уровне 1 к миллиону, так как продвинутые цивилизации просто бы не возникли в тех звёздных системах, в которых столкновения часты. Мы имеем неплохие шансы рассчитать довольно точно эту среднюю вероятность для астероидов, исходя из среднего возраста планетных систем и других данных астрономических наблюдений. В случае же ИИ эта средняя вероятность является полностью неизвестной, так как у нас нет никаких данных, чтобы сделать о ней какие-либо выводы.
  Г) Многомирная вероятность. Предположим, что есть бесконечное множество вселенных, называемое Мультиверсом (неважно, существуют ли они реально, или являются только возможными, а также не важно, речь идёт о мультиверсе квантовом, или просто о бесконечно большом мире). Среди него есть подмножество вселенных, в которых есть планеты, соответствующие нашим знаниям о Земле. Иначе говоря, наше знание создаёт сечение Мультиверса и выделяет из него некое подмножество. Например, подмножество всех обитаемых планет с массой, как у Земли. Однако внутри этого подмножества есть разные планеты, скажем, различающиеся особенностью своего внутреннего устройства. Некоторые из них более склонны к катастрофическим вулканическим извержениям (дегазация мантии). В этом случае вероятностью катастрофы будет та доля планет в этом подмножестве, на которых эта катастрофа произойдёт в определённый промежуток времени. По мере того, как наши знания о Земле растут, неопределённость нашего знания падает, и подмножество планет, соответствующих нашему знанию, сужается, а также меняются наши знания об источниках рисков. Это приводит к изменению многомирной вероятности. Хотя многомирная вероятность и неизвестна нам, но является объективной величиной. Мультиверс включает в себя разные конфигурации Солнечной системы, совместимые с нашими знаниями о ней, в том числе с разными орбитами ещё не открытых астероидов или тёмных комет. По мере того, как у нас появляются всё более мощные телескопы, мы всё больше сокращаем неопределённость в знании о Солнечной системе и всё меньшая доля ее возможных вариантов оказывается совместимой с существованием крупных опасных астероидов - в ближайшем будущем, то есть в течение ближайших десятилетий. (Но в более отдалённом будущем могут прилететь опасные кометы из облака Оорта, которых мы пока не можем наблюдать.) Надо очертить разницу между знанием, о котором речь идёт в этом параграфе, и между знанием, связанным с рациональными ожиданиями - в первом случае речь идёт о невыраженном знании, например, в виде чистой фотопластинки, а во втором - о численной оценке, выведенной из всей совокупности полученных данных.
  Д) Рациональные ожидания. (Информационная вероятность, или субъективная вероятность или байесова вероятность.) Эта вероятность является мерилом того количества информации, которое у нас есть о будущем, то есть того, что мы должны ожидать, исходя из всех имеющихся у нас знаний. В байсовом смысле она означает то, какой вес мы можем придать тем или иным гипотезам в соответствии с теми свидетельствами, которые мы получили. Однако даже рациональные ожидания являются недостижимой абстракцией, поскольку возникает вопрос, а кто, собственно, обладает этими знаниями. Идеальные рациональные ожидания должны исходить из всей суммы знаний, известной человечеству, однако ни один человек не знает всей этой информации и не способен ее рационально оценить, по причине когнитивных искажений и ограниченных вычислительных ресурсов мозга. Реальный человек не может учесть точно все гипотезы в математической форме, однако он принимает решение, исходя из всей полноты доступного ему знания - такая оценка вероятности становится субъективной вероятностью, или просто экспертной оценкой. Экспертная оценка - это результат сложения всех мнений с учётом представлений о достоверности этих мнений одним человеком. Метод Форсайта (и другие методы вроде голосования, рынка предсказаний и т. п.) используется, чтобы просуммировать мнения разных экспертов, сгладив их личные когнитивные искажения. Надо сказать, что это и есть та вероятность, какая нам обычно известна, и нам остаётся только надеяться, что, получив достаточно свидетельств, мы можем приблизить ее в начале к чистым рациональным ожиданиям, а затем их - к абсолютной вероятности.
  К сожалению, в отношении большинства наиболее серьёзных угроз (био, нано, ИИ) мы не можем говорить о том, что есть какие-то данные, которые ведут себя как обычная случайная величина. Например то, окажется ли будущий ИИ враждебным человеку или нет - никак не зависит от сегодняшнего состояния нашей Солнечной системы. Возможно, что ИИ становится враждебным человеку всегда (мнение Омохундро [Omohundro 2008]) за счёт своей естественной эволюции, а возможно, что не трудно заложить в него правила дружественности (законы робототехники Азимова). Это всё равно что рассуждать о том, каковы шансы, что теорема Пифагора истинна. Идея здесь в том, чтобы рассматривать эти невероятностные события как вероятностные, и приписать им вероятность, пропорциональную, скажем, доле и авторитетности экспертов, подтверждающих эту точку зрения.
  При этом вероятность рассматривается не как точное число, а с точностью до порядка или ниже. Кроме того, неопределённость в вероятности иногда можно уменьшить сразу, применив ее в анализе ожидаемого ущерба и расходов (cost-benefit анализе), то есть сразу умножив ее на ожидаемый ущерб и сравним ее с ожидаемыми преимуществами. Поскольку в случае глобальных катастроф речь идёт о бесконечно большом ущербе, то это умножение должно стирать разницу между в количественной оценке вероятности. Например, как запуск, так и отказ от создания ИИ включают в себя бесконечный ущерб, тогда как запуск коллайдера означает бесконечный ущерб, а отказ - только конечный. Рассуждая таким образом, мы можем придти к тем или иным решениям, не опираясь на окончательные численные оценки вероятности.
  Другой вариант учёта - это то, что теория, истинность которой зависит от нескольких произвольных предположений, имеет меньшие шансы быть истинной, чем, теория, зависящая только от одного предположения. То есть мы можем сравнивать вероятности в духе больше-меньше, опять-таки избегая количественных оценок.
  То, что знает один человек в качестве вероятности - это всегда его экспертная оценка, хотя он может ошибочно думать, что это точные рациональные ожидания или даже сама абсолютная вероятность. То есть возникает ошибка, когда человек ошибочно приписывает своим оценкам тот статус, который они не имеют. Карта - это не территория, и наши оценки вероятности - это не сама реальная вероятность, которая остаётся вещью в себе.
  Помимо оценки вероятности есть так же степень уверенности. Когда некий человек говорит, что он на 90 % уверен в том-то, это не значит, что он полагает, что вероятность этого события - 90 %. Он имеет в виду, если его понимать буквально, то, что из 10 его высказываний такой же степени уверенности, только 9 будут истинными. В случае высказывания о вероятностном событии степень уверенности должна умножаться на оценку вероятности. (Например, такое высказывание: 'Я на 90 процентов уверен, что вероятность выпадения этой монеты орлом равна ½'.) К сожалению, как показывает Юдковски, людям свойственно переоценивать степень уверенности в своих высказываниях, которая автоматически считается равной 100%, а неуверенность считается признаком слабости и некомпетентности. В отношении разных сценариев глобальной катастрофы я имею разную информированность и разную степень уверенности. Выражением степени уверенности может быть не только оценка в процентах (от 50% до 100%), но и расширение интервалов, в пределах которых может лежать искомая величина.
  В некоторых случаях может иметь смысл случайное поведение в ответ на неизмеримую опасность - например, если все цивилизации посчитают опасный эксперимент X безопасным, так как вероятность катастрофы, по их оценкам, в его ходе очень мала, то все цивилизации погибнут. Однако если все цивилизации будут случайным образом решать, какие эксперименты проводить, а какие нет, то погибнет только половина цивилизаций. Ещё один способ получить рациональные ожидания (но не абсолютную вероятность) - это использование статистики по прошлым данным, например, в духе формулы Готта (см. далее про Doomsday argument) или закона последования Лапласа , но это ограничено наблюдательной селекцией. (Например, из того, что последняя ядерная война была 63 года назад, из закона последования следуют ее шансы 1/65 на следующий год. Хотя этот способ оценки отвлекается от всей конкретики сегодняшнего дня, он может давать лучший результат, так как в нём некуда затесаться когнитивным искажениям, как это показал Канеман в статье 'Робкие решения и смелые предсказания: когнитивные перспективы в принятии рисков' в разделе 'внешний и внутренний взгляд на проблему' [Kahneman 1993], когда описывал историю планировании одного проекта. Там приводится пример о том, что оценка времени завершения проекта, сделанная на основании сравнения с другими проектами, оказалась гораздо более точной, чем оценка, сделанная участниками данного проекта, обладавшими всей полнотой данных о проекте - а именно 7-10 лет до завершения проекта вместо ожидавшихся 1,5 лет.)
  Все эти вероятности нам могут быть известны только с определённой точностью, +/- Х, которая складывается из неопределённости нашего знания, наших моделей и нашей теории, а также из влияния наших ошибок и когнитивных искажений. Оценка степени этой неопределённости может быть ещё более трудна. Задача упрощается тем, что в целом все приведённые 'объективные' вероятности должны быть величинами одного порядка, и поэтому, если мы огрубляем до уровня порядка, нам не нужно углубляться в детали, идёт ли речь о средней по галактике или абсолютной вероятности. (Поскольку маловероятно, чтобы они сильно отличались: у Чирковича в статье 'Геоинженерия, пошедшая насмарку' [Circovic 2004] рассматривается вариант, что средняя вероятность вымирания по Галактике в результате опасных гео-инженерных проектов велика, так как большинство цивилизаций ориентированы на исследование недра, а не космоса, но что Земля является уникальной цивилизацией, ориентированной именно в небо, и в силу этого вероятность гибели Земли в результате геоинженерной катастрофы меньше. То есть Чиркович предполагает, что средняя и абсолютная вероятность вымирания для Земли резко различаются. Однако шансы, что он прав - невелики. Чем больше подразумеваемая уникальность Земли, тем меньше шансов, что он прав. То есть Земля скорее является 1 из 10, чем 1 из миллиона планет. Чем радикальнее утверждение о различии средней и абсолютной вероятности, тем больше шансов, что оно ложно. Пример из жизни: если ваш случайный собеседник в Интернете утверждает, то он миллиардер, то, скорее всего, он врёт, а если он говорит, что у него есть машина, то это, скорее всего, правда.)
  Другое упрощение состоит в том, что в большинстве случаев мы не сделаем себе хуже, если переоценим вероятность некой глобальной катастрофы. Это значит, что нам надо брать в большинстве случаев верхнюю границу вероятностей. Но этот подход не работает, если нужно выбрать один из двух путей, каждый из которых имеет свой риск. В этом случае излишнее завышение риска может привести к тому, что мы фактически выберем более рискованный путь. Скажем, отказавшись от адронного коллайдера, мы можем не открыть новые источники энергии, которые нам позволили бы летать к звёздам, и не сможем резко повысить таким образом выживаемость нашей цивилизации за счёт более широкого ее распространения. Мы можем оценить среднее влияние когнитивных искажений в оценке вероятности исторических проектов (от аварий челнока до проектов построить коммунизм к 1980 году). Из исследований психологии известно, что люди, даже пытаясь учитывать свою будущую ошибку, всё равно обычно недооценивают искомый параметр [Yudkowsky 2008b].
  В нашей методологии (часть 2) мы рассмотрим список из примерно 150 возможных логических ошибок и когнитивных искажений, которые так или иначе могут изменить оценку рисков. Даже если вклад каждой ошибки составит не более одного процента, результат может отличаться от правильного в разы и даже на порядки. Когда люди предпринимают что-то впервые, они обычно недооценивают рискованность проекта в 40-100 раз, что видно на примере Чернобыля и Челленджера. (А именно, челнок был рассчитан на одну аварию на 1000 полётов, но первый раз разбился уже на 25-ом полёте, что, как подчёркивает Юдковски, говорит о том, что оценка безопасности в 1 к 25 была бы более правильной, что в 40 раз меньше исходной оценки; реакторы строились с расчетом одна авария на миллион лет, но первая масштабная авария произошла через примерно 10 000 станций-лет эксплуатации, то есть, оценка безопасности в 100 раз более низкая была бы более точной.) Е. Юдковски в своей основополагающей статье 'Систематические ошибки в рассуждениях, влияющие на оценку глобальных рисков' [Yudkowsky 2008b] приводит анализ достоверности высказываний экспертов о разнообразных величинах, которые они не могут вычислить точно, и о том, какие интервалы 99 %-ой уверенности они дают для этих величин. Результаты этих экспериментов удручают. Позволю себе большую цитату:
  'Допустим, я попрошу вас сделать наилучшее возможное предположение насчёт неизвестного числа, такого, как количество 'Врачей и хирургов' в бостонской телефонной книге, или о суммарной продукции яиц в США в миллионах штук. Вы дадите в ответ некую величину, которая наверняка не будет совершенно точной; подлинная величина будет больше или меньше, чем вы предположили. Затем я попрошу вас назвать нижнюю границу этого показателя, когда вы уверенны на 99 %, что подлинная величина лежит выше этой границы, и верхнюю границу, по отношению к которой вы на 99 % уверены, что искомая величина лежит ниже неё. Эти две границы образуют ваш интервал 98 %-й уверенности. Если вы хорошо откалиброваны, то на 100 подобных вопросов у вас будет только примерно 2 выпадения за границы интервала.
  Альперт и Раиффа задали испытуемым 1000 вопросов по общеизвестным темам, подобных приведённым выше. Оказалось, что 426 подлинных значений лежали за пределами 98 %-ых интервалов уверенности, данных испытуемыми. Если бы испытуемые были правильно настроены, было бы только 20 сюрпризов. Иными словами, события, которым испытуемые приписывали вероятность 2 %, случались в 42.6 % случаев.
  Другую группу из 35 испытуемых попросили оценить 99,9 %-е верхние и нижние границы уверенности. Они оказались неправы в 40 % случаев. Другие 35 субъектов были опрошены о максимальных и минимальных значениях некого параметра и ошиблись в 47 % случаев. Наконец, четвёртая группа из 35 субъектов должна была указать 'невероятно малое' и 'невероятно большое' значение параметра; они ошиблись в 38 % случаев.
  Во втором эксперименте новой группе испытуемых был предоставлен первый набор вопросов вместе с ответами, рейтингом оценок, с рассказом о результатах экспериментов и разъяснением концепции калибровки - и затем их попросили дать 98 %-е интервалы уверенности для новой группы вопросов. Прошедшие подготовку субъекты ошиблись в 19 % случаях, что являет собой значительное улучшение их результата в 34 % до подготовки, но всё ещё весьма далеко от хорошо откалиброванного результата в 2 %.
  Подобные уровни ошибок были обнаружены и у экспертов. Хинес и Ванмарк опросили семь всемирно известных геотехников на предмет высоты дамбы, которая вызовет разрушение фундамента из глинистых пород, и попросили оценить интервал 50 %-й уверенности вокруг этой оценки. Оказалось, что ни один из предложенных интервалов не включал в себя правильную высоту. Кристиен-Салански и Бушихед опросили группу врачей на предмет вероятности пневмонии у 1531 пациента с кашлем. В наиболее точно указанном интервале уверенности с заявленной достоверностью в 88 %, доля пациентов, действительно имевших пневмонию, была менее 20 %.
  Лихтенштейн производит обзор 14 исследований на основании 34 экспериментов, выполненных 23 исследователями, изучавшими особенности оценки достоверности собственных выводов людьми. Из них следовал мощнейший вывод о том, что люди всегда сверхуверены. В современных исследованиях на сверхуверенность уже не обращают внимания; но она продолжает попутно проявляться почти в каждом эксперименте, где субъектам позволяется давать оценки максимальных вероятностей.
  Сверхуверенность в большой мере проявляется в сфере планирования, где она известна как ошибочность планирования. Бюхлер попросил студентов-психологов предсказать важный параметр - время сдачи их дипломных работ. Исследователи подождали, когда студенты приблизились к концу своих годичных проектов и затем попросили их реалистично оценить, когда они сдадут свои работы, а также, когда они сдадут свои работы, если всё пойдёт 'так плохо, как только может'. В среднем, студентам потребовалось 55 дней, чтобы завершить свои дипломы, на 22 дня больше, чем они ожидали, и на 7 дней больше, чем они ожидали в самом худшем случае.
  Бюхлер попросил студентов оценить время сдачи дипломных работ, в котором они уверены на 50 %, на 75 % и на 99 %. Только 13 % участников закончили свои дипломы к моменту, которому приписывали 50 % вероятность, только 19 % закончили к моменту 75 % оценки и 45 % закончили к 99 % уровню. Бюхлер пишет: 'Результаты выхода на уровень 99 % достоверности особенно впечатляющи. Даже когда их попросили сделать наиболее консервативное предсказание, в отношении которого они чувствовали абсолютную уверенность, что его достигнут, всё равно уверенность студентов в их временных оценках намного превосходила их реальные результаты' [Yudkowsky 2008b].'
  
  Наконец, очень важно различать погодовую и полную вероятность. Например, если вероятность вымирания от ядерной войны оценить в 1 процент в год, то за тысячу лет накопленная вероятность будет означать шансы выжить примерно 1 к 10 000. Вообще, любая погодовая вероятность может быть трансформирована в ожидаемое время, то есть время, за которое шансы дорастут до 50 процентов. Упрощённая формула для оценки ее есть T=72/P, где Т - время в годах, а Р - вероятность в процентах. (Точное решение уравнения 2=(1,01) равно x=log2/ log(1.01). )
  Например, погодовой риск в 0,7 % даст 50 % вымирания цивилизации за 100 лет, 75 % за 200 и 99,9 % за 1000 лет.) Это означает, что любой риск, заданный на некотором промежутке времени, можно нормировать на 'период полураспада', то есть время, на котором он бы означал 50 %-ую вероятность вымирания цивилизации.
  Иначе говоря, вероятность вымирания за период времени [0; T] равна:
  P(T) = 1 - 2 ,
  Где Т - время полураспада. Тогда погодовая вероятность будет P(1) = 1 - 2 , Следующая таблица показывает соотношение этих параметров, вычисленное с помощью вышеприведенной формулы для разных начальных условий.
  Таблица 1. Связь ожидаемого времени существования цивилизации с погодовой вероятностью вымирания.
  
  T0 - период, за который глобальная катастрофа случится с вероятностью 50 %: P(1) - вероятность глобальной катастрофы в ближайший год, % P(100) - вероятность вымирания цивилизации за 100 лет (то есть к 2107г). % 1-P(100) - шансы выживания цивилизации за 100 лет: Период гарантированного вымирания с вероятностью
  99,9 %, лет:
  10 000 0.0069 % 0,7 % 99,3 % 100 000
  1 600 0.0433 % 6 % 94 % 16 000
  400 0.173 %
   12,5 % 87,5 % 4 000
  200 0.346 % 25 % 75 % 2 000
  100 0.691 % 50 % 50 % 1 000
  50 1,375 % 75 % 1 к 4 500
  25 2,735 % 93,75 % 1 к 16 250
  12,5 5,394 % 99,6 % 1 к 256 125
  6 10,910 % 99,9984 % 1 к 16 536 60
  
  Обратите внимание на нижнюю часть этой таблицы, где даже очень большое снижение шансов выживания за весь XXI век не изменяет в значительной мере 'период полураспада' T0, который остаётся на уровне порядка 10 лет. Это означает, что даже если шансы пережить XXI век очень малы, всё равно у нас почти наверняка есть ещё несколько лет до 'конца света'. С другой стороны, если мы хотим пережить XXI век наверняка (сделать 1-P(100) как можно выше), нам надо приблизить погодовую вероятность вымирания P(1) практически к нулю.
  Итак, мы предполагаем, что вероятность глобальных катастроф можно оценить, в лучшем случае, с точностью до порядка (причём, точность такой оценки будет плюс-минус порядок) и что такого уровня оценки достаточно, чтобы определить необходимость дальнейшего внимательного исследования и мониторинга проблемы . Подобными примерами шкал являются Туринская и Палермская шкалы риска астероидной опасности.
  Одиннадцатибальная (от 0 до 10) Туринская шкала астероидной опасности 'характеризует степень потенциальной опасности, грозящей Земле со стороны астероида или ядра кометы. Балл по Туринской шкале астероидной опасности присваивается малому телу Солнечной системы в момент его открытия в зависимости от массы этого тела, возможной скорости и вероятности его столкновения с Землей. По мере дальнейшего исследования орбиты тела его балл по Туринской шкале может быть изменен' [Сурдин]. Ноль означает отсутствие угрозы, десять - вероятность более 99 % падения тела диаметром более 1 км. Палермская шкала отличается от Туринской тем, что учитывает также и время, оставшееся до падения астероида: чем времени меньше, тем выше балл. Балл по Палермской шкале вычисляется по специальной формуле [NASA].
  Интересно было бы создать аналогичную шкалу для оценки рисков глобальных катастроф, ведущих к человеческому вымиранию. Поскольку результат любой катастрофы такого рода по определению один и тот же, то масштаб здесь учитывать не нужно. С другой стороны, принципиальное значение приобретает степень неопределённости нашего знания о риске и наша способность его предотвратить. Таким образом, шкала глобальных катастроф должна отражать три фактора: вероятность глобальной катастрофы, достоверность сведений о данном риске и вероятность того, что данный риск удастся предотвратить.
  В силу сказанного кажется естественным предложить следующую вероятностную классификацию глобальных рисков в XXI веке (рассматривается вероятность на протяжении всего XXI века при условии, что никакие другие риски на неё не влияют):
  1) Неизбежные события. Оценка их вероятности - порядка 100 % в течение XXI века. Интервал уверенности: (10 %; 100 %)
  2) Весьма вероятные события - оценка вероятности порядка 10 %. (1 %; 100 %)
  3) Вероятные события - оценка порядка 1 %. (0,1 %; 10 %)
  4) Маловероятные события - оценка 0,1 %. (0,01 %; 1 %)
  5) События с ничтожной вероятностью - оценка 0,01 % и меньше. (0 %; 0,1 %)
  Пунктами 4 и 5, казалось бы, можно пренебречь, поскольку их суммарный вклад меньше, чем уровень ошибок в оценке первых трёх. Однако, ими пренебрегать не стоит, так как возможна значительная ошибка в оценке рисков. Далее, важно количество событий с малой вероятностью. Например, если возможны несколько десятков разных сценариев с вероятностью 0,1 % - 10 %, то в сумме это даёт разброс вероятности 1 % - 100 %. К неизбежным событиям относится только тот факт, что в течение XXI века мир существенно изменится.
  В наших рассуждениях мы будем широко пользоваться 'принципом предосторожности', то есть, мы будем предполагать, что события могут сложиться наихудшим реалистичным образом. При этом реалистичными мы будем считать следующие сценарии: а) не противоречащие законам физики; б) возможные при условии, что наука и техника будут развиваться с теми же параметрами ускорения, что и в настоящий момент. Принцип предосторожности соответствует указанной Юдковски и проверенной на многих экспериментах закономерности (см. выше цитату из него), что результат, который люди получают относительно будущего, обычно оказывается хуже их самых худших ожиданий [Yudkowsky 2008b]. При расширении вероятностных промежутков нам следует уделять внимание, в первую очередь, расширению в худшую сторону, то есть - в сторону увеличения вероятности и уменьшения оставшегося времени. Однако, если некий фактор, например, создание защитной системы, может нам помочь, то оценки времени его появления следует увеличивать. Иначе говоря, консервативной оценкой времени появления домашних конструкторов биовирусов будет 5 лет, а времени появления лекарства от рака - 100. Хотя, скорее всего, и то, и другое появится через пару десятков лет.
  В экономике применяется следующий метод предсказания - опрос ведущих экспертов о будущем некого параметра и вычисление среднего. Очевидно, это не позволяет узнать действительное значение параметра, но позволяет сформировать 'best guess' - наилучшее предположение. Тот же метод можно применить, с определённой осторожностью, и для оценки вероятности глобальных катастроф. Допустим, в отношении глобального потепления из тысяч экспертов только один говорит, что она наверняка приведёт к полному вымиранию человечества. Тогда применение этой методики даст оценку вероятности вымирания, равную 0,1 %.
  В целом знание погодовой вероятности глобальных катастроф не имеет большой ценности, так как по причине технологического прогресса вероятность технологических катастроф будет расти, а вероятность природных катастроф - уменьшаться за счёт большей способности человека им противостоять.
  Технологическому прогрессу свойствен экспоненциальный или даже гиперболический рост.
  Предположим, что некая технология экспоненциально растёт и число условных 'установок' равно:
   (1)
  где m - постоянная из закона Мура, обратная периоду удвоения m=1/t, T - время. При этом каждая установка имеет вероятность p в год привести к глобальной катастрофе. Вопрос - какова полная вероятность катастрофы P от сегодняшнего дня до момента и какова погодовая вероятность катастрофы?
  
   (2)
  
  Для вероятности катастрофы в 0,1 % в год для одной установки и периода около 2 лет, мы получаем плотность вероятности:
  P =
  Которая на графике выглядит так:
  
  
  Чтобы получить полную вероятность за лет, надо перемножить шансы выживания за все лет и вычесть это из 1.
  
  
  Подставляя в неё значение из (1) вместо каждого получаем:
  
  
  
  И отсюда:
   (3)
  
  Если взять довольно разумную оценку как 0,1 % вероятности катастрофы на проект и период удвоения около 2 лет, то получим такой график:
  
  P =
  
  
  
  
  Говоря попросту, если опасная технология развивается экспоненциально, то шансы выжить убывают как экспонента от экспоненты, то есть очень быстро.
  Видно, что переход от погодовой вероятности к полной вероятности не меняет характер кривой и не меняет сильно значение величины, что не удивительно, так как наибольший прирост приходится за последнее удвоение - и прирост за последнее удвоение равен приросту за всё предыдущее время. То есть мы видим ту же кривую, сдвинутую на 2 года влево.
  Переход от неразличимо малой вероятности катастрофы к близкой к 1 занимает примерно 10 лет, и зависит только от постоянной закона Мура. Начальная плотность установок и вероятность катастрофы, приходящаяся на отдельную установку, не влияют на характер кривой и только сдвигают ее в ту или в другую сторону на несколько лет.
  При этом тот период времени, когда катастрофа скорее всего произойдёт, то есть время, когда ее накопленные шансы меняются от 10 % до 90 % составляет всего порядка 5 лет. Если мы учтём гиперболический закон роста технологий, то это время ещё уменьшится.
  Если мы добавим к этому то, что одновременно экспоненциально развивается несколько технологий, которые могут создавать глобальный риск: био, нано и ИИ (а также дешёвые ядерные технологии), - то мы должны ожидать, что они будут взаимодействовать друг с другом, взаимноусиливая друг друга, и ещё больше сокращая срок, когда глобальная катастрофа наиболее вероятна.
  Стоит обратить внимание, что эта кривая очень похожа на кривую человеческой смертности, то есть вероятности дожития до определённого возраста. Это можно объяснить через механизм старения, состоящий в экспоненциальном накоплении числа ошибок, сбоев и исчерпаний 'срока годности' различных систем организма. Кривая эта называется законом Гомперца и в общей форме имеет вид, который можно получить из формулы (3) после ряда преобразований:
  
  
  Кроме того, сравнивая процессы старения человеческого организма, выражаемые в виде эмпирической кривой смертности с математической кривой смертности, выражаемой формулой Гомперца, можно оценить, каков вклад сложного системного взаимодействия разных причин в такой простой процесс, как экспоненциальное нарастание вероятности. Иначе говоря, старение человека можно использовать как аналогию процессам нарастания рисков, стоящих перед технологической цивилизацией. В целом, основной вывод состоит в том, что этот вклад не очень велик, то есть кривая Гомперца описывает продолжительность жизни человека с точностью до нескольких процентов. Однако, есть важное отличие. В конце кривой реальная вероятность смерти оказывается меньше ожидаемой, что делает возможным существование 110-летних стариков. Вторая особенность, видимо, состоит в том, что продолжительность жизни человека имеет верхний предел.
  Иначе говоря, нас ждёт горячая пятилетка, хотя когда именно она начнётся - в 2010-х, 2020-х или 2030-х годах, - сказать трудно.
  Горячая пятилетка произойдёт или до возникновения мощного ИИ, либо такой ИИ возникнет во время неё, и борьба разных ИИ между собой за власть над миром станет причиной катастрофических рисков. Вряд ли, однако, горячая пятилетка произойдёт после установления всемирной власти одного ИИ. Таким образом, речь идёт о последнем пятилетии перед Сингулярностью. Разумно ожидать, впрочем, что реальность окажется сложнее предлагаемой упрощённой модели.
  Другой моделью, предсказывающей шансы глобальной катастрофы, является наблюдение А.Д.Панова [Панов 2004] и других исследователей об увеличении частоты кризисов с течением времени . Каждый следующий кризис следует за другим с периодом в примерно 2.67 раз меньшим - 1500, 1830, 1945, 1991. Кризис сопровождается как крахом определённой политической системы, так и переходом к новым технологиям. Это также сопровождается обострением войн, в которых обкатываются эти новые технологии. Дальнейшее применение этой последовательности показывает, что очередной кризис должен произойти в районе 2010 года, и мы можем видеть его зарождение в виде нынешнего экономического кризиса. Затем последует передышка в лет 8, и потом новый кризис в 2018 году, и дальше кризисы должны последовать с нарастающей частотой вплоть до момента Сингулярности в районе 2025 года, когда частота кризисов, исходя из этой модели, должна обратиться в бесконечность. График частоты кризисов описывается гиперболой. Не трудно предположить, что в момент очередного кризиса, когда власть на Земле переходит в новые руки и одновременно возникают новые технологии, обеспечивающие эту власть, возрастает риск глобальных катастроф. Например, таким риском (исходя из знаний людей того времени) было испытание первой атомной бомбы. Кроме того, из модели Панова следует, что в последние пять лет перед Сингулярностью произойдёт огромное множество технологических революций, что опять-таки согласуется с предположением о 'горячей пятилетке' в смысле глобальных катастроф. Такое быстрое изменение возможно только за счёт рекурсивно улучшающегося ИИ, и каждая революция - это некий шаг в его улучшении. Мы вернёмся к проблемам оценки вероятности глобальной катастрофы в главе 'Непрямые способы оценки вероятности глобальной катастрофы'.
  1.4 Количественные оценки вероятности глобальной катастрофы, даваемые различными авторами
  Далее я привожу известные мне оценки ведущих экспертов в этой области, которые публиковали исследования с оценками рисков человеческого вымирания (но эти оценки могут быть искажены в сторону пессимизма, так как более оптимистичные исследователи занимаются другими проблемами. Дж. Лесли, 1996, 'Конец света': 30 % в ближайшие 500 лет с учётом действия Доказательство Конца Света без него - 5 % [Leslie 1996].
  Н. Бостром, 2001, 'Угрозы существованию. Анализ сценариев человеческого вымирания и подобных опасностей': 'Мое субъективное мнение состоит в том, что будет ошибочно полагать эту вероятность меньшей, чем 25 %, и наивысшая оценка может быть значительно больше...' [Bostrom 2001].
  Сэр Мартин Рис, 2003 'Наш последний час': 50 % в XXI веке [Rees 2003].
  Может показаться, что эти данные не сильно расходятся друг с другом, так как во всех случаях фигурируют десятки процентов. Однако, промежуток времени, на который даётся это предсказание, каждый раз сокращается (пятьсот лет - двести - сто), в результате чего погодовая плотность вероятности растёт. А именно: 1996 - 0,06 % - 0,012 % , 2001 - 0,125 %, 2003 - 0,5 %.
  Иначе говоря, за десять лет ожидаемая оценка плотности вероятности глобальных катастроф, по мнению ведущих экспертов в этой области, возросла почти в 10 раз. Разумеется, можно сказать, что трёх экспертов недостаточно для статистики, и что эти мнения могут взаимно влиять друг на друга, однако тенденция неприятная. Если бы мы имели право экстраполировать эту тенденцию, то в 10-е годы XXI в. мы могли ожидать оценок погодовой вероятности вымирания в 5 %, а в 20-е годы - в 50 %, что означало бы неизбежность вымирания цивилизации до 2030 года. Несмотря на всю свою спекулятивность, эта оценка совпадает с другими оценками, полученными далее в этой книге разными независимыми способами.
  С другой стороны, в годы холодной войны оценка вероятности вымирания тоже была высока. Исследователь проблемы внеземных цивилизаций фон Хорнер приписывал 'гипотезе самоликвидации психозоя' шансы в 65 % [Лем 1970]. Фон Нейман считал, что ядерная война неизбежна, и все в ней погибнут [Bostrom 2001].
  У Шкловского мы читаем: 'По оценкам, выполненным американским футурологом А. Раппортом при экстраполяции естественных тенденций в развитии технологических цивилизаций, эти катастрофы (уничтожающие технологическую цивилизацию - А.Т.) должны реализоваться не позже 2030 года' [Шкловский 1987].
  1.5 Глобальные катастрофы и горизонт прогнозирования
  Целью данной работы является попытка проникнуть немного далее, чем позволяет нам обычный горизонт прогнозирования - туда, где за пределами однозначного прогноза виднеются туманные очертания разных возможностей. Я полагаю, что реальный горизонт однозначного прогноза, который мы можем делать со значительной достоверностью, составляет 5 лет, тогда как пространство за горизонтом, где мы можем усмотреть разные возможности, составляет ещё 20 лет после этого момента. И за этим моментом следует абсолютная непредсказуемость. Постараюсь это обосновать.
  Оценка в 5 лет возникла из экстраполяции исторических промежутков, на которых в прошлом ситуация в мире настолько менялась, что конкретные политические и технологические тенденции устаревали. Так, от открытия цепной реакции до атомной бомбы прошло 6 лет, ещё 7 - до первой водородной, а с этого момента - ещё 5 лет до запуска первого спутника. Примерно по 5 лет длились и обе мировые войны, 6 лет заняла эпоха перестройки. Поступая в вуз на 5 лет, человек не знает обычно, куда он из него пойдёт работать и какую выберет специализацию. На 5 лет обычно выбирают президентов, и никто не знает, кто будет президентом через срок. СССР управлялся на основе пятилетних планов. Периодичность появления принципиально новых продуктов и их огромных рынков: PC, интернет, сотовые телефоны - тоже имеет порядок нескольких лет. Планы внедрения новых технологий микропроцессоров также составляют не более нескольких лет. При этом основной силой в ожиданиях на ближайшие несколько лет оказывается 'сила инерции', то есть мы можем с высокой вероятностью говорить, что в течение ближайших 5 лет будет примерно тоже, что и сейчас, за исключением ряда развивающихся тенденций. Однако, когда мы говорим о сроках более 5 лет, то более вероятным выглядит утверждение о том, что ситуация кардинально изменится, чем то, что она будет такой же, как сейчас. Эффект ускорения исторического времени, о котором мы будем говорить дальше, вероятно, сокращает этот срок однозначного прогноза.
  Таким образом, мы можем сказать, что до начала 'полосы тумана' в однозначных прогнозах будущего у нас есть примерно 5 лет, то есть, это 2013 год от момента, когда я пишу эти строки. В целом, мы смутно представляем более поздние технологии, хотя и существуют отдельные технические проекты со сроком реализации до 2020-х годов ( термоядерный реактор ИТЭР или строительство лунной базы), и есть бизнес-планы, которые рассчитаны на срок до 30 лет, например, долгосрочная ипотека. Но именно пять лет - это примерный срок, за которым неопределённость в глобальном состоянии всей системы начинает преобладать над определённостью в разных видах человеческой деятельности. Также надо отметить, что с течением времени всё большая неопределённость приходится не на технологические проекты, а на открытия. И хотя мы можем сказать, что некоторые проекты составлены на 20 лет вперёд, мы не знаем, какие факторы будут самыми главными в экономическом, политическом и техническом развитии.
  Абсолютным пределом в прогнозах кажется 2030 год, в районе течение которого предполагаются возможными развитые нанотехнологии, искусственный интеллект и полное овладением биоконструированием. (Это мнение разделяется многими футурологами). Нам кажется, что сейчас нет смысла в оценках кривых роста популяции или запасов каменного угля на этот период, поскольку мы ничего не можем сказать о том, как повлияют сверхтехнологии на эти процессы. С другой стороны, большая неопределённость есть в выборе самой этой даты. Она часто фигурирует в разных дискуссиях о будущем технологий, о чём речь пойдёт дальше в главе про Технологическую Сингулярность. Очевидно, что неопределённость в дате '2030 год' составит не менее пяти лет. Если произойдёт некая неокончательная катастрофа, то она может резко расширить горизонт прогнозирования просто за счёт сужения пространства возможностей (например, в духе сюжета: 'теперь мы будем сидеть в бункере 50 лет'). Хотя большинство футурологов, пишущих на тему новых технологий, предполагают, что сверхтехнологии созреют к 2030 году, некоторые относят появление зрелых нанотехнологий и ИИ к 2040-м годам, однако мало кто решается дать обоснованные предсказания на более поздние даты. Кроме того, помимо неопределённости, связанной с нашим незнанием темпов развития разных технологий, их конвергенция в ходе Технологической Сингулярности даёт неопределённость более высокого порядка, связанную с тем, что мы не можем предсказывать поведение интеллекта, значительно превосходящего наш.
  Также надо иметь в виду, что время предсказуемости постоянно уменьшается в связи с ускорением прогресса и ростом сложности систем. Поэтому, высказывая предположения о границе предсказуемости, мы уже делаем некий прогноз на будущее - хотя бы о том, что степень его изменчивости будет сохраняться. Очевидно, однако, что граница предсказуемости может возрастать за счёт нашего лучшего предвидения и успехов в создании устойчивого общества.
  Здесь также действует парадокс среднесрочных прогнозов. Мы можем сказать, что будет с человеком завтра (примерно то же самое, что и сегодня), или через десятки лет (возможно, он состарится и умрёт), но мы не можем сказать, что будет через 10 лет. Также и про человечество мы можем сказать, что оно к концу XXI века или перейдёт в постиндустриальную фазу с нанотехнологиями, искусственным интеллектом и почти физическим бессмертием, или к этому моменту погибнет, не выдержав быстроты изменений. Однако прогноз на 15 лет гораздо менее очевиден.
  В силу сказанного, хотя мы и исследуем угрозы глобальной катастрофы на протяжении всего XXI века, наибольшей интерес для нашего исследования представляет промежуток примерно в два десятилетия между 2012 и 2030 годами. До этого периода вероятность глобальной катастрофы в целом известна и мала, а после него - мы утрачиваем, за рядом исключений, возможность что-либо точно предполагать.
  1.6 Краткая история исследований вопроса
  История современного научного изучения глобальных рисков ведёт отсчёт с 1945 года. Перед первыми испытаниями атомной бомбы в США возникли сомнения, не приведёт ли это испытание к цепной реакции термоядерного синтеза азота в атмосфере Земли. (Самоподдерживающееся химическое горение азота в кислороде невозможно, так как эта реакция эндотермическая, то есть идёт с поглощением энергии. Реакция ядерного синтеза двух ядер азота-14 требует наименьшей энергии, поэтому рассматривали именно азот, а не кислород.) Если бы азот загорелся, то реакция за несколько секунд охватила бы всю атмосферу Земли, что однозначно уничтожило бы всю биосферу, и от Земли бы остался только огарок. Даже если бы реакция охватила сферу в воздухе диаметром в 50 метров вокруг бомбы, то выход энергии был бы порядка гигатонны, и разрушения были бы по всей территории Соединённых Штатов.
  Для того, чтобы оценить риск такого развития событий, была создана комиссия во главе с физиком Артуром Комптоном. Ею был подготовлен доклад LA-602 'Риски поджигания атмосферы атомным взрывом' [LA-602 1945], которые недавно был рассекречен и теперь доступен всем желающим в Интернете в виде плохо отсканированных машинописных страниц. В нём Комптон показывает, что благодаря рассеянию фотонов на электронах последние будут охлаждаться (так как их энергия больше, чем у фотонов), и излучение будет не нагревать, а охлаждать область реакции. Таким образом, с ростом области реакции процесс будет ослабевать и не сможет стать самоподдерживающимся. Это гарантировало невозможность цепной реакции на азоте в атмосфере, хотя в конце текста было сказано, что не все факторы учтены - например, влияние водяного пара, содержащегося в атмосфере. Поскольку это был секретный доклад, он не был предназначен для убеждения публики, чем выгодно отличался от недавних докладов по безопасности коллайдера. Но его целевой аудиторией были лица, принимающие решения. Им Комптон сообщил, что шансы того, что цепная реакция подожжёт атмосферу, составляют 3 на миллион. В 1970-е годы было проведено журналистское расследование, к ходе которого выяснилось, что Комптон взял эти цифры 'из головы', потому что посчитал их достаточно убедительными для президента - в самом докладе нет никаких вероятностных оценок [Kent 2004]. При этом Комптон полагал, что реальная оценка вероятности катастрофы не важна, так как если американцы откажутся от испытаний бомбы, то ее всё равно испытают немцы или другие враждебные страны. В 1979 году вышла статья Вивера и Вуда [Weaver, Wood 1979] о термоядерной детонации в атмосферах и океанах, где показывалось, что нигде на Земле невозможны условия для термоядерной детонации (однако они возможны на других планетах, если там есть достаточно высокая концентрация дейтерия).
  Следующим важным эпизодом стало осознание человечеством не просто возможности внезапной гибели, но сознательного самоуничтожения. Этим этапом стало предложение Лео Сциллардом кобальтовой бомбы [Smith 2007]. Во время дискуссии на радио с Гансом Бете в 1950 году о возможной угрозе жизни на Земле со стороны атомного оружия, он предложил новый тип бомбы: водородную бомбу (которой тогда ещё физически не было, но возможность создания которой широко обсуждалась), обёрнутую оболочкой из кобальта-59, который при взрыве превращался бы в кобальт-60. Этот высокорадиоактивный изотоп с периодом полураспада около 5 лет мог бы сделать целые континенты или всю Землю непригодной для жизни - если бомба будет достаточно большого размера. После такого заявления министерство энергетики решило провести расследование, с тем, чтобы доказать, что такая бомба невозможна. Однако нанятый её учёный показал, что если масса бомбы составит 200 000 тонн (то есть примерно как 20 современных ядерных реакторов, что теоретически реализуемо), то её хватит для уничтожения высокоорганизованной жизни на Земле. Такое устройство неизбежно должно было бы быть стационарным. Но смысл его был именно в качестве Оружия Судного дня ('Doomsday machine') - то есть универсального оборонительного оружия. Ведь никто не решится напасть на страну, которая создала такое устройство. В 60-е годы идея о теоретической возможности уничтожения мира с помощью кобальтовой бомбы была весьма популярна, и широко обсуждалась в прессе, в научной и художественной литературе, но потом была весьма забыта. (Например, в книге Г. Кана 'О термоядерной войне' [Khan 1960], в романе Н. Шюта 'На берегу' [Shute 1957], в фильме С. Кубрика 'Доктор Стрейнджлав'.)
  Кроме того, в 60-е годы возникло много идей о потенциальных катастрофах или опасных технологиях, которые получили развитие в будущем. Английский математик И. Гуд написал эссе 'О первой сверхинтеллектуальной машине' [Good 1965], где показал, что как только такая машина появится, она будет способна к самосовершенствованию, и оставит человека навсегда позади - позднее эти идеи легли в основу представлений о Технологической Сингулярности В. Винджа [Vince 1993], суть которых состоит в том, что, исходя из текущих тенденций, к 2030 году будет создан искусственный интеллект, превосходящий человеческий, и после этого история станет принципиально непредсказуемой. Астрофизик Ф. Хойл [Hoyle 1962] написал роман 'Андромеда', в котором описал алгоритм атаки на Землю враждебного искусственного интеллекта, загружаемого по каналам SETI из космоса. Физик Р. Фейнман написал эссе 'Там, внизу, еще много места' [Feynman 1959], в котором впервые была высказана идея о возможности молекулярного производства, то есть нанороботов. Была взорвана самая большая в истории термоядерная бомба - 1961 г., Новая Земля. Важную роль в осознании глобальных рисков играет научная фантастика, особенно творчество Станислава Лема, его роман 'Непобедимый', футурологические исследования 'Сумма технологий', 'Фантастика и футурология' и другие работы. Форестер публикует в 1960 году статью 'Судный день: пятница, 13 ноября 2026 года. Дата, когда человеческая популяция достигнет бесконечности, если она будет расти с той же скоростью, как и последние два тысячелетия' [Foerester, 1960].
  В 1970-е годы стала понятна опасность, связанная с биотехнологиями. В 1971 году американский биолог Роберт Поллак узнал [Чирков 1989], что в соседней лаборатории планируются эксперименты по встраиванию генома онкогенного вируса SV40 в бактерию кишечной палочки. Он сразу представил, как такая кишечная палочка распространится по миру и вызовет всемирную эпидемию рака. Он обратился в эту лабораторию с просьбой приостановить эксперименты до того, как будут обдуманы их последствия. Результатом последовавших дискуссий стала конференция в Асиломаре в 1975 году, на которой были приняты рекомендации по проведению безопасного генетического конструирования.
  В 1981 году вышла книга А. Азимова 'Выбор катастроф' [Азимов 2002]. Хотя это была одна из первых попыток систематизировать различные глобальные риски, основное внимание в ней уделено отдалённым событиям, вроде расширения Солнца, и главный пафос книги в том, что человек сможет преодолеть глобальные риски.
  В 1983 году Б. Картер предложил антропный принцип. В рассуждениях Картера была и вторая часть, которую он решил не публиковать, а только доложить на заседании Королевского общества, так как понимал, что она вызовет ещё больший протест. Позднее ее популяризовал Дж. Лесли [Leslie 1996]. Эта вторая половина рассуждений стала известна как Doomsday argument, DA - Доказательство Конца Света. Вкратце суть ее в том, что исходя из прошлого времени жизни человечества и предположения, что мы находимся примерно в середине его существования, мы можем оценить будущее время существования человечества. Например, если я беру случайную морскую свинку из вольера, и узнаю, что её возраст - 2 года, то я могу предположить, что он с большой вероятностью примерно равен среднему возрасту свинок в вольере (так как маловероятно что я достану очень молодую или очень старую свинку), а значит, средний возраст свинок в вольере тоже 2 года, а ожидаемая продолжительность жизни - 4 года с определённой вероятностной достоверностью. (А не 2,1 года и не 400 лет.) Иначе говоря, Картер спросил: насколько вероятно то, что мы обнаруживаем себя так рано в истории цивилизации, в предположении, что человечество заселит всю галактику в течение миллионов лет. И ответ был такой: это очень маловероятно, если считать, что человечество заселит всю Галактику, но вполне вероятно, если считать, что человечество обречено на гибель в ближайшие несколько тысяч лет. Картер предложил DA в более строгой математической форме, основанной на теореме Байеса, которая давала не вероятность вымирания человечества во времени, а поправку к вероятности уже известных рисков в сторону их увеличения. В такой форме результаты получались очень плохими: например, при ряде достаточно правдоподобных предположений, вероятность в 1 % преобразовывалась в 99 %. Независимо от Картера похожую теорию разработал Ричард Готт, и опубликовал её в журнале Nature в 1993 году [Gott 1993]. В ней вероятность будущего времени существования системы выражалась на прямую через прошлое время. (С вероятностью в 50 процентов система просуществует от 1/3 до 3 периодов времени, которые она уже просуществовала, если считать, что она наблюдается в случайный момент времени.) Если учитывать только время жизни Homo Sapiens, то с учётом того, что наш вид уже существует около 200 тысяч лет, это давало ожидаемое время существования от 66 до 600 тысяч лет, что выглядит вполне разумным. Однако если учесть рост населения Земли - и взять среднее не по времени, а по числу живших людей - то ожидаемое время жизни человечества сокращалась до 1000 лет. При некоторых предположениях оно сокращается до нескольких десятков лет. DA - крайне запутанная тема, и сейчас вышли десятки статей за и против него.
  В начале 80-х возникает новая теория вымирания человечества в результате применения ядерного оружия - теория о 'ядерной зиме'. В ходе компьютерного моделирования поведения атмосферы оказывается, что затемнение в результате выброса сажевых частиц в тропосферу будет длительным и значительным. Вопрос о том, насколько реально такое затемнение и какое падение температуры может пережить человечество, остаётся открытым.
  В 80-е появлялись и первые публикации о рисках экспериментов на ускорителях.
  В 1985 году вышла книга Э. Дрекслера 'Машины созидания' [Drexler 1985], посвящённая радикальным нанотехнологиям - то есть созданию самовоспроизводящихся нанороботов. Дрекслер показал, что такое событие имело бы революционные последствия для экономики и военного дела. Он рассматривает различные сценарии глобальной катастрофы, связанной с нанороботами. Первый - это 'серая слизь', то есть неограниченное размножение нанороботов, над которыми потерян контроль, в окружающей среде. За несколько дней они могли бы полностью поглотить биосферу Земли. Второй риск - это 'нестабильная гонка вооружений'. Нанотехнологии позволят быстро и крайне дёшево создавать оружие невиданной разрушительной силы. В первую очередь речь идёт о микроскопических роботах, способных поражать живую силу и технику противника. 'Нестабильность' этой гонки вооружений состоит в том, что в ней 'начавший первым получает всё', и невозможно равновесие двух противоборствующих сил, как это было во времена холодной войны.
  В 1996 году выходит книга канадского философа Дж. Лесли 'Конец света. Наука и этика человеческого вымирания' [Leslie 1996], которая радикально отличается от книги Азимова в первую очередь своим пессимистическим тоном и сосредоточенностью на ближайшем будущем. В ней рассмотрены все новые открытия гипотетических сценариев катастрофы, в том числе нанороботы и DA и делается вывод, что шансы вымирания человечества составляют 30 процентов в ближайшие 200 лет. С этого момента интерес к теме постоянно растёт и обнаруживаются всё новые и новые потенциально катастрофические сценарии.
  Одновременно во второй половине XX века происходит развитие синергетики и обращение к системному анализу будущего и системному анализу разных катастроф. Следует отметить работы Пригожина, Ханзена и российских авторов С. П. Курдюмова, Г. Г. Малинецкого, А. П. Назаретяна и др. В работах Малинецкого показана принципиальная неустойчивость сложных систем, даётся теория режимов с обострениями и применяется к будущей истории человечества. А.П. Назаретян создаёт гипотезу 'техно-гуманитрного баланса' и показывает, что нарушение этого баланса может привести к тому, что средства разрушения превзойдут запреты на их использование, что может привести к гибели человечества. А.Д. Панов исследует сингулярную точку эволюции в районе 2030 года, в которой 'автомодельной аттрактор планетарной истории' перестаёт работать.
  С конца прошлого века Дж. Лавлок [Lovelock 2006] и, независимо, А.В Карнаухов [Карнаухов 1994] в России развивают теорию о возможности необратимого глобального потепления. Суть ее в том, что если обычное потепление, связанное с накоплением углекислого газа в атмосфере, превысит некоторый очень небольшой порог (1-2 градуса), то огромные запасы гидратов метана на морском дне и в тундре, накопившиеся там за время недавних оледенений, начнут выделятся. Метан является в десятки более сильным парниковым газом, чем углекислый газ, и это может привести к дальнейшему росту температуры Земли, что запустит другие цепочки с положительной обратной связью. Например, сильнее начнёт гореть растительность на суше - больше CO2 будет выделяться в атмосферу; нагреются океаны - упадёт растворимость CO2, и опять он будет выделяться в атмосферу, начнут образовываться бескислородные области в океане - там будет выделяться метан. Событием последних дней стало обнаружение в сентябре 2008 года пузырьков метана, выделяющихся столбами со дна Ледовитого океана. Наконец, водяной пар тоже является парниковым газом, и с ростом температур его концентрация тоже будет расти. В результате этого температура может вырасти на десятки градусов, произойдёт парниковая катастрофа, и всё живое погибнет. Хотя это не является неизбежным, риск такого развития событий является наихудшим возможным результатом с максимальным ожидаемым ущербом.
  В конце XX - начале XXI века выходят статьи с описанием принципиально новых рисков, осознание которых стало возможно благодаря творческому анализу возможностей новых технологий. Это работы Р. Фрайтаса 'Проблема серой слизи' [Freitas 2000]. Р. Кэрригена 'Следует ли обеззараживать сигналы SETI' [Carrigan 2006], книги 'Люди конца света' 'Doomsday men' П.Д. Смита [Smith 2007] и 'Случайная ядерная война' Брюса Блера [Blair 1993]. Ещё один новоизобретённый риск - это искусственное пробуждение сверхвулкана с помощью сверхглубокого бурения. Есть проекты автономных зондов, которые смогут проникнуть в недра Земли на глубину до 1000 км, проплавляя вещество мантии [Stivenson 2003], [Circovic 2004].
  В 1993 году В. Виндж [Vince 1993] выдвинул идею Технологической Сингулярности - гипотетического момента в будущем, когда интеллект компьютеров превзойдёт человеческий. Он предполагает, что это событие произойдёт до 2030 года. Сверхчеловеческий ИИ крайне опасен, так как он будет обладать способностью переиграть людей в любом виде деятельности, а значит и уничтожить их. Поэтому встает задача так запрограммировать ИИ, чтобы он не захотел это делать, то есть создать так называемый Дружественный ИИ. Эту проблему исследует Институт Сингулярности в Калифорнии, ведущий научный сотрудник которого Е. Юдковски написал несколько работ о проблемах безопасности ИИ- в первую очередь, большой труд 'Создание дружественного ИИ' (Creating friendly AI). В 2006 году она написал две статьи на которые мы часто ссылаемся в этой книге: 'Систематические ошибки в рассуждениях, влияющие на оценку рисков' [Yudkowsky 2008b] и 'Искусственный интеллект как позитивный и негативный фактор глобального риска' [Yudkowsky 2008a].
  В 2000 году в журнале Wired вышла нашумевшая статья одного из основателей Sun Microsystems Билл Джоя 'Почему мы не нужны будущему' [Joy 2000]. В ней он рисует крайне пессимистическую картину будущего цивилизации, в котором человек будет вытеснен роботами. Человеку в лучшем случае грозит учесть домашнего животного в мире, где всё за него решают машины. Развитие технологий позволит создать 'знания массового поражения', которые смогут распространяться по Интернету, например, генетические коды опасных вирусов. В 2005 году Джой участвовал в компании по удалению из Интернета недавно опубликованного в нём генома вируса испанки. В 2003 году Джой сказал, что написал две рукописи книг, которые решил не издавать. В первой он хотел предупредить людей о надвигающейся опасности, но эту функцию выполнила опубликованная им статья. Во второй он хотел предложить возможные решения, однако найденные решения пока не удовлетворяют его, а это 'не та область знаний, где есть право на второй выстрел'.
  В 2003 году вышла книга английского королевского астронома сэра Мартина Риса 'Наш последний час' [Rees 2003]. Она гораздо меньше по объёму, чем книга Лесли, и не содержит принципиально новой информации, однако обращена к самой широкой аудитории и разошлась большим тиражом. В 2004 году выходит обстоятельная книга американского судьи и учёного Ричарда Познера 'Катастрофа: риск и реакция' [Posner 2004], особенностью которой является попытка дать экономический анализ рисков глобальной катастрофы и цены усилий по ее предотвращению (на примере усилий по отклонению астероидов и ценности экспериментов на ускорителях).
  В XXI веке основной задачей исследователей стало не перечисление различных возможных глобальных рисков, а анализ общих механизмов их возникновения и предотвращения. Выяснилось, что большинство возможных рисков связаны с ошибочными знаниями и неверными решениями людей. В начале XXI века происходит формирование методологии анализа глобальных рисков, переход от перечисления рисков к мета-анализу человеческой способности обнаруживать и правильно оценивать глобальные риски. Здесь следует особо отметить работы Бострома и Юдковски.
  В 2008 году несколько событий усилили интерес к рискам глобальной катастрофы: это намечавшийся (но так пока полностью и не состоявшийся) запуск коллайдера, вертикальный скачок цен на нефть, выделение метана в Арктике, война с Грузией и мировой финансовый кризис. Научно обоснованное понимание того, что мы живём в хрупком мире, который рано или поздно разрушится, стало общественным достоянием.
  В начале XXI века происходит формирование методологии анализа глобальных рисков, переход от перечисления рисков к мета-анализу человеческой способности обнаруживать и правильно оценивать глобальные риски. В 2008 году состоялась конференция в Оксфорде 'Риски глобальной катастрофы', и по ее материалам был издан сборник трудов с тем же названием под редакцией Н. Бострома и М. Чирковича [Bostrom, Circovic 2008]. В него вошли более 20 статей различных авторов. В нём опубликована статья М. Чирковича о роли наблюдательной селекции в оценке частоты будущих катастроф, однако он приходит в ней к другим выводам, чем я в статье на аналогичную тему, а именно, что невозможно сделать никаких выводов о будущей частоте катастрофы, исходя из прошлой частоты - тогда как я полагаю, что мы, скорее всего, недооцениваем будущую частоту катастроф. В этом сборнике изданы и две выше названные статьи Юдковски, препринты которых были выложены в Интернете ещё в 2006 году. Арнон Дар разбирает риски сверхновых и гамма-всплесков, а также показывает, что особая угроза Земле исходит от космических лучей, создаваемых галактическими гамма-всплесками. Уильям Нейпер в статье про угрозы комет и астероидов показал, что, возможно, мы живём в период интенсивной кометной бомбардировки, когда частота импактов в 100 раз выше средней. Майкл Рампино дал обзор рисков катастроф, связанных с супервулканами. Все эти статьи переведены мною на русский язык. Также в сборнике разобраны риски ядерной войны, ядерного терроризма, эпидемий, биологического оружия, нанотехнологий и другие вопросы.
  В 2008 году в Москве выходит популярная версия этой книги: А.В. Турчин 'Война и ещё 25 сценариев конца света' [Турчин 2008]. Исходной название этой популярной версии было 'Гносеология катастроф', и основанная ее тема состоит в том, что конец света знания - это и есть конец света.
  В начале XXI века возникают общественные организации, пропагандирующие защиту от глобальных рисков, например, Lifeboat Foundation и CRN (Centre for Responsible Nanotechnology), снимается фильм Technocalyps. Исследование вопроса в современной России. Это исследование А. П. Назаретяна [Назретян 2001], 'Цивилизационные кризисы в контексте Универсальной истории'. Вышла книга Е. А. Абрамяна 'Судьба цивилизации' [Абрамян 2006], открылся Интернет-проект А. Кононова о неуничтожимости цивилизации . А. В. Карнаухов проводит исследования рисков парниковой катастрофы . Вышли статьи отдельных авторов по разным гипотетическим рискам, в том числе Э. М. Дробышевского, В. Ф. Анисичкина и др. Я выполнил переводы многих упомянутых здесь статей, которые доступны в Интернете, а часть из них публикуется в сборнике 'Диалоги о будущем' [Прайд, Коротаев 2008]. В сборнике ИСА РАН в 2007 г. вышли две мои статьи о глобальных рисках: 'О возможных причинах недооценки рисков гибели человеческой цивилизации' [Турчин 2007а] и 'Природные катастрофы и антропный принцип' [Турчин 2007b].
  Изучение глобальных рисков идёт по следующей цепочке: осознание одного глобального риска и самого факта возможности вымирания в ближайшем будущем, -затем осознание ещё нескольких глобальных рисков, - затем попытки создания исчерпывающего списка глобальных рисков, затем создание системы описания, которая позволяет учитывать любые глобальные риски и определять опасность любых новых технологий и открытий. Система описания обладает большей прогностической ценностью, чем просто список, так как позволяет находить новые точки уязвимости, подобно тому, как таблица Менделеева позволяет находить новые элементы. И затем -исследование границ человеческого мышления о глобальных рисках с целью создания методологии, то есть способа эффективно находить и оценивать глобальные риски.
  1.7 Угрозы менее масштабных катастроф: уровни возможной деградации
  Хотя в этой книге мы исследуем глобальные катастрофы, которые могут привести к вымиранию людей, нетрудно заметить, что те же катастрофы в несколько меньших масштабах могут не уничтожить человечество, а отбросить его сильно назад. Будучи отброшенным в своем развитии, человечество может оказаться на промежуточной ступени, с которой можно шагнуть как к дальнейшему вымиранию, так и восстановлению. Поэтому один и тот же класс катастроф может быть как причиной человеческого вымирания, так и фактором, открывающим окно уязвимости для следующих катастроф. Ниже, при перечислении возможных однофакторных сценариев катастрофы, мы укажем их потенциал как к окончательному уничтожению, так и к общему понижению устойчивости человечества.
  В зависимости от тяжести произошедшей катастрофы могут быть различные степени отката назад, которые будут характеризоваться разными вероятностями последующего вымирания, дальнейшего отката и возможности восстановления. Поскольку термин 'постапокалипсис', хотя и является оксюмороном, употребляется по отношению к жанру литературы, описывающей мир после ядерной войны, мы также будем его употреблять в отношении мира, где произошла некая катастрофа, но часть людей выжила. Можно представить себе несколько возможных ступеней отката:
  1. Разрушение социальной системы, как после распада СССР или краха Римской империи. Здесь происходит прекращение развития технологий, уменьшение связности, падение численности населения на несколько процентов, однако некоторые существенные технологии продолжают успешно развиваться. Например, компьютеры в постсоветском мире, некоторые виды земледелия в раннем средневековье. Технологическое развитие продолжается, производство и применение опасных вооружений может продолжаться, что чревато вымиранием или откатом ещё ниже в результате следующей фазы войны. Восстановление весьма вероятно.
  2. Значительная деградация экономики, утрата государственности и распад общества на воюющие между собой единицы. Основная форма деятельности - грабёж. Такой мир изображается в фильмах 'Безумный Макс', 'Водный мир', компьютерной игре Fallout и во многих других произведениях на тему жизни после ядерной войны. Население сокращается в разы, но, тем не менее, миллионы людей выживают. Воспроизводство технологий прекращается, но отдельные носители знаний и библиотеки сохраняются. Такой мир может быть объединён в руках одного правителя, и начнётся возрождение государства. Дальнейшая деградация произойдёт, скорее всего, случайно: в результате эпидемий, загрязнения среды, пр.
  3. Катастрофа, в результате которой выживают только отдельные небольшие группы людей, не связанные друг с другом: полярники, экипажи морских кораблей, обитатели бункеров. С одной стороны, малые группы оказываются даже в более выгодном положении, чем в предыдущем случае, так как в них нет борьбы одних людей с другими. С другой стороны, силы, которые привели к катастрофе таких масштабов, очень велики и, скорее всего, продолжают действовать и ограничивать свободу перемещения людей из выживших групп. Эти группы вынуждены будут бороться за свою жизнь. Они могут осуществлять доработку неких технологий, если это нужно для их спасения, но только на базе уцелевших объектов. Период восстановления при самых благоприятных обстоятельствах займёт сотни лет и будет связан со сменой поколений, что чревато утратой знаний и навыков. Основой выживания таких групп будет способность к воспроизводству половым путём.
  4. Только несколько человек уцелело на Земле, но они неспособны ни сохранять знания, ни дать начало новому человечеству. Даже группа, в которой есть мужчины и женщины, может оказаться в таком положении, если факторы, затрудняющие расширенное воспроизводство людей, перевешивают способность к нему. В этом случае люди, скорее всего, обречены, если не произойдёт некое чудо.
  Можно также обозначить 'бункерный' уровень - то есть уровень, когда выживают только те люди, или группы, которые находятся вне обычной среды, у них появляется шанс случайно уцелеть в неких замкнутых пространствах. Находятся они там или нарочно, или случайно. Сознательный переход на бункерный уровень возможен даже без потери качества - то есть человечество сохранит способность и дальше быстро развивать технологии.
  Возможны и промежуточные сценарии постапокалиптического мира, но я полагаю, что перечисленные четыре варианта являются наиболее характерными. С каждого более катастрофического уровня существует большее количество шансов упасть ещё ниже и меньше шансов подняться. С другой стороны, возможен островок стабильности на уровне отдельных родовых общин, когда опасные технологии уже разрушились, опасные последствия их применений исчезли, а новые технологии ещё не созданы и не могут быть созданы.
  При этом неверно думать, что откат назад это просто перевод стрелок исторического времени на век или тысячелетие в прошлое, например, на уровень общества XIX или XV века. Деградация технологий не будет линейной и одновременной. Например, такое устройство, как автомат Калашникова, забыть будет сложно. В Афганистане, например, местные умельцы научились вытачивать грубые копии Калашникова. Но в обществе, где есть автомат, рыцарские турниры и конные армии невозможны. То, что было устойчивым равновесием при движении от прошлого к будущему, может не быть равновесным состоянием при деградации. Иначе говоря, если технологии разрушения будут деградировать медленнее, чем технологии созидания, то общество обречено на непрерывное скольжение вниз.
  Однако мы можем классифицировать степень отката назад не по количеству жертв, а по степени утраты знаний и технологий. В этом смысле можно использовать исторические аналогии, понимая, однако, что забывание технологий не будет линейным. Поддержание социальной стабильности на всё более низком уровне эволюции требует всё меньшего числа людей, и этот уровень всё более устойчив как к прогрессу, так и к регрессу. Такие сообщества могут возникнуть только после длительного периода стабилизации после катастрофы.
  Что касается 'хронологии', возможны следующие базовые варианты регрессии в прошлое (отчасти аналогичные предыдущей классификации):
  1. Уровень промышленного производства - железные дороги, уголь, огнестрельное оружие и т. п. Уровень самоподдержания требует, вероятно, десятков миллионов человек. В этом случае можно ожидать сохранения всех базовых знаний и навыков индустриального общества, хотя бы посредством книг.
  2. Уровень, достаточный для поддержания сельского хозяйства. Требует, вероятно, от тысяч до миллионов людей.
  3. Уровень небольшой группы. Отсутствие сложного разделения труда, хотя какое-то сельское хозяйство возможно. Число людей: от десяти до тысячи.
  4. Уровень стаи или 'маугли'. Полная утрата культурных человеческих навыков, речи, при сохранении в целом генофонда. Количество членов 'стаи', вероятно, от одного до ста человек.
  1.8 Однофакторные сценарии глобальной катастрофы
  В нескольких следующих главах мы рассмотрим классическую точку зрения на глобальные (цивилизационные) катастрофы, которая состоит в перечислении списка никак не связанных между собой факторов, каждый из которых способен привести к мгновенной гибели всего человечества. Понятно, что это описание не окончательное, оно не рассматривает многофакторные и не-мгновенные сценарии глобальной катастрофы. Классическим примером рассмотрения однофакторных сценариев является уже упоминавшаяся статья Бострома 'Угрозы существованию' [Bostrom 2001].
  Здесь мы также рассмотрим некоторые источники глобальных рисков, которые, с точки зрения автора, таковыми не являются, но мнение об опасности которых достаточно распространено, и дадим им оценку. Иначе говоря, мы рассмотрим все факторы, которые обычно называются в качестве глобальных рисков, даже если затем мы опровергнем данную точку зрения и отвергнем эти факторы.
  1.9 Принципы классификации глобальных рисков
  Способ классификации глобальных рисков крайне важен, поскольку позволяет, как таблица Менделеева, обнаружить 'пустые места' и предсказать существование новых элементов. Кроме того, это даёт возможность отрефлексировать свою собственную методологию и предложить принципы, по которым должны обнаруживаться новые риски. Здесь я обозначу те принципы, которыми пользовался сам и обнаружил в других исследованиях.
  Наиболее очевидный подход к установлению возможных источников глобальных рисков - историографический подход. Он состоит в анализе всей доступной научной литературы по теме, в первую очередь, уже выполнявшихся обзорных работ по глобальным рискам. Однако, это не даёт полного списка, так как некоторые публикации проходили отдельными статьями в специальных дисциплинах, мало цитировались или не содержали общепринятых ключевых слов. Другой вариант - анализ фантастических произведений с целью выделения гипотетических сценариев глобальных катастроф и затем - критический анализ этих сценариев.
  Принцип увеличения малых катастроф состоит в выделении малых событий и анализе того, может ли аналогичное событие произойти в гораздо больших масштабах. Например, возможна ли такая большая атомная бомба, чтобы она разрушила весь мир? К нему примыкает способ аналогий, когда, рассматривая некую катастрофу, например, падение самолёта, мы ищем в этом событии общие структурные закономерности и затем переносим их на гипотетическую глобальную катастрофу.
  Палеонтологический принцип состоит в анализе причин имевших место в истории Земли массовых вымираний. Наконец, принцип 'адвоката дьявола' состоит в намеренном конструировании сценариев вымирания, как если бы нашей целью было разрушить Землю.
  Упорядочивание обнаруженных сценариев вымирания возможно по следующим критериям: по их источнику (антропогенные/природные), по степени вероятности, по тому, насколько готовы для них технологии, по тому, как далеко во времени от нас отстоят опасные события и по способу воздействия на людей.
  Глобальные риски, делятся на две категории: риски, связанные с технологиями, и природные катастрофы и риски. При этом, природные катастрофы актуальны для любого вида живых существ (сюда входят исчерпание ресурсов, перенаселение, утрата фертильности, накопление генетических мутаций, вытеснение другим видом, моральная деградация, экологический кризис). Технологические риски не вполне тождественны антропогенным рискам, так как перенаселение и исчерпание ресурсов вполне антропогенно. Основной признак технологических рисков - это их уникальность именно для технологической цивилизации.
  Технологические риски различаются по степени готовности их 'элементной базы'. Одни из них технически возможны в настоящий момент времени, тогда так другие возможны при условии длительного развития технологий и, возможно, неких принципиальных открытий.
  Соответственно, можно выделить три категории технологических рисков:
  а) риски, для которых технология полностью разработана или требует незначительной доработки. Сюда входит, в первую очередь, ядерное оружие и, скажем, загрязнение среды;
  б) риски, технология для которых успешно развивается и не видно каких-либо теоретических препятствий для её развития в обозримом будущем (биотехнологии);
  в) риски, которые требуют для своего возникновения неких принципиальных открытий (антигравитация, высвобождения энергии из вакуума и т д.). Не следует недооценивать эти риски - весомая часть глобальных рисков в XX веке произошла из принципиально новых и неожиданных открытий;
  Значительная часть рисков находится между пунктами б и в, так как, с точки зрения одних исследователей, речь идёт о принципиально недостижимых или бесконечно сложных вещах, а с точки зрения других - вполне технологически реализуемых (нанороботы и искусственный интеллект). Принцип предосторожности заставляет нас выбирать тот вариант, где они возможны.
  В предлагаемом читателю перечислении глобальных рисков в следующих главах они упорядочены по степени готовности необходимых для них технологий. Затем идёт описание природных рисков и общевидовых рисков, не связанных с новыми технологиями.
  Глава 2. Атомное оружие
  Существует огромное количество исследований по атомному оружию и последствиям его применения. Здесь мы можем предложить читателю только краткий и неполный обзор основных выводов, рассмотренных исключительно только с точки зрения того, может ли тем или иным способом то или иное применение ядерного оружия привести к человеческому вымиранию. Отмечу, что значительная часть информации о ядерном оружии по-прежнему секретна, и в силу этого предлагаемые выводы не могут быть абсолютно достоверными.
  Классическим примером угрозы человеческой цивилизации и самому существованию людей является угроза ядерной войны. Обычно о ядерной войне говорят, что она приведёт к 'уничтожению всей земной жизни'. Однако, судя по всему, это утверждение является некоторым преувеличением. Ядерное оружие имеет три потенциальных фактора глобального поражения: непосредственный поражение всей площади Земли, радиоактивное заражение всей Земли и эффект 'ядерной зимы'. (Кроме того, ядерное оружие может инициировать некие другие опасные процессы, что мы обсудим позже). Далее мы покажем, что хотя каждый из этих эффектов может в исключительных обстоятельствах привести к вымиранию человечества, обычная ядерная война, скорее всего, не приведёт к полному вымиранию (хотя жертвы будут огромны).
  Классическая ядерная война не предполагает атаки на все места проживания людей, а только на противника и его союзников, а значит, не может привести к вымиранию людей за счёт непосредственных поражающих факторов ядерного оружия. Однако, можно рассмотреть гипотетическую ситуацию, когда ядерный удар наносится по всем местам проживания людей. Оценим, какое количество боеголовок необходимо, чтобы уничтожить всех без исключения людей, если ядерные удары будут равномерно и одновременно нанесены по всей поверхности Земли. Для уничтожения всех людей на суше потребовалось бы не менее (а вероятно, и значительно более) 100 000 боеголовок мегатонного класса. (Если считать, что одна боеголовка поражает площадь в 1000 кв. км, что вероятно, является завышенной оценкой. Гарантированное уничтожение потребует гораздо большего числа зарядов, поскольку даже в районе эпицентра взрыва в Хиросиме были выжившее - в 500 метрах от точки взрыва.) В тоже время, огромные участки суши необитаемы. Разумно предположить, что 100 000 боеголовок поставят людей на грань выживания, хотя и не уничтожат всех людей гарантировано, так как останутся выжившие на кораблях, самолётах, и в подземных убежищах. Гарантированное уничтожение всех людей, возможно, потребует миллионов боеголовок. Следует отметить, что на пике холодной войны ведущие державы обладали количеством боеголовок порядка 100 000, а накопленные запасы плутония (2000 тонн [Bostrom 2001], хотя не весь он 'оружейный', то есть, чистый по изотопному составу плутоний-239; однако, проведённые в США испытания показали, что и не оружейный плутоний можно использовать для ядерных взрывов, но с меньшим выходом энергии [Garwin 1998] позволяют произвести ещё несколько сот тысяч боеголовок. (Впрочем, эти утверждения подвергаются сомнению , и точные данные о том, какова должна быть чистота реакторного плутония и каким образом его можно использовать в военных целях по понятным причинам засекречены.) Вместе с тем, ни один сценарий ядерной войны не предполагает равномерного удара по всей площади планеты. С другой стороны, теоретически возможно создать такое количество бомб и средств доставки, чтобы нанести удар по всей площади. К аналогичным выводам - о том, что ядерная война сама по себе не может привести к человеческому вымиранию, приходят и другие исследователи [Johnston 2003]. Кроме того, отсутствуют публикации, которые указывали бы на риски полного человеческого вымирания в результате непосредственного воздействия ядерных взрывов обычной мощности (а не последующих эффектов в виде радиоактивного заражения и ядерной зимы.)
  2.1 'Ядерная зима'
  В отношении ядерной зимы есть два неизвестных фактора: во-первых, насколько она будет длительной и холодной, а во-вторых, в какой мере ядерная зима означает вымирание человечества. В отношении первого фактора существуют различные оценки: от крайне суровых (Н.Н. Моисеев, Карл Саган) до относительно мягких концепций 'ядерной осени'. Существующая критика концепции ядерной зимы сосредотачивается вокруг следующих вопросов:
   Какое количество сажи возникнет и будет выброшено в тропосферу в случае крупномасштабной ядерной войны?
   Какое влияние она окажет на температуру Земли?
   Как долго она будет находиться в верхних слоях атмосферы?
   Какое влияние окажет падение температуры на выживание людей?
  Отдельные исследования сосредотачиваются на анализе каждого из этих факторов, принимая как данность результаты предыдущего. Например, недавнее американское исследование проблемы влияния ядерной зимы на климат принимает в качестве исходных данных количество сажи в тропосфере, равное 150 млн. тонн. В исходном анализе Н. Н. Моисеева [Моисеев 1985] это количество было 4 млрд. тонн, и соответственно, падение температуры составило 20, а не 50 градусов, как у Н.Н. Моисеева. В статье И.М. Абдурагимова "О несостоятельности концепции "ядерной ночи" и "ядерной зимы" вследствие пожаров после ядерного поражения" [Абдурагимов 2009] приводится жёсткая критика именно по количеству сажи, которая выделится в результате полномасштабной ядерной войны. При лесном пожаре сгорает в среднем только 20% от горючей массы, из неё только половина является по массе чистым углеродом, и бóльшая часть этого углерода сгорает полностью, то есть, - без образования частичек угля. При этом, только часть сажи будет настолько мелкодисперсной, что сможет висеть в тропосфере и затемнять Землю. Чтобы транспортировать эту сажу в тропосферу, где она может 'зависнуть' по причине отсутствия там конвекции, требуется возникновение специфического явления - огненного торнадо (поскольку сам шар ядерного гриба, уходящий высоко в тропосферу, имеет настолько большую температуру, что в нём все частички сажи сгорают). Огненное торнадо образуется не при всех ядерных взрывах, Оно не должно образовываться в современных городах, построенных таким образом, чтобы избежать этого эффекта, например, в городах бывшего СССР. И, кроме того, оно резко улучшает сгорание, как меха в плавильной печи, в силу чего сажи в нём гораздо меньше.
  Эти особенности отличают сажу при ядерной зиме от обычной вулканической пыли, которая буквально выстреливается в стратосферу из жерла вулкана. При этом, вулканическая пыль состоит из более тяжёлого оксида кремния и гораздо быстрее выпадает из тропосферы.
  Однако, всё же можно представить себе гипотетическую ситуацию, когда в тропосфере оказались сотни миллионов тонн мелкодисперсного углерода. Можно представить себе и альтернативные ядерной войне сценарии попадания его туда, например, попадание астероида в залежи каменного угля, или вулканический взрыв под такими залежами, или результат некой человеческой деятельности, или даже неконтролируемое размножение нанороботов, заслоняющее солнечный свет, как предполагает Фрейтас [Freitas 2000]. Исходные расчеты Н. Н. Моисеева делались для площади сгоревших городов и лесов в 1 млн. кв. км. Суммарная площадь лесов на Земле составляет примерно 40 млн. кв. км, и они содержат около 240 млрд. тонн древесины. Это означает теоретическую возможность очень большого выброса сажи в атмосферу даже при гораздо меньшей доли образования сажи, но только в случае намеренного уничтожения цивилизации, так как вряд ли в ходе обычной ядерной войны будут бомбить леса.
  Время нахождения сажи в тропосфере оценивается по-разному, но обычная оценка - от нескольких месяцев до 10 лет [Robock 2007]. Есть также и альтернативные теории воздействии ядерной войны на климат, например, теория о том, что за счёт парникового эффекта от сгоревшего углерода и образования окислов азота и их влияния на озоновый слой [Геворкян, Геворкян 2006] температура Земли резко повысится.
  Также следует сказать, что внезапные и длительные похолодания не обязательно означают человеческое вымирание. Например, США и Швейцария имеют не менее чем пятилетний стратегический запас продовольствия [Бекенов 2003], хотя в целом сведения о стратегических запасах относятся к секретным, плюс топливо в виде лесов, печи и навыки выживания при зимних температурах. Я полагаю, что чтобы привести к гибели всех людей, ядерная зима должна длиться не менее ста лет с антарктическими температурами, и то этого может быть недостаточно, с учётом человеческой способности приспосабливаться. (Если считать, что ядерная зима будет единственным неблагоприятным фактором, что неверно.)
  Наиболее современные исследования климатических последствий полномасштабной ядерной войны опубликованы в статье Алана Робока с соавторами 'Ядерная зима в современной модели климата при существующих ядерных арсеналах: последствия по-прежнему катастрофичны' [Robock 2007]. Статья содержит обзор предыдущих исследований и разумные варианты ожидаемого выброса сажи. Расчет выполнен на основании современной метеорологической модели, проверенной на других приложениях. В результате получается, что при полномасштабной войне современными (то есть, сокращёнными со времён холодной войны) ядерными арсеналами среднее снижение температуры по всей Земле составит около 7 ®С в течение нескольких лет, а последствия ядерной зимы будут ощущаться около 10 лет. Время очищения (в е раз) верхней тропосферы от сажи составит 4,6 лет. При этом, над континентами снижение температуры составит до 30 ®С, и в частности, над Украиной не будет положительных температур в течение трёх лет. Это сделает невозможным ведение классического (не в теплицах) сельского хозяйства почти по всей Земле в течение нескольких лет. С другой стороны, над тропическими островами (Куба, Мадагаскар, Шри-Ланка) снижение температуры составит только 5-7 ®С. Очевидно, что значительное число людей могли бы пережить такое похолодание, однако при этом начнётся борьба за оставшиеся ресурсы, которая повысит риски дальнейших катастроф. Серия крупных вулканических извержений (вулканический пепел уходит из тропосферы с характерным временем в 1 год) могла бы дать такой же эффект.
   Учитывая неопределенность в моделях, а также возможность затяжной ядерной войны и других причин затемнения атмосферы, можно предположить следующие теоретические варианты ядерной зимы:
  1) Падение температуры на один градус на один год, не оказывающее значительного влияния на человеческую популяцию. Как после извержения вулкана Пинатубо в 1991 году.
  2) 'Ядерная осень' - снижение температуры на 2-4 ®С в течение нескольких лет; имеют место неурожаи, ураганы.
  3) 'Год без лета' - интенсивные, но относительно короткие холода в течение года, гибель значительной части урожая, голод и смерть от холода в некоторых странах. Это уже происходило после крупных извержений вулканов в VI веке нашей эры [Волков 2007], в 1783 г., в 1815 г.
  4) 'Десятилетняя ядерная зима' - падение температуры на всей Земле примерно на 10 лет на 30-40 ®С. Этот сценарий подразумевается моделями ядерной зимы. Выпадение снега на большей части земли, за исключением некоторых экваториальных приморских территорий. Массовая гибель людей от голода, холода, а также оттого, что снег будет накапливаться и образовывать многометровые толщи, разрушающие строения и перекрывающий дороги. Гибель большей части населения Земли, однако миллионы людей выживут и сохранят ключевые технологии. Риски: продолжение войны за тёплые места, неудачные попытки согреть Землю с помощью новых ядерных взрывов и искусственных извержение вулканов, переход в неуправляемый нагрев ядерного лета. Однако даже если допустить этот сценарий, окажется, что одного только мирового запаса рогатого скота (который замёрзнет на своих фермах и будет храниться в таких естественных 'холодильниках') хватит на годы прокорма всего человечества, а Финляндия имеет стратегический запас еды (зерна) на 10 лет.
  5) Новый ледниковый период. Является гипотетическим продолжением предыдущего сценария, в ситуации, когда отражающая способность Земли возрастает за счёт снега, и начинают нарастать новые ледяные шапки от полюсов и вниз, к экватору. Однако часть суши у экватора остаётся пригодной для жизни и сельского хозяйства. В результате цивилизации придётся радикально измениться. Трудно представить огромные переселения народов без войн. Много видов живых существ вымрет, но большая часть разнообразия биосферы уцелеет, хотя люди будут уничтожать её ещё более безжалостно в поисках хоть какой-либо пищи. Люди уже пережили несколько ледниковых периодов, которые могли начаться весьма резко в результате извержений сверхвулканов и падений астероидов (извержение вулкана Тоба, Элатинская кометная катастрофа).
  6) Необратимое глобальное похолодание. Оно может быть следующей фазой ледникового периода, при наихудшем развитии событий. На всей Земле на геологически длительное время установится температурный режим, как в Антарктиде, океаны замерзнут, суша покроется толстым слоем льда. Только высокотехнологичная цивилизация, способная строить огромные сооружения подо льдом, может пережить такое бедствие, но такая цивилизация могла бы, вероятно, найти способ обратить вспять этот процесс. Жизнь может уцелеть только около геотермальных источников на морском дне. Последний раз Земля вошла в это состояние примерно 600 млн. лет назад, то есть до выхода животных на сушу, и смогла выйти из него только благодаря накоплению СО в атмосфере [Hoffman, Schrag 2000]. В то же время, за последние 100 000 лет было четыре обычных оледенения, которые не привели ни к необратимому обледенению, ни к человеческому вымиранию, а значит, наступление необратимого обледенения является маловероятным событием. Наконец, в случае, если бы Солнце вообще перестало светить, наихудшим исходом было бы превращение всей атмосферы в жидкий азот, что выглядит абсолютно невероятным.
  Хотя варианты 5 и 6 относятся к самым маловероятным, они несут в себе наибольший риск. Эти варианты могли бы быть возможными при экстраординарно большом выбросе сажи и при наихудшем развитии событий, многие из которых мы сейчас не можем предвидеть.
  Можно предположить, что если бы некая сила задалась целью устроить ядерную зиму нарочно, то она может её организовать, взорвав водородные бомбы в каменноугольных шахтах или в тайге [Roland 1984]. Это, возможно, даст неизмеримо больший выброс сажи, чем атака на города. Если установить водородные бомбы с таймером на разные сроки, то можно поддерживать ядерную зиму неограниченно долго. Теоретически, таким образом можно достичь устойчивого состояния 'белого холодного шарика', отражающего весь солнечный свет, с полным вымерзанием океанов, которое станет самоподдерживающимся состоянием.
  Инициация извержения сверхвулкана с помощью ядерного оружия также приведёт к аналогу 'ядерной зимы' - к вулканической зиме. Попытки людей исправить ситуацию с помощью искусственной ядерной зимы или искусственного ядерного лета, могут только усугубить проблемы за счёт перехода климата в режим раскачки.
  Обращу внимание, что точная вероятность и продолжительность ядерной зимы и её последствий невычислимы по ряду причин. В частности, потому что мы, по определению, не можем поставить эксперимента, а также точно определить, насколько, например, Н.Н. Моисеев и К. Саган были заинтересованы преувеличить опасность ядерной зимы, чтобы способствовать ядерному разоружению. То есть, хотели ли они создать 'само-несбывающееся' пророчество.
  Отдельно можно выделить теорию 'ядерного лета' [Roland 1984] которая предполагает, что после ядерной зимы, а может быть и вместо неё, наступит значительное увеличение температуры Земли, которое может опасно суммироваться с уже имеющимся эффектом глобального потепления, переведя его в закритическую стадию с ростом температуры на десятки градусов (см. далее). Выпадение сажи на ледники, образование окислов азота при взрывах, разрушающих озоновый слой и ведущих к вымиранию растительности, поглощающей диоксид углерода, изменение альбедо в силу опустынивания и выделение диоксида углерода при пожарах являются факторами, могущими привести к ядерному лету. Кроме того, перестанет работать барьер, не дающий водяному пару попасть в стратосферу, а затем, когда он снова включится, десятки миллиардов тонн воды окажутся заперты в стратосфере, и они смогут создать парниковый эффект в дополнительные 8ºС величиной, как утверждает Рональд в своей статье 'Ядерная зима и другие сценарии' [Roland 1984]. Кроме того, он предполагает, что ядерную зиму можно использовать как оружие, в которой побеждает страна, накопившая наибольшие запасы продовольствия и имеющая наилучшее тёплое жильё. Ядерное лето гораздо опаснее ядерной зимы, так как человек легче переносит охлаждение, чем нагрев (то есть, если принять комнатную температуру за 20ºС, то человек вполне переносит мороз на улице в минус 50ºС, то есть на 70ºС ниже, но сможет выдержать подъём температуры не более чем, на 30ºС, то есть не выше 50ºС на улице). Кроме того, системы обогрева могут работать автономно (уцелевшие леса как источник дров + печка), а холодильники требуют наличия устойчивой централизованной инфраструктуры (производство холодильников + электроэнергии). Хранение продуктов питания при резком потеплении станет крайне затруднено - они сгниют, будут испорчены вредителями или сгорят. Таким образом ядерное лето создаёт гораздо больший риск вымирания, чем ядерная зима.
  2.2 Полное радиоактивное заражение
  Следующий сценарий - глобальное радиоактивное заражение. Можно выделить два вида заражения - краткосрочное заражение, возникающее в первые часы и дни после взрыва и вызываемое короткоживущими элементами, и долгосрочное, связанное с долгоживущими элементами, и длящееся годами. Краткосрочное заражение, связанное с обычной ядерной войной, приведёт к значительным жертвам, но будет достаточно локальным явлением, зависящим от розы ветров в поражённой стране. Его можно также без труда пересидеть в бомбоубежищах, пещерах, шахтах, - и поэтому мы не рассматриваем его как возможную угрозу полного человеческого вымирания. Наибольшую угрозу представляет глобальное радиоактивное заражение, однако в случае обычной ядерной войны оно не может привести к человеческому вымиранию. (Например, потому что тысячи воздушных испытаний атомных бомб в 50-60-е годы не создали сколько-нибудь значительного увеличения глобального радиационного фона.) Однако возможно неконвенциональное применение ядерного оружия, которое всё-таки приведёт к глобальному радиоактивному заражению. Особенность глобального заражения в том, что оно способна равномерно распространиться по всей поверхности Земли и проникнуть всюду за счёт естественной конвекции атмосферы, а также в том, что оно настолько длительно, что его нельзя переждать в существующих сейчас автономных убежищах. Наиболее известный сценарий такого рода - применение кобальтовых бомб, то есть бомб с повышенным выходом радиоактивных веществ. Кобальтовые бомбы представляют собой водородные бомбы, окружённые оболочкой из кобальта-59, превращающегося в радиоактивный изотоп кобальт-60 . Проект бомбы, способной заражать целые континенты, предложил Лео Сцилард в 1950 г. Однако 1 грамм кобальта имеет радиоактивность порядка 50 кюри. Если распылить 1 грамм на 1 кв. км, то этого недостаточно для гарантированной смерти всех людей, хотя и потребует эвакуации с этой территории по современным нормам безопасности. Кобальт-60 имеет период полураспада 5,26 года, поэтому загрязнение, создаваемое им, будет длительным и его будет трудно пересидеть в бункере. Тем не менее, даже такое заражение потребует всего только 500 тонн кобальта на всю Землю. Косвенно это количество можно оценить в 100 бомб типа Царь-бомбы в 50 мегатонн, взорванной на Новой Земле в 1961 г. Если бы на этой бомбе была урановая оболочка, она дала бы дополнительные 50 мегатонн, и мощность взрыва составила бы 100 мегатонн, но оболочка была заменена на свинцовую с целью снижения силы взрыва. Масса прореагировавшего урана, которая дала бы выход энергии 50 мегатонн, примерно равна 5 т. Можно предположить, что если бы эта бомба имела кобальтовую оболочку, она дала бы примерно 5 тонн радиоактивного кобальта. По другим оценкам, проводившимся в США после выступления Лео Сцилларда о возможности истребления жизни на Земле с помощью кобальтовой бомбы, выяснилось, что это действительно возможно, но устройство должно быть в 2,5 раза тяжелее линкора 'Миссури' [Smith 2007]. Водоизмещение 'Миссури' - 45 000 т. Итак, мы получаем две оценки веса этого устройства - 2 700 тонн и 110 000 тонн. Разница между ними не принципиальна с точки зрения вопроса, возможно ли такое устройство и сколько оно будет стоить. Поскольку вес обычных энергетических реакторов составляет несколько тысяч тонн, то вполне реально сделать устройство, весящее и 100 000 тонн, как 20 реакторов. Если один реактор стоит около миллиарда долларов по современным ценам, то такое устройство будет стоить порядка 20 миллиардов. Эта сумма меньше военного бюджета США в 20 раз. Другой ориентир: вес реактора ИТЭР - 30 000 тонн, цена 12 миллиардов долларов. Итак, создание атомной бомбы судного дня технически реально для крупного государства, обладающего ядерной программой, и потребует нескольких лет работы.
  Не менее опасен печально известный изотоп полоний-210. Он является гораздо более мощным источником радиации, чем кобальт, так как имеет меньший период полураспада (примерно в 15 раз). Он обладает способностью накапливаться в организме, поражая изнутри, что повышает его эффективность ещё примерно в 10 раз. Смертельная его доза - около 0,2 мкг. Это означает, что полное смертельное заражение Земной поверхности потребует только 100 тонн этого опасного вещества (или сотен килограмм в худшем случае - если учесть его способность накапливаться в организмах, а также повторное отравление за счёт высокой концентрации в среде).
  Требуются более точные подсчёты, учитывающие скорости осаждения радиоактивного вещества из атмосферы, вымывания его в океан, распада, связывания и сродства с элементами в человеческом теле, а также способности людей мутировать и приспосабливаться к радиации, чтобы определить какое минимальное количество какого именно изотопа может привести к вымиранию всех людей на Земле или к длительной непригодности всей суши для сельского хозяйства и невозможности в связи с этим вернуться в доиндустриальную фазу развития.
  Для того чтобы радиоактивное вещество распространилось достаточно далеко, бомба должна взорваться на высоте 10-20 км, а чтобы бомба была достаточно мощной, она должна быть тяжёлой. В конечном счёте, такая машина смерти может представлять собой стационарное устройство весом в тысячи тонн, с силой взрыва в сотни мегатонн, в ходе которого образуются тонны опасного изотопа, выбрасываемые силой взрыва высоко в воздух.
  Кроме того, заражение короткоживущим изотопом можно пересидеть в бункере. Теоретически возможно создание автономных бункеров со сроком самообеспечения в десятки лет. Гарантированное вымирание может произойти в случае смешения, долгоживущих и короткоживущих изотопов. Короткоживущие уничтожат большую часть биосферы, а долгоживущие сделают Землю непригодной для жизни для тех, кто переждёт заражение в бункере.
  Если некая страна, обладающая ядерными технологиями, окажется под угрозой внешнего завоевания, она может решиться создать такую бомбу. Особенно, если системы ПРО у противника не дадут шансов применить ракетное оружие для обороны. Тем более, что, возможно, для такой бомбы не потребуется много урана или плутония - только несколько килограммов на запал. (Но потребуется очень много дейтерия). Однако, если после создания такой бомбы на данную страну гарантированно никто никогда не нападёт, то её создание может быть дешевле, чем содержание вооружённых сил. Отсюда следует, что системы ПРО не повышают безопасность в мире, так как побуждают более слабые страны создавать кобальтовые стационарные бомбы в качестве последнего средства обороны. Или же, наоборот сосредотачиваться на разработке биологических и прочих альтернативных видах вооружения.
  Отметим, что полный взрыв современного ядерного реактора не угрожает выживанию человечества, как это следует из последствий взрыва на Чернобыльской АЭС. С другой стороны, можно предположить возникновение в будущем неких гипотетических установок с гораздо большим выходом радиации в случае полного разрушения. Например, есть предположения, что в бланкете (оболочке камеры) термоядерного реакторы будут накапливаться значительно большие (в 100 раз) количества радиоактивных веществ с повышенным содержанием опасных изотопов вроде кобальта-60, которые в случае разрушения реактора высвободятся в атмосферу . Выход цепной реакции из-под контроля в некой установке также мог бы значительно увеличить заражение.
  2.3 Иные опасности атомного оружия
  Сверхбомба
  После испытания 'Царь-бомбы' в 1961 году на Новой Земле с выходом в 50 мегатонн, были осуществлены разработки более мощных бомб с выходом в 200 и даже 1000 мегатонн, которые предполагалось транспортировать на судах к американским берегам и вызывать с их помощью цунами [Адамский, Смирнов 1995]. Это значит, что, вероятно, появились технические возможности неограниченно наращивать взрывную силу бомбы.
  Важно также отметить, что Царь-бомба была испытана всего через 12 лет после взрыва первой атомной бомбы. Этот факт может говорить о том, что и другим державам может потребоваться относительно небольшой срок для перехода к огромным бомбам. Если сопоставить массовый коэффициент бомбы (6 мегатонн взрыва на тонну веса) с массой ядерных реакторов порядка нескольких тысяч тонн, то становится понятно, что верхний предел сверхбомбы, которую сейчас можно сделать, составляет около ста гигатонн. Этого недостаточно для уничтожения всех людей силой взрыва, поскольку при падении астероидов выделялась энергия в тысячи раз больше. Взрыв сверхбомбы в каменноугольном пласте вызовет, возможно, длительную ядерную зиму, сочетающуюся с сильным радиоактивным заражением. (Аналогичного тому, как астероид, возможно, привёл к разрушению запасов нефти в Америке 65 млн. лет назад, что имело серьёзные климатические последствия [Harvey 2008]. Несколько десятков сверхбомб, размещённых в разных местах Земли, могут покрыть своим поражающим ударом всю территорию планеты.
  Перед первым испытанием ядерной бомбы Тринити Комптоном и др. был выполнен отчёт LA-602 'Ignition of atmosphere with nuclear bomb' [LA-602 1945], в котором доказывалось, что взрыв бомбы не может привести к самоподдерживающейся реакции синтеза ядер азота в атмосфере из-за потери энергии излучением. Там же сказано, что для оценки рисков поджига океанов требуются дополнительные исследования. Эти исследования, которые, скорее всего, были выполнены, остаются засекреченными, что, в частности, может означать, что они показывали минимальные условия, которые необходимы для поджига дейтерия в земных океанах. Кроме того, возможны реакции захвата водорода углеродом или кислородом, которые тоже поддерживают взрывное горение (см. И.С. Шкловский. 'Звёзды, их рождение, жизнь и смерть' [Шкловский 1984]). Эти вещества находятся в больших количествах в залежах гидратов метана на морском дне. Подробнее вопросы о возможности инициации термоядерного взрыва в недрах Земли или других планет я рассматриваю в своей статье 'О возможности искусственной инициации взрыва планет-гигантов и других объектов Солнечной системы' .
  Здесь же нам важно отметить, что в отсутствии точных данных о невозможности этого процесса, мы должны допускать, что при определённых условиях - правильный выбор места, очень мощная бомба - инициация самоподдерживающейся реакции синтеза в земных средах возможна. Подобная возможность открывала бы относительно простой путь к созданию реального оружия судного дня, которое бы гарантированно уничтожало бы всю жизнь на Земле.
  Высказывались также предположения, что взрыв мощных атомных бомб в тектонических разломах мог бы привести к катастрофическим сейсмическим явлениям, но я полагаю это сомнительным, поскольку тектонические разломы и без того являются источниками землетрясений гигатонной силы.
  Накопление антиматерии
  Станислав Лем как-то сказал, что он больше боится антиматерии, чем Интернета. Однако, судя по всему, антиматерия не даёт принципиально большей разрушительной силы, чем обычная водородная бомба. Максимальная эффективность ядерного заряда равна 6 мегатонн на тонну веса, что соответствует примерно 0,15 кг антиматерии. (Энергия 1 кг вещества равна по формуле Эйнштейна 9* Дж, а одна мегатонна в тротиловом эквиваленте равна 4* Дж, при этом массу прореагировавшей антиматерии следует удвоить за счёт масс аннигилировавшей с ней обычной материи). Но для удержания антиматерии тоже понадобятся специальные ловушки, которые должны много весить. Кроме того, очень трудно обезопасить антиматерию от случайного взрыва, тогда как обезопасить атомную бомбу легко. Наконец, нужно масса энергии на получение самой антиматерии. В силу этого кажется бессмысленным делать бомбы огромной мощности из антиматерии - да и мощности имеющихся атомных боеприпасов достаточно для любых мыслимых разрушающих воздействий. Поэтому я полагаю маловероятным накопление антиматерии в военных целях. Только если будут сделаны некие новые принципиальные физические открытия, антиматерия, возможно, будет представлять опасность. Также опасно применение антиматерии в глубоком космосе, где теоретически можно собрать значительную ее массу в виде некого 'метеорита' и направить на Землю.
  Однако антиматерия может стать эффективным инициатором термоядерной реакции для 'чистых водородных бомб' или средством для накачки рентгеновских лазеров. Подсчитано, что триггером для термоядерной реакции может стать всего 1 мкг антиматерии. Подробнее о военных аспектах накопления и применения антиматерии см. в статье 'Antimatter weapons'.
  Дешёвая бомба
  Есть также опасность принципиального удешевления ядерного оружия, если удастся запускать самоподдерживающуюся термоядерную реакцию без инициирующего ядерного заряда с помощью химической имплозии (цилиндрической), лазерного поджигания, магнитного сжатия, электрического разряда и небольших порций антиматерии, применённых в некой комбинации (см., например, статью Л. П Феоктистова 'Термоядерная детонация' [Феоктистов 1998], которая, по сути, представляет собой проект создания водородной бомбы неограниченной мощности с помощью лазерного поджигания - и тем не менее лежит в открытом доступе.)
  Другой фактор удешевления - использование наработок нанотехнологий, то есть, высокоточное и в перспективе дешёвое производство с помощью микророботов. Третий фактор - обнаружение новых способов выделения урана из морской воды и его обогащения.
  Есть также риск, что мы существенно недооцениваем простоту и дешевизну ядерного оружия, а, следовательно, и его количество в мире. Например, возможно, что реакторный плутоний можно приспособить для бомб пушечной схемы с выходом около 2 килотонн, пригодных для актов ядерного терроризма . Любые открытия в области холодного ядерного синтеза, управляемого ядерного синтеза на токамаках, доставки гелия-3 из космоса, превращения элементов упростят и удешевят производство ядерного оружия. Подробнее о проблемах создания 'чистого' оружия на основе реакций синтеза без запала на основе реакций деления см. в статье 'Опасный термоядерный поиск' .
  Атака на радиационные объекты
  Ещё одним способом устроить конец света с помощью ядерного оружия является атака крылатыми ракетами (баллистические не имеют достаточной точности) всех ядерных реакторов на планете и особенно - хранилищ отработанного ядерного топлива. Хотя вряд ли удастся возбудить цепную реакцию в них (однако эту возможность нельзя исключать при прямом попадании атомной бомбы в реактор или хранилище отходов), в воздух выделятся огромные количества радиации. 'По оценке МАГАТЭ, к 2006 году из энергетических реакторов (а их в мире свыше 400) выгружено около 260 тыс. тонн ОЯТ, содержащих более 150 млрд. Кюри радиоактивности' [Карпан 2006]. Также известно, что к 2006 году страны мира накопили около 260 тыс. тонн ОЯТ, а к 2020 году его количество составит не менее 600 тыс. тонн (там же). То есть, в XXI веке количество радиоактивных отходов, вероятно, будет расти нелинейно, увеличиваясь как за счёт накопления, так и за счёт введения в строй новых реакторов.
  При равномерном распылении 150 млрд. кюри мы получаем 300 кюри/кв.км земной поверхности. Это далеко за пределами норм отселения и запрета на сельское хозяйство по чернобыльской практике . При грубом пересчёте (эмпирическая формула - 1 кюри на кв. м. даёт 10 рентген в час) это породит активность 3 миллирентгена в час. Этого недостаточно для мгновенной смертности, так как составляет только примерно 2 рентгена в месяц, а максимально допустимая безопасная доза 25 рентген наберётся только за год. Однако такая местность надолго (в ОЯТ много долгоживущих элементов, в том числе плутония) станет непригодной для сельского хозяйства, поскольку в растительности и в организмах животных эти вещества накапливаются и при последующем употреблении вовнутрь наносят на порядок более сильный удар по организму человека. Иначе говоря, выжившие люди не смогут заниматься сельским хозяйством и будут обречены на постепенную деградацию от болезней. Всё же гарантированного вымирания здесь не будет, так как люди - существа очень адаптивные и живучие, если, конечно, не вмешаются ещё какие-либо факторы.
  Взрыв мощных бомб в космосе
  Если земная технология широко шагнёт в космос, рано или поздно станет возможно создание огромных бомб космического базирования, весом в сотни тонн (в частности, с целью отклонения опасных астероидов). Риск состоит во взрыве нескольких десятков гигатонных бомб на низких орбитах, которые просто сожгут Землю своим излучением. Однако в случае такой атаки всё равно будут выжившие: шахтёры, подводники, спелеологи. (Хотя могут выжить только одни мужчины, и род людей на этом закончится, так как в природе мало женщин-подводников и шахтёров. Но спелеологи бывают.) По эффекту воздействия получится искусственный гамма-всплеск.
  2.4 Интеграция поражающих факторов ядерного оружия
  Умеренная по масштабам ядерная зима, сопровождающаяся умеренным радиоактивным поражением, может дать 'синергетический' эффект, который превосходит по силе даже самую мощную ядерную зиму, взятую в отдельности. Например, как уже было сказано (см. выше) в случае 'чистой' ядерной зимы люди смогут многие годы питаться скотом, который замёрз у себя в стойлах и сохранился. В случае радиоактивного заражения такой возможности не будет. Взрывными волнами по всему миру будут разрушены дома, а там, где они сохранятся, будут выбиты стекла, и это сделает более сложной защиту от радиации и холода. Топить радиоактивным лесом будет опасно. Эти факторы будут усилены разрушением наиболее ценных объектов инфраструктуры за счёт прямого действия поражающих факторов ядерного оружия. Всё же, пока невозможно сказать, может ли синергетический эффект привести к тотальному вымиранию, если ни одна из его составляющих не даёт этого результата.
  2.5 Стоимость создания ядерного потенциала, могущего угрожать выживанию человеческой цивилизации
  Хотя ядерное оружие создаёт теоретическую возможность общечеловеческого уничтожения, практическая реализуемость таких проектов зависит от их стоимости. Если поделить стоимость всей ядерной программы США на количество произведённых бомб, то средняя цена заряда составит 1-40 миллионов долларов, согласно подсчётам А. Анисимова в статье 'Развитие стратегических сил Китая и проблема адекватности ситуации внешней политики США' [Анисимов 2002]. Если для полного радиационного заражения Земли нужно 1000 бомб с оболочкой из кобальта, то такой проект будет стоить порядка 40 млрд. долларов. Это - десятая доля годового бюджета Пентагона или цена крупной нефтяной корпорации. Если говорить точнее - это одна тысячная от годового мирового ВВП. По мере роста мирового ВВП и удешевления производства эта доля снижается, то есть, всё дешевле создать такое оружие. Таким образом, создание ядерного оружия судного дня является практически доступным в настоящий момент для крупных держав.
  
  2.6 Вероятность глобальной катастрофы, вызванной ядерным оружием
  В отношении рисков вымирания в результате применения ядерного оружия надо сложить вероятность двух вариантов:
   классическая ядерная война, приводящая к вымиранию;
   неклассическое применение ядерного оружия как машины судного дня.
  Первый вариант определяется произведением вероятности двух последовательных событий: вероятности полномасштабной ядерной войны и вероятности того, что эта война приведёт к вымиранию человечества.
  Нам кажется, что вероятность преднамеренного нападения одной державы на другую является маловероятной, так как это не даст ни политической, ни экономической, ни военной выгоды, но создаст риск ответного удара, распространения оружия массового поражения, риск войны с другими державами, обладающими ядерным оружием. Однако ядерная война между ядерными государствами может начаться случайно, а точнее, в результате сложной цепочки событий. Вспомним: в ходе Карибского кризиса американцы полагали, что могут напасть на Кубу, так как там нет ядерного оружия русских. Советские военные имели там тактическое ядерное оружие, которое могли применять по своему усмотрению в зависимости от обстоятельств (то есть, без команды сверху), но полагали, что американцы на них не нападут. Каждая сторона действовала правильно в рамках своих представлений и при этом полагала неправильными и невозможными действия другой стороны.
  Ядерные силы находятся под действием следующих противоречивых требований:
  А) Ядерные силы ни при каких обстоятельствах не могут совершить непреднамеренный запуск - то есть запуск, который позднее был бы признан неверным. Это включает в себя опознание цели, информирование главы государства, принятие решения, доведение его до пунктов запуска, наведение и сам запуск и ракет.
  Б) Ядерные силы должны суметь нанести ответно-встречный удар в условиях интенсивного информационного противодействия вероятного противника, а значит - находиться в состоянии высокой боеготовности и автономности в принятия решений. От того, как решается это противоречие, зависит, находятся ли ключи запуска на борту подводной лодки или высылаются на борт по радио из центра в случае чрезвычайной ситуации. Хотя то, как именно организовано управление Стратегическими ядерными силами в ведущих ядерных державах, является величайшей военной тайной, исторически известно, что неоднократно выбирались варианты, когда ключ запуска находился на местах.
  Можно придумать множество сценариев непреднамеренного начала ядерной войны См. подробнее книгу Брюса Блера 'Случайная ядерная война' [Blair 1993]. Например, самолёт с президентом внезапно сбивают. Поскольку система управления, а значит и связь с главнокомандующим является наиболее существенной частью системы обороны, то любые проблемы на этой линии могут восприниматься как начало атаки.
  Поскольку ядерной войны ни разу не было, это оказало разлагающее влияние как на общественные ожидания, так и, возможно, на нормы риска в военной сфере. Кроме того, растёт число стран, способных создать и создающих ядерные арсеналы. Более того, террористическая ядерная атака тоже может стать спусковым крючком к войне, а её может организовать и малая страна. Всё это подталкивает нас к мысли, что риск ядерной войны постоянно растёт. Если мы его оценим в 0,5 % в год, то, я думаю, это будет довольно неплохой оценкой. Однако сам этот риск может не 'прожить' ста лет. Либо его сделают неактуальным ещё более мощные и опасные технологии, либо, напротив, человечество объединится и откажется от запасов ядерного оружия.
  С другой стороны, обычная непреднамеренная ядерная война не приведёт неизбежно к вымиранию человечества. Если её масштабы будут ограничены несколькими странами, то это будет ещё одно событие масштаба второй мировой войны. И тогда она не прервёт хода прогресса и существенно не изменит хода мировой истории. Однако ядерная война может запустить цепочку событий, которая резко снизит уровень развития всего человечества, переведёт его на постапокалиптическую стадию, в котором оно будет подвержено многим другим факторам вымирания. Например, война может стать перманентной, так как из чувства мести будут производить всё новые порции оружия, особенно, биологического, или будут строить и взрывать 'машины судного дня', то есть устройства, способные уничтожить всё человечество. При этом, люди будут подвергаться воздействию ядерной зимы и радиоактивных осадков неизвестной силы. Сумма всех этих факторов может поставить человечество на грань вымирания, а переход этой грани станет вопросом случая.
  Ход событий в постапокалиптическом мире будет зависеть не только от последствий ядерной войны, но и от того, какие технологии там уцелеют, смогут развиваться и будут применяться. Это выходит за рамки темы данной главы, поэтому мы можем сказать, что в наихудшем случае результатом ядерной войны станет постапокалиптический мир, подверженный риску дальнейшей деградации. Шансы того, что цивилизация понизит свой уровень в результате ядерной войны, примем как 50%. В итоге мы получаем оценку вероятности перехода в постапокалиптический мир в результате ядерной войны в XXI веке порядка 25% в том случае, если никакие другие процессы этому не воспрепятствуют. Поскольку, однако, это событие должно быть 'перекрыто', то есть, скорее всего, станет невозможным из-за более сильных процессов в течение максимум 30 лет, мы можем делить эту оценку на 3 (так как 30 примерно в 3 раза меньше 100 лет, для которых делалась исходная оценка), то есть получим приблизительно 8 % вероятности того, что в XXI веке мы попадём в постядерный мир с пониженным уровнем развития цивилизации. Вероятность того, что мы вымрем в постядерном мире ещё в несколько раз меньше и зависит от других факторов. Округляя до порядка, получим риск вымирания в результате последствий ядерной войны в XXI веке порядка 1%. Шансы на то, что возникшая полномасштабная ядерная война непосредственно приведёт к человеческому вымиранию без фазы угасания в постапокалиптическом мире, я оцениваю как ещё меньшие. К похожим выводам приходит гуру криптографии Мартин Хелманн .
  Следует также учесть вероятности нетрадиционного применения ядерного оружия. В настоящий момент ничего не известно о разработках машин судного дня (то есть устройств, специально предназначенных для уничтожения человечества с целью, например, шантажа) на основе ядерного оружия (хотя отчасти сами ядерные силы можно считать ими). Впрочем, такая разработка велась бы в строжайшем секрете. Как справедливо отмечено в фильме 'Доктор Стренджлав' Кубрика, Машина Судного дня не имеет смысла, если о ней не объявлено; то есть она должна быть секретной только в процессе строительства; с другой стороны, о ней может быть объявлено только главам враждебных стран, чтобы не портить имидж и не пугать население. В будущем могут появиться гораздо более дешёвые способы создания машины судного дня на основе биологического оружия. Поэтому думаю, что не будет ошибкой заявить, что шансы создания и применения машины судного дня на основе ядерного оружия, по крайней мере в 10 раз меньше шансов самой ядерной войны. Однако, в таком случае шансы вымирания всего человечества значительно больше, чем от ядерной войны, поскольку далеко не каждая возможная ядерная война приводит к вымиранию. Фактически, если оружие судного дня применено, весь вопрос в том, сработает ли оно так, как задумывалось. (Если бы у Гитлера в бункере такое оружие было, он бы, вероятно, его применил - как 'харакири' для всей страны, во всяком случае, это следует из завещания Гитлера, где он обвиняет немецкий народ в поражении.) Вероятность вымирания человечества в результате применения оружия судного дня в XXI веке я оцениваю как величину тоже порядка 1%.
  Возможна определённая интеграция боевого ядерного оружия и машины судного дня. В романе Н. Шюта 'На берегу' [Shute 1957] применение тысяч кобальтовых бомб многими государствами приводит к заражению не отдельных стран, как это предполагалось, а к полному заражению всего мира. После открытия возможности ядерной зимы стало понятно, что современные ядерные ракеты могут быть оружием судного дня, если направить их на тысячи городов по всему свету. Точно также их можно направить на склады отработанного ядерного топлива, атомные станции, спящие вулканы и залежи каменного угля. То есть, одно и тоже оружие может быть или не быть машиной судного дня в зависимости от использования.
  2.7 Изменение вероятности глобальной катастрофы, вызванной ядерным оружием, с течением времени
  Считается, что в настоящий момент погодовая вероятность катастрофической ядерной войны уменьшилась, так как ядерные арсеналы СССР и США значительно сократились. Однако фактически вероятность применения ядерного оружия растёт, поскольку всё больше стран открыто заявляют о его разработке (около 10), и, кроме того, другие страны, помимо России и США, обретают технические возможности и желание обзаводиться арсеналом в тысячи зарядов (Китай, Пакистан и Индия). Растёт также число стран, развивающих мирную ядерную энергетику двойного назначения, то есть, способных в течение месяцев или нескольких лет приступить к производству ядерного оружия (см., например, 'Ядерное нераспространение в эпоху глобализации', под редакцией А. Арбатова и В. Михеева [Арбатов, Михеев 2007]).
  Растут и шансы попадания расщёпляющих материалов в руки террористов. Этот рост вероятности относительно линеен и будет довольно медленным, если только не будут изобретены способы принципиального удешевления производства ядерного оружия: молекулярное производство и методы термоядерного взрыва без уранового запала. Появление и - особенно - распространение знаний о таких методах резко увеличит количество ядерных боеприпасов в мире. Мы можем быть уверены сейчас в том, что ещё нет молекулярного нанотехнологического производства, но не можем быть уверены, что нет секретных способов прямой инициации термоядерного взрыва. Разумеется, если бы они были, сам факт их существования следовало бы держать в секрете. Распространение новых технологий, например ИИ и нанотехнологий, может создать новые способы уничтожения ядерного оружия и предотвращения его применения. Однако если уж такое оружие будет применено, они не дадут особой защиты от его поражающих факторов. В силу этого, можно утверждать, что риск применения ядерного оружия будет существовать с нами всегда, если только не будет вытеснен превосходящими по силе факторами, то есть ещё большими рисками, связанными с ИИ, нанотехнологиями и биотехнологиями.
  Что касается оружия судного дня на основе ядерного оружия - вроде гигатонной кобальтовой бомбы, то в настоящие момент ничего неизвестно о разработке такого рода оружия. С другой стороны, если бы такая разработка производилась, то она была бы большим секретом, так как страна, открыто разрабатывающая 'оружие судного дня', немедленно подверглась бы нападению. Я полагаю, что эта вероятность не равна нулю и тоже растёт, но очень монотонно и медленно. В случае начала новой мировой войны она может существенно возрасти. Иначе говоря, война (или угроза такой войны), которая ведёт к полному завоеванию ядерной державы, с высокой вероятностью приведёт к применению или угрозе применения 'оружия судного дня' как последнего аргумента. Опять же, разработка новых ядерных технологий, удешевляющих производство, увеличивает и шансы создания ядерного 'оружия судного дня'. Возможно, лет через десять-двадцать оно будет доступно и так называемым странам-изгоям.
  2.8 Стратегия сдерживания под вопросом
  Следует сказать, что, возможно, ядерное сдерживание как фактор предотвращения войны переоценивается. То, что является выигрышной стратегией в краткосрочной перспективе, может быть проигрышной в долгосрочной. То есть: войны сверхдержав стали реже, но масштаб возможных последствий таких войн неизмеримо вырос. И если ядерное оружие будет не у нескольких стран, а у всех без исключения, то война всех против всех не оставит ни одного уцелевшего уголка планеты. Механизм распространения конфликта может быть такой: если есть страны A, B, C, D и происходит ядерная война между A и B, то в выигрыше остаются страны С и D. Поэтому страны A и B могут быть заинтересованы в том, чтобы С и D тоже вступили в войну, и могут атаковать их частью сил. С и D, понимая это, могут ударить первыми.
  Наконец, угроза взаимного гарантированного уничтожения эффективная лишь тогда, когда есть только две сверхдержавы (по количеству ядерных зарядов). Но уже сейчас, а возможно и ранее, Китай стал третьей, и возможно появление новых ядерных сверхдержав. Дж. Лесли [Leslie 1996] отмечает, что уменьшение количества ядерных бомб в арсеналах не ведёт к снижению вероятности ядерной войны, поскольку требует, чтобы использовалась стратегия ответно-встречного удара, когда ракеты запускаются до того, как вражеские удары поразили цели, потому что после этого уцелевших 10% будет недостаточно для полноценного ответного удара. Стратегия ответно-встречного удара более уязвима к ложным срабатываниям, так как решение о ядерном ударе принимается только по косвенным признакам, которые могут содержать ошибки, и в условиях очень короткого временного промежутка, который исключает какое-либо размышление о природе поступивших сигналов. Фактически, это решение зависит не от людей, а от написанных ими заранее алгоритмов и инструкций, что размывает ответственность. Кроме того, ответно-встречный удар подразумевает постоянно высокий уровень боеготовности ракет, что, в частности, требует, чтобы ключи запуска находились не в центре, а у непосредственных исполнителей.
  Повышение точности ракет также не гарантирует стабильность, так как даёт возможность первого обезоруживающего удара, и соответственно, может подтолкнуть более слабую сторону ударить первой, до того, как она окончательно утратила преимущество. То же самое верно и для создания оборонительного щита вроде СОИ. Все приведённые стратегии ядерного противостояния не привязаны исключительно к ядерному оружию, но будут верны и при возникновении любых более мощных видов оружия, в том числе - связанных с ИИ и нанотехнологиями. Подробнее эти вопросы рассмотрены, например, в книге А. Г. Арбатова и др. 'Снижение боеготовности ядерных сил России и США - путь к уменьшению ядерной угрозы' [Арбатов, Михеев 2007].
  2.9 Ядерный терроризм как фактор глобальной катастрофы
  Само по себе явление ядерного терроризма - то есть анонимный взрыв бомбы небольшой мощности - не может привести к человеческому вымиранию. Вместе с тем такое событие резко усилит все глобальные риски. (А если бомбы научатся делать в домашних условиях, скажем, благодаря успехам в холодном ядерном синтезе, то одного этого может быть достаточно для вымирания людей.) Такой взрыв может спровоцировать войну, или привести к гибели руководства страны, усилив общую дезорганизацию и лишив управляющие структуры мудрости, необходимой для решения по-настоящему серьёзных глобальных проблем. Он может привести также к 'закручиванию гаек' и установлению общества тотального контроля, которое приведёт к появлению движения сопротивления в духе антиглобалистов и к новым терактам.
  2.10 Выводы по рискам применения ядерного оружия
  Угроза ядерной катастрофы часто недооценивается или переоценивается. Недооценка в основном связана с рассуждениями о том, что раз катастрофы давно не было, то она маловероятна. Это неверное рассуждение, поскольку оно подвержено действию эффекта наблюдательной селекции, о котором мы будем говорить далее в главе 14 в разделе 'Прекращение действия 'защиты', которую нам обеспечивал антропный принцип', и эффекта ослабления бдительности со временем. Переоценка же связана с распространёнными представлениями о ядерной зиме и радиоактивном заражении как неизбежных факторах вымирания всего человечества после ядерной войны, и эта переоценка ведёт к ответной реакции отвержения, ведущей к занижению риска. Хотя 'обычная' ядерная зима и заражение, скорее всего, не приведут к полному вымиранию человечества сами по себе (хотя могут создать условия для последующего вымирания по совокупности причин), но есть способы применить ядерное оружие особым образом, чтобы создать машину судного дня, которая истребит всех людей с высокой вероятностью.
  Глава 3. Глобальное химическое заражение
  Химическое оружие обычно не рассматривается в качестве оружия конца света. Это связано с тем, что для глобального заражения атмосферы требуются очень большие количества ядовитого вещества, а также с тем, что это вещество или химически неустойчиво, или легко вымывается из атмосферы. Глобальное химическое заражение может произойти из-за внезапной резкой дегазации земных недр, например, вскипания газовых гидратов под морским дном. Однако основной вариант - извержение сверхвулкана с большим выбросом газов. Сам процесс накопления углекислого газа в земной атмосфере за счёт сжигания ископаемого топлива тоже может считаться частью 'дегазации недр'. Другие возможные причины - крупная авария на химическом производстве, результат деятельности генетически модифицированных организмов в биосфере, и, наконец, сознательное применение химического оружия. В научной фантастике рассматривался вариант выпадения ядовитых химических веществ из ядра кометы. Основным фактором, превращающим химическое оружие в глобальную угрозу, является единство земной атмосферы. Поэтому в этой главе мы рассмотрим и ряд других факторов, действие которых распространяется через атмосферу.
  В связи с этим полезно посчитать, какие количества и каких газов могут полностью отравить земную атмосферу. При этом понятно, что газам и ядам гораздо проще противостоять с помощью противогазов и убежищ, чем радиации и биоагентам. Для равномерного заражения всей Земли сильнейшим нервнопаралитическим газом VX потребовалось бы не менее 100 тыс. тонн этого реагента (если исходить из оценки одна смертельная доза на 1 кв. метр, то есть 200 мкг). При этом в Первой мировой войне всего было использовано 120 тыс. тонн разных ОВ. Примерно столько же (94 тыс. тонн) было использовано гербицидов в войне во Вьетнаме. Современные мировые запасы отравляющих веществ оцениваются в 80 тыс. тонн, хотя точных данных по общемировым запасам нет. При этом понятно, что химическое оружие не было приоритетным направлением, и его произвели гораздо меньше, чем могли бы. Понятно также, что вопрос равномерного распределения (то есть доставки) далеко не прост. Газ VX держится в холодном климате очень долго, но при жаре разлагается за несколько дней. Однако теоретически возможно произвести и распространить миллионы тонн этого газа или подобного и создать глобальную угрозу. (Особенно упростится эта задача с развитием конструирования генно-модифицированных организмов.)
  Летальная доза токсина ботулизма - около 0,1 мкг. (Это означает, что для уничтожения человечества хватило бы нескольких сот грамм), но он очень неустойчив во внешней среде.
  Летальная доза диоксина - около 1 мкг (есть разные оценки), однако он может десятки лет сохраняться в среде и накапливаться в организмах. Утечка примерно 25 кг диоксина в Севесо в Италии вызвала заражение 17 кв. км. Отсюда можно заключить, что на полное заражение Земли потребуется 500 000 - 1 000 000 тонн диоксина. Это равно объёму нескольких крупных нефтеналивных танкеров. Вероятно, промышленно развитая держава могла бы наработать такой объём за несколько лет.
  Возможны также сценарии постепенного накопления в природной среде веществ, опасность которых вначале была неочевидна. Так было с фреонами, разрушающими озоновый слой, и диоксинами. Возможно также накопление многих химикатов, которые по отдельности не дают большой летальности, но вместе создают очень тяжёлый фон. Это обычно называется 'неблагоприятная экологическая обстановка'.
  Другим вариантом является полное изменение химического состава атмосферы или утрата ею свойств пригодности для дыхания. Для этого нужен некий мощный источник химических веществ. Им может быть земной вулканизм, о чём речь пойдёт далее. Другие кандидаты: газовые гидраты на дне океана - отравление метаном, или водяной пар, если неким образом всю воду испарить (возможно при необратимом глобальном потеплении).
  Функциональная структура химической катастрофы состоит в отравлении воздуха ядом или утрате атмосферой свойств способности поддерживать жизнь: то есть питать её кислородом, защищать от радиации, поддерживать нужный температурный режим. Химическая катастрофа угрожает земной биосфере даже больше, чем человеку, который может надеть противогаз, но без биосферы человек жить пока не может. Поскольку такая катастрофа носит относительно пассивный характер, то от неё относительно просто защитится в бункерах.
  Маловероятные варианты:
   Отравление диоксидом углерода сверх того предела, при котором человек может дышать без скафандра (маловероятно, так как нет такого количества полезных ископаемых - только в случае некой природной катастрофы). Однако большое количество СО2 может вырваться и из вулканов. Например, Венера окружена атмосферой из СО2 в сто раз более плотной, чем земная атмосфера, и, вероятно, большая часть этого вещества выделилась из недр, и по некоторым предположениям, относительно недавно. С другой стороны, на Венере нет углеродного цикла, как на Земле.
   Формирование в результате восстановления оксида железа в недрах Земли значительного количества небиогенного кислорода, который может через 600 миллионов лет он полностью отравить атмосферу, как предполагает О.Г. Соротихин [Соротихин, Ушаков 2002]. Ухудшить этот сценарий может ситуация, если где-то под поверхностью уже скопились большие количества этого или другого газа, и затем они вырываются на поверхность в виде вулканического извержения. Впрочем, утверждения Соротихина о небиогенном кислороде подвергаются критике. Вырывающиеся на поверхность газы будут не только отравлять атмосферу. Они будут раскалены до тысячи градусов. И если произойдет массивный выброс газов (или воды), то он не только отравит атмосферу, но и стерилизует поверхность своим жаром. (Недавно была публикация о том, что глубоко под Землёй обнаружили 'океаны воды', но на самом деле там речь идёт только о повышенной - 0,1 % - концентрации воды в породах .)
   Катастрофическое выделение метана из газовых гидратов в тундре и на морском дне, что не только усилит парниковые свойства атмосферы, но и, возможно, отравит её [Дядин, Гущин 1998].
   Другой вариант - выделение огромных количеств водорода из земных недр (есть предположения, что в центре Земли его много - cм. Сывороткин В.Л. 'Экологические аспекты дегазации Земли' [Сывороткин 2002]). Это водород разрушает озоновый слой. Также возможно выделение огромных количеств нефти, если верна теория об абиогенном происхождении нефти и огромные количества углеводородов накопились глубоко в Земле. А бурение всё более глубоких скважин продолжается.
   Исчерпание кислорода в атмосфере в результате некого процесса, например, при окислении выделившегося из недр водорода. Таким процессом может быть внезапное выделение и сгорание большого количества горючего вещества. Или исчерпание кислорода в результате действия генетически модифицированных организмов, вышедших из-под контроля, например, вроде азотофиксирующих бактерий. Наконец, в результате прекращения фотосинтеза при одновременном продолжении сжигания минерального топлива. 'Подсчитано, что весь кислород земной атмосферы (1200 триллионов тонн) зеленые растения производят по геологическим меркам почти мгновенно - за 3700 лет! Но если земная растительность погибнет - свободный кислород очень быстро исчезнет: он снова соединится с органическим веществом, войдет в состав углекислоты, а также окислит железо в горных породах' [Порнтов 1999]. Мы имеем примерно миллион миллиардов тонн кислорода в атмосфере, плюс некоторое количество, растворенное в воде. Количество ископаемого топлива, которое мы окислили за всю историю или собираемся окислить, измеряется тысячами миллиардов тонн, то есть гораздо меньше. Но если мы подорвём способности биосферы к регенерации, а затем утратим биотехнологии, то медленное уменьшение уровня кислорода будет глобальной катастрофой. По некоторым данным, крупнейшее пермское вымирание было связано с резким падением уровня кислорода в воздухе по неизвестной причине [Leslie 1996]. Шкловский пишет об этой же проблеме: Как уже упоминалось выше, сейчас ежегодно добывается топливо, соответствующее примерно 5 млрд тонн каменного угля. Это топливо сжигается, т. Е. Соединяется с атмосферным кислородом. В результате получается углекислый газ плюс энергия, которая и утилизируется. Следовательно, этот варварский способ получения энергии сопровождается изъятием из земной атмосферы около 20 миллиардов тонн кислорода ежедневно. Много ли это или мало? Чтобы ответить на этот вопрос, оценим полное количество кислорода в земной атмосфере. Это очень легко сделать. Над каждым квадратным сантиметром земной поверхности имеется около 200 г кислорода. Так как поверхность земного шара приблизительно равна 500 миллионов км2 или 51018 см2, полное количество кислорода в земной атмосфере около 1021 г или 1015 т. Это означает, что для 'поддержания' горения добываемого на Земле топлива земной атмосферы хватит на 50000 лет. Подчеркнем, что на Земле действуют и другие естественные причини, приводящие к связыванию свободного кислорода ее атмосферы. Как оказывается, сжигание топлива сейчас составляет несколько процентов от действия естественных факторов, приводящих к связыванию кислорода земной атмосферы. В итоге существенная часть кислорода свяжется через несколько тысяч лет. Только жизнедеятельность растений непрерывно пополняет эту убыль кислорода из атмосферы. И вот неразумное вмешательство людей в этот миллионами лет устоявшийся кислородный баланс Земли привело к тому, что он нарушается как бы 'с двух концов': уничтожая леса, мы уменьшили 'поставку' кислорода в атмосферу по крайней мере на 10%, а сжигая его с топливом, увеличили скорость его ухода из атмосферы на несколько процентов. Если бы в атмосфере кислорода было сравнительно немного - последствия сказались бы очень скоро. Но так как кислорода в земной атмосфере запасено очень много - последствия скажутся только через несколько тысяч лет - характерное время установления динамического равновесия кислорода в атмосфере. Через этот промежуток времени, благодаря деятельности людей за последние несколько десятилетий, равновесное количество кислорода в земной атмосфере уменьшится примерно на 15 - 20%. Но ведь сейчас темп добычи ископаемого горючего и его сжигания продолжает расти! Если так будет продолжаться, то через сотню лет добыча угля и нефти увеличится в несколько десятков раз. А это приведет к катастрофическому уменьшению кислорода в земной атмосфере за какие-нибудь несколько сот лет! Заметим, что мировых ресурсов угля и нефти, особенно еще не разведанных, вполне достаточно для этого самоубийственного дела: не забудем, что каменный уголь - это бывшие растения! Такая 'деятельность', с позволения сказать, 'разумных' существ приводит к непрерывному увеличению содержания углекислого газа СO2, что, помимо других вредных последствий, резко нарушает тепловой баланс Земли, о чем речь уже шла раньше' [Шкловский 1987]. Увеличение содержание СО2 увеличит активность растений и снизит активность животных, а также человека по сжиганию топлива, что образует отрицательную обратную связь по содержанию кислорода. Уже сейчас есть кондиционеры, повышающие содержание кислорода в комнате, так что люди смогут достаточно эффективно противостоять постепенному снижению кислорода.
   Падение кометы с большим количеством ядовитых газов.
   'Чёрный прилив' - отравление мирового океана разлитием большого количества нефти. Непосредственно оно не может убить людей, но может критически подорвать цепочки питания в биосфере и нарушить производство кислорода и поглощение углекислого газа (что ведёт к потеплению) и, в конечном счёте, перевести человечество в постапокалиптическую стадию. Возможны и другие варианты отравления мирового океана.
   Срыв атмосферы Земли. Его могут вызвать: сильнейший взрыв, придающий большей части атмосферы вторую космическую скорость, солнечная вспышка или внезапное нагревание.
   Прокаливание атмосферы. Здесь я имею в виду не глобальное потепление, как комплексное постепенное явление, а кратковременное нагревание атмосферы до высоких температур в результате неких процессов. А. Портнов в статье 'Как погибла жизнь на Марсе' [Портнов 1999] предполагает, что магнитные красные пески (маггемит) на Марсе образовались в ходе бомбардировки планеты осколками её крупного спутника, что привело к нагреву поверхности до 800-1000 градусов, при котором и происходит формирование таких минералов. Аналогичные отложения им обнаружены в Якутии, где 35 млн. лет назад упал крупный астероид диаметром около 10 км и оставил Попигайский кратер (а также, возможно, вызвал очередное крупное вымирание живых существ). Возможно, что при неких высокоэнергетичских событиях могут образовываться огромные плотные высокотемпературные облака, которые распространяются по поверхности на тысячи километров. Примером их могут быть пирокластические облака при извержении современных вулканов, которые двигаются по поверхности земли или моря с большой скоростью на значительные расстояния и имеют внутри себя температуру порядка 1000 градусов. Поскольку такие облака непрозрачные, они медленно охлаждаются излучением. Другие возможные причины прокаливания - облучение (например, обломками астероида, выброшенными высоко в стратосферу и огненными шаром от взрыва, вспышка сверхновой) или очень тяжелый горячий газ (достаточно тяжёлый, чтобы не всплывать в воздухе - тяжелые углеводороды?)
   Автокаталитическая реакция, распространяющаяся по всей поверхности Земли аналогичная распространению льда-9 из романа К. Воннегута 'Колыбель для кошки'. Пока нет никаких оснований думать, что такая реакция возможна. (Хотя был случай, когда лекарство от СПИДа самопроизвольно образовало новый изомер, обладающий свойством приона - катализировать образование аналогичного изомера, который вытеснил правильную форму кристалла со всех фабрик в мире и остановил производство.) Или создание искусственного катализатора, крайне эффективно осуществляющего некую реакцию, продукты которой пагубны для всего живого. Распространение сверхкомпьютеров может сделать возможным искусственную разработку новых прионов - например, если будет разрешена задача свёртки белков.
  Моя субъективная оценка вероятности глобального химического заражения - порядка 0,1 % на весь XXI век. Эта вероятность сейчас особенно мала, так как нет таких технологий, и она будет убывать, когда достаточно разовьются средства молекулярного нанотехнологического производства, которые смогут быстро очистить атмосферу или хотя бы защитить людей от заражения (если они сами не вызовут такую катастрофу).
  Вывод: хотя теоретическая возможность отравления всей атмосферы газами имеется, она перекрывается возможностью создания токсических и эпидемиологических биоагентов. Любая организация или государство, которое может стремиться к отравлению всей биосферы, гораздо проще и дешевле может это сделать с помощью генетического конструирования. Более того, человек может пережить такое отравление в бункере или нейтрализовать его противоядиями, возможно, сделанными с помощью биотехнологий. Тем не менее, внезапное и значительное отравление воздуха может быть фактором, который создаст один из вариантов постапокалиптического мира.
  ***
  Мы можем сделать определённые выводы относительно технологически достоверных рисков. Исходя из того, что некий риск технологически готов, не следует сбрасывать со счётов неизбежность дальнейшего технологического совершенствования в этой области, а также вероятность принципиальных открытий в этой области или связанных с ней. При этом важно понимать, что опасности, создаваемые новыми технологиями, всегда больше, чем опасности от прежних технологий, хотя бы потому что любые новые технологии могут потенцировать эффективность прежних технологий.
  Далее мы рассматриваем развитие технологий, как самодостаточную тенденцию, которая не подвержена никаким внешним кризисам и рискам (а также не зависит от человеческой воли), то есть риски, возникновение которых кажется неизбежным, исходя из текущего характера развития технологий. Очевидна односторонность этой точки зрения. Позже мы рассмотрим то, как реализация тех или иных больших и малых рисков может повлиять на развитие технологий и их способность порождать новые риски.
  Глава 4. Биологическое оружие
  4.1 Общие соображения и основные сценарии
  Фактически, большая часть технологий, необходимых для создания опасного биологического оружия, уже существует. Например, в конце 2007 года был предложен набор из базовых 'кубиков' для генетического конструирования, распространяемый по принципам свободного программного обеспечения Genetic-Engineering Competitors Create Modular DNA Dev Kit . Или, например: 'В 2003 году ученые из Института альтернативной биологической энергии (США) под руководством знаменитого Крейга Вентера синтезировали из общедоступных реактивов вполне живой бактериофаг phi-X174 (безопасный для человека и животных вирус, который внедряется в бактерию Esherichia coli)... В 2002 году Экарт Уиммер из университета Стони Брук, штат Нью-Йорк, опубликовал работу по синтезу вируса полиомиелита из кусочков молекул. Синтетические вирусные частицы оказались совершенно неотличимы от естественных по всем параметрам - размеру, поведению, заразности. Причем слово 'синтез' применимо к этой работе в самом буквальном смысле: зная нуклеотидную последовательность, ученые шаг за шагом построили вирус совершенно так же, как химики синтезируют сложные молекулы. Сам синтез занял у группы три года. А в 2003 году, через год после публикации этой работы, ученые из Института альтернативной биологической энергии потратили на синтез бактериофага из заказанных по каталогу реактивов всего две недели' [Юдина 2005].
   Основная технологическая тенденция состоит в том, что био-оборудование постоянно дешевеет и распространяется по миру, одновременно знания о том, как использовать его во вред, возрастают и тоже распространяются. Постоянное удешевление и упрощение машин для секвенсирования и синтеза ДНК (то есть считывания и создания генетического кода), делает возможным появление биохакеров. Прогресс в области био-оборудования измеряется скоростью порядка 2 раза в год - то есть технические характеристики возрастают, а оборудование дешевеет (кривая Карлсона ). Нет никаких оснований думать, что темп развития биотехнологий замедлится - отрасль полна новыми идеями и возможностями, а медицина создаёт постоянный спрос, поэтому можно смело утверждать, что через десять лет возможности биотехнологий по основным численным показателям (цена секвенсирования/синтеза ДНК, например) возрастут в 1000 раз. При этом происходит интенсивная демократизация биотехнологий - знание и оборудование идёт в массы. Если для компьютеров уже написано более 100 000 вирусов, то масштабы творчества биохакеров могут быть не меньшими.
  Основной однофакторный сценарий биологической катастрофы - это распространение некого одного вируса или бактерии. Это распространение может происходить двояко - в виде эпидемии, передающейся от человека к человеку, или в виде заражения среды (воздуха, воды, пищи, почвы). Эпидемия гриппа испанки в 1918 г. затронула весь мир, кроме нескольких отдалённых островов. Вместе с тем, гипотеза о возможности эпидемии, убивающей всех людей, не учитывает двух обстоятельств. Первое, это то, что если все люди быстро гибнут, то некому разносить вирус. Второе, это то, что при всех эпидемиях обычно находятся люди, которые имеют врождённый иммунитет.
  Возможен сценарий, когда по всему миру распространяется некое животное, являющееся носителем опасной бактерии. (Так в природе комарами распространяется малярия и чума крысами.)
  Следующий вариант - это появление всеядного агента, который уничтожает всю биосферу, поражая любые живые клетки, или хотя бы только растения или животных некого критического вида.
  Третий вариант - это бинарное бактериологическое оружие. Например, туберкулёз и СПИД являются хроническими болезнями, но при одновременном заражении человек сгорает за короткий срок. Один из страшных сценариев - СПИД, который распространяется также легко, как простуда.
  Однако возможно и двухступенчатое биологическое оружие. На первом этапе некая производящая токсин бактерия незаметно распространяется по всему миру. На втором, по некому сигналу или таймеру, она начинает производить этот токсин сразу повсюду на Земле. Некоторые микроорганизмы ведут себя так при атаке на крупный организм.
  Следующий вариант оружия конца света - это распыление в воздухе больших количеств спор сибирской язвы (или подобного агента) в защитной оболочке (а такие оболочки уже давно имеются для боевых штаммов). Этот вариант не требует саморазмножающегося болезнетворного агента. Заражение сибирской язвой очень длительное - один остров в Англии дезактивировали 50 лет, - и для заражения не требуется больших количеств реагента. 1 грамм может заразить целое здание. (Например, устранение последствий заражения одного здания в США, вызванного распылением спор сибирской язвы, находящихся всего лишь в одном конверте, заняло несколько лет и потребовало расходов в сотни миллионов долларов. Дешевле было бы снести это здание, но этого делать было нельзя, так как при этом споры могли бы заново распылиться. Это означает, что по способности к длительному заражению и нанесению экономического ущерба сибирская язва превосходит большинство радиоактивных веществ.)
  Для полного заражения всей Земли необходимы тысячи тонн заражающего вещества. Но это число не является недостижимым - в СССР на полигоне в Аральском море было накоплено и брошено после распада СССР 200 тонн боевого штамма сибирской язвы. Его затем сожгли американцы. Однако, если из-за природной катастрофы (например, смерча) это вещество развеялось бы высоко в воздух, то оно могло бы накрыть целые страны. Понятно, что производство сибирской язвы дешевле производства аналогичных количеств полония или кобальта-60.
  Следующий опасный вариант биооружия - это агент, изменяющий поведение людей. Вирус бешенства (агрессивность, укусы) и токсоплазма (утрата чувства страха) побуждают заражённых животных к поведению, которое способствует заражению других животных. Теоретически можно представить себе агент, который вызывал бы у людей наслаждение и стремление заражать им других. В кино этот вариант обыгран во множестве фильмов, где вирус превращает людей в вампиров. Но увы, в этой фантазии может быть доля правды. Тем более, если создавать такие вирусы будут шутники-хакеры, которые могут черпать в кино своё вдохновение.
  Ещё один вариант биологической угрозы - это некая автокаталитическая молекула, способная неограниченно распространяться в природе. Коровье бешенство вызывается автокатализом особого белка, называемого прионом. Однако коровье бешенство распространяется только через мясо.
  Отметим ещё вариант - распространение по всей биосфере некоего живого существа, вырабатывающего опасный токсин. Например, это могут быть генетически модифицированные дрожжи или плесень, вырабатывающие диоксин или токсин ботулизма.
  В качестве средства противостояния этому предлагается создание всемирной иммунной системы - то есть распыление по всему миру множества генетически модифицированных бактерий, которые будут способны обезвреживать опасные реагенты. Однако здесь возможны новые опасности, например, 'автоиммунные' реакции такого щита, то есть выход его из-под контроля.
  Ещё одним видом опасности является так называемая 'искусственная жизнь', то есть живые организмы, построенные с использованием другого кода ДНК или набора аминокислот. Они могут оказаться непобедимыми для иммунных систем современных живых организмов и 'съесть биосферу'.
  Более фантастическим вариантом биологической опасности является занесение жизни из космоса. Шансы этого учитывались, когда астронавты вернулись с Луны - их долго держали в карантине.
  4.2 Структура биологической катастрофы
  Структура биологической катастрофы может быть весьма замысловатой. В качестве иллюстрации приведу несколько цитат об одной потенциально опасной ситуации. (Из неё мы увидим, как давно появились биологические угрозы, - а значит, насколько зрелой уже является эта опасность.)
  'Генный кризис начался летом 1971 года. В это время молодой учёный Роберт Поллак в лаборатории Колд-Спринг-Харбор (на Лонг Айленде, штат Нью-Йорк, США), руководимой Д.Уотсоном, занимался проблемами рака. Круг научных интересов Поллака был широк. Он не только вёл исследования, но и преподавал студентам биологию и выступал в качестве ведущего радиопрограмм, посвящённых обсуждению возможных злоупотреблений в бионауках, в частности, зарождающейся тогда генной инженерии.
  И вот Поллак узнаёт, что в другой лаборатории (в Пало-Альто, в Калифорнии) у Поля Берга планируются эксперименты по встраиванию ДНК онкогенного (могущего вызывать раковые заболевания) вируса SV 40 в геном кишечной палочки. Последствия таких опытов? А не возникнет ли эпидемия рака (было известно, что почти безвредный для обезьян, вирус SV 40 вызывает рак у мышей и хомяков)? Начинённые опасными генами бактерии, плодясь миллиардами за сутки, по мнению Поллака, могли бы представлять серьёзную опасность.
  Поллак тут же позвонил П. Бергу по междугороднему телефону и спросил его, отдаёт ли он себе отчёт об опасности экспериментов? Не станут ли бактерии с генами вируса SV 40 биологической бомбой замедленного действия?
  Этот телефонный разговор и был началом той тревоги, которая охватила молекулярных биологов. Берг отложил свои исследования. Он стал размышлять, может ли реально E.Coli со встроенными в неё SV 40 вызывать рак? Мучительные раздумья мало что прояснили. Чёткого ответа не было из-за скудности сведений, имеющихся у специалистов в то время' [Чирков 1989].
   'Некоторые доклады учёных (в Асиломаре, 1975) носили сенсационный характер. Так выяснилось, что в США в громадном масштабе был уже поставлен невольный эксперимент на человеке. Оказалось, что вакцина против полиомиелита заражена жизнеспособным вирусом SV 40. За 10 летний период, с 1953 по 1963 год эту заражённую вакцину привили примерно сотне миллионов детей. Причём проверка показала, что вирус SV 40 сохраняется в организме. Однако, к счастью, никакого увеличения частоты раковых заболеваний у этих детей выявлено не было' [Чирков 1989].
  'Эдда Вест в своей статье "Полиомиелит", сообщает о связи вируса SV-40, которым заражались полиовакцины, с опухолями человека: "К концу 1996 г. десятки учёных сообщили об обнаружении вируса SV-40 в различных опухолях костей и мозга, которых стало больше на 30 % за последние 20 лет. Затем итальянские учёные обнаружили SV-40 в семенной жидкости 45 % и в крови 23 % здоровых доноров. Это означало, что SV-40, очевидно, передавался половым путём и от матери ребёнку. Вероятно, ныне этот вирус встроен в наш геном.' Другие опровергают эти данные. Однако отсюда видно, что развитие биотехнологий создаёт далеко неочевидные угрозы.
  Уже сейчас биологическое оружие считается одним из самых дешёвых - стоимость причинения смерти им в расчете на одного человека несколько центов. С другой стороны, для производства современных реагентов вроде сибирской язвы в военных целях нужны большие защищённые лаборатории и полигоны. Оно может быть ещё дешевле, если учесть способность агента саморазмножаться. Теперь подержанный ДНК секвенсор можно купить за сумму от 200 долларов, и с каждым годом цена этих устройств падает в разы, а качество растёт. См. текст 'Генетический хакер может создать биологическое оружие у себя дома' , рассказывающий о человеке, не имеющем познаний в области биологии, который берётся вывести - и выводит - генетически модифицированную флуоресцирующую колонию дрожжей за небольшой срок и небольшую сумму денег. И затем делается предположение, что почти также просто можно было бы вывести некий опасный вариант.
  Уже сейчас создание биологической супербомбы в тысячи раз дешевле, чем создания ядерного оружия сравнимой поражающей силы. Когда распространятся дешевые технологии производства произвольных живых организмов с заранее заданными функциями, цена изготовления такого оружия может упасть до несколько сотен долларов.
  Часто говорят, что биологическое оружие не годится в военном деле. Тем не менее у него может быть особое назначение - как оружие криптоударов в тылу врага и как универсальное оборонительное оружие - машина судного дня.
  4.3 'Саморазмножающейся' синтезатор ДНК
  Биотехнологии могут потенцировать сами себя - то есть возможно возникновение промежуточных биологических форм, которые упрощают написание и выращивание новых вирусов. Например, это может быть культура бактерий, которая непосредственно переводит последовательность электрических сигналов в цепочку ДНК, или, наоборот, считывает ДНК и превращает эту информацию в цепочку вспышек света, которые может считывать компьютер. Само распространение такого устройства вместе с библиотекой генетических кодов (в цифровом виде) основных вирусов и белков было бы катастрофой.
  4.4 Множественный биологический удар
  Хотя распространение одной эпидемии, скорее всего, можно остановить, но эпидемию, вызванную несколькими десятками видами разнородных вирусов и бактерий, вышедших из-под контроля одновременно во многих местах земного шара, остановить невозможно даже технически, потому что в человека невозможно одновременно ввести несколько десятков разных вакцин и антибиотиков - он умрёт. Если вирус с 50 % летальностью был бы просто очень большой катастрофой, то 30 разнородных вирусов и бактерий с 50 % летальностью означали бы гарантированное истребление всех, кто не спрятался в бункеры. (аналогичный результат может быть от 100 разных организмов с 10 % летальностью.)
  Множественный удар мог бы быть и мощнейшим средством ведения биологической войны, и 'оружием судного дня'. Но он может произойти и сам по себе, если одновременно произойдёт множество актов распространения биологических агентов - даже и случайных, например, в ходе активного 'соревнования' биохакеров. Даже несколько по отдельности несмертельных агентов могут настолько ослабить иммунную систему человека, что дальнейшее его выживание станет маловероятным.
  Именно возможность множественного применения биологического оружия делает его одним из самых значительных факторов глобального риска.
  4.5 Биологические средства доставки
  Чтобы представлять угрозу человечеству, биологическое оружие должно быть не только смертельным, но и заразным и легко распространяющимся. Генетические технологии дают огромные возможности не только для создания летального оружия, но и для создания способов его доставки. Не нужно обладать великой фантазией, чтобы представить себе генетически модифицированного малярийного комара, который может жить в любой среде и с огромной скоростью распространиться по всей планете, вводя при укусах некий биоагент. Или вошь. Или саранчу, заодно поедающую всё живое и распыляющюю споры сибирской язвы. Но у будущих биоконструкторов будет гораздо больше фантазии.
  Однако и бактериологическую войну можно пережить в убежище, хотя заражение от неё может быть более длительным, чем радиоактивное. Кроме того, переход на 'механические тела', загрузка сознания в компьютер и освоение нанотехнологий резко снижают уязвимость 'человека' к любым биологическим ядам и агентам, однако сделают его уязвимым к другим саморазмножающимся агентам, таким как компьютерные вирусы и нанороботы.
  В фантастике распространен образ атаки мутантов на последний человеческий бункер. Обычная радиация не способна порождать агрессивных мутантов. С другой стороны, в природе существует вирус бешенства (Neuroiyctes rabid), который влияет на поведение животных так, что они начинают его более активно распространять (укусами). Нетрудно представить себе более продвинутое изделие генно-инженерной техники, которое превращает любое животное в существо, агрессивно настроенное против человека. Сама фантастичность такого проекта может быть стимулом к его реализации, поскольку современная культура пропитана идеями про вампиров и зомби, возникающих в результате опытов в лабораториях (например, недавний фильм 'Обитель зла'- 'Resident Evil'). Иначе говоря, идея изготовить зомби-вирус могла бы быть привлекательным вызовом для биохакера. При этом заражённые люди и животные обладали бы достаточным умом и техническими средствами, чтобы взломать разные виды защиты.
  Похожий сюжет был с терактами 11 сентября, когда выяснилось, что голливудские фильмы были не фантастическими видениями, а самосбывающимися пророчествами. Иначе говоря, культура способна превратить крайне маловероятный сценарий в важную цель.
  4.6 Вероятность применения биологического оружия и её распределение во времени
  Я оцениваю вероятность того, что биотехнологии приведут к вымиранию человечества (в условиях, когда их эффект не перекрывается другими технологиями) в десятки процентов. Эта оценка основана на предположении о неизбежном широком распространении очень дешевых устройств, позволяющих создавать множество разнообразных биологических агентов, то есть на предположении о столь же широком распространении биопринтеров, как сейчас обычных компьютеров.
  Перечислю свойства опасного биопринтера (дешёвой минилаборатории) ещё раз:
  1) неизбежность возникновения,
  2) дешевизна,
  3) широкая распространённость,
  4) неконтролируемость властями,
  5) способность осуществлять разработку принципиально новых биоагентов,
  6) простота применения,
  7) разнообразие создаваемых объектов,
  8) привлекательность как устройства для производства оружия (в духе вирусов индивидуального наведения) и наркотиков.
  9) способность к саморепликации ключевых элементов, основанная на их биологической природе.
  Я полагаю, что устройство, удовлетворяющее этим требованиям, будет состоять из обычного компьютера, пиратски распространяемой программы с библиотекой исходных элементов, и собственно биологической части биопринтера, которая будет генетически модифицированным живым существом, то есть способным к саморазмножению. (Плюс набор относительно доступного оборудования, вроде сосудов для химреактивов и система связи биологической части с компьютером.) Каналом распространения этого комплекта могут быть преступные сообщества, производящие наркотики. Поскольку компьютеры уже доступны, а программа, и сама живая часть биопринтера способны к неограниченному копированию, то цена этого устройства в сборе будет неограниченно мала, а привлекательность крайне велика, что сделает контроль за использованием очень сложным.
  Кустарно изготовляемые биопринтеры - не единственный способ создать биологическую опасность. То же самое произойдет и при распространении неких стандартных компактных минилабораторий по биосинтезу (вроде ДНК-синтезаторов), или при сетевом производстве биологических компонентов, которое уже имеет место, когда ингредиенты заказываются в разных фирмах по всему миру.
  Вероятность глобальной катастрофы с участием биопринтеров будет очень быстро возрастать по мере совершенствования таких устройств и их распространения, то есть мы можем описать плотность вероятности в виде некой кривой, которая сейчас соответствует малой, но уже не нулевой величине, а через некоторое время взмывает до очень большой величины. При этом интересна скорее не точная форма этой кривой, а то время, когда она начнёт резко расти.
  Я оцениваю это время в величину порядка 10-15 лет от 2008 года (2018-2023 годы). (Независимая оценка дана сэром Мартином Рисом, который в 2002 году сделал ставку в 1000 долларов, что до 2020 года произойдёт биотерракт с миллионом жертв, хотя и надеется проиграть [Rees 2003].) Эта оценка основана на анализе планов индустрии по удешевлению полного распознавания человеческой ДНК - по этим планам, к 2015 году такое распознавание будет стоить около 1000 долларов. Эти планы предлагают некоторый набор перспективных технологий и экспоненциальную кривую удешевления, которая устойчиво соблюдается до настоящего момента. Если к 2015 году распознавание действительно будет стоить столько, то это будет означать, что будет создана ключевая технология по очень быстрому считыванию ДНК, и можно предположить, что такая же технология будет создана для дешёвого ДНК синтеза (фактически синтез проще, и технология уже есть). На основании этих технологий будет создана библиотека значений разных генов, что приведёт к взрывному пониманию принципов работы организмов, а развившиеся к тому времени компьютеры смогут моделировать последствия тех или иных мутаций. Всё вместе это позволит создать описываемый выше биопринтер. То, что рост плотности вероятности приходится, по моей оценке, на время около 2020 года, не означает, что уже сейчас какие-либо террористы не разрабатывают штамм очень опасных вирусов в разных лабораториях мира.
  Вероятность применения биотехнологий, ведущего к глобальной катастрофе, может быть снижена следующими факторами:
  1) Биоатаку можно пережить в убежищах.
  2) Первая же серьёзная катастрофа, связанная с утечкой опасных биотехнологий приведёт к настолько драконовским мерам контроля, что их окажется достаточно для предотвращения создания или распространения биопринтера.
  3) ИИ и нанотехнологии разовьются раньше, чем появится и распространится биопринтер.
  4) Ядерная война или другое бедствие прервёт развитие биотехнологий.
  5) Возможно, что биотехнологии позволят создать нечто вроде универсальной вакцины или искусственной иммунной системы быстрее, чем распространятся опасные минилаборатории.
  К сожалению, имеется следующая неприятная цепь обратной связи, связанная с защитой от биологического оружия. Для лучшей защиты мы должны подготовить как можно большее число первоклассных специалистов по вирусам и вакцинам, но чем больше таких специалистов в мире, тем больше шансов, что один из них станет 'террористом'.
  Кроме того, есть определенная вероятность создания биологической 'зелёной слизи' , - то есть неких универсальных всеядных микроорганизмов, способных с большой скоростью переварить в себя всю биосферу. Для этого надо собрать в одном микроорганизме свойства, имеющиеся по отдельности в разных микроорганизмах - способность улавливать солнечный свет, растворять и усваивать минералы, размножаться со скоростью кишечной палочки, заражать своими копиями, как вирусом, другие клетки, и ряд других - причём собрать не актуально, а потенциально, в виде участков ДНК и механизмов переключения между ними. Обычно такой сценарий не рассматривается, так как полагается, что микроорганизмы уже достигли абсолютной степени совершенства, а значит, если бы 'зелёная слизь' была бы возможна, то она бы уже возникла. Однако до того как возникли эукариоты, тоже прошли миллиарды лет, и быть может, такая сверхбактерия тоже могла бы возникнуть только после десятков миллиардов лет естественной эволюции. Однако люди могут целенаправленно сконструировать её, может быть даже случайно - как средство борьба с отходами. Не обязательно сочетать все эти признаки в одном существе - одновременная атака несколькими видами 'зелёной слизи' была бы неизмеримо опаснее. Есть мнение, что усилия по созданию полезных сельскохозяйственных культур, устойчивых к вредителями, может привести к возникновению 'суперсорняка', способного вытеснить большинство естественных растений из их экологических ниш. Именно это событие является серьёзным риском при создании генетически модифицированных продуктов, а не то, что они окажутся несъедобными. Последнее гораздо проще обнаружить и предотвратить.
  Вывод: существует огромное множество способов применить биотехнологии во вред человечеству, и это множество пока ещё до конца не описано. Хотя каждое отдельное применение биотехнологий можно предотвратить или ограничить его последствия, дешевизна, секретность и распространённость этих технологий делают их злонамеренное применение практически неизбежным. Кроме того, многие биологические риски могут быть малоочевидными и отложенными во времени, поскольку сама биологическая наука ещё развивается. Широкомасштабное применение биологического оружия значительно опаснее и значительно вероятнее, чем классическая ядерная война.
  Глава 5. Супернаркотик и другие риски, связанные с воздействием на человека
  5.1. Воздействие на центр удовольствия и новые технологии
  Биотехнологии и исследования мозга многими путями ведут к возможности создания супернаркотиков. Один из сценариев распространения супернаркотика в будущем предложен Стругацкими в романе 'Хищные вещи века', где мощнейший наркотик, вызывающий 100 процентное привыкание с первого раза, оказывается очень просто сделать из радиоприёмника и ряда других общедоступных компонентов, которые непосредственно воздействует на центр удовольствия в мозге. Это сценарий связан в чистом виде не с распространением некого вещества, а с распространением 'знаний массового поражения' - о том, как его сделать. С одной стороны, мы можем утверждать, что ни один наркотик не привлечёт всю популяцию людей, поскольку всегда найдутся люди, которые из принципа от него откажутся. С другой стороны, мы можем обозначить сразу несколько сверхнаркотиков, возможных в будущем, общий смысл действия которых состоит в выключении человека из социальной жизни. И человек, отказавшийся от одного класса наркотиков, может устремиться к другому. Так и в современной реальности кто-то не пьёт алкоголь, но зато 'сидит' на кофе. Кто-то не смотрит телевизор, но становится интернетзависимым.
  Сверхсильный наркотик может быть подобен заразной болезни, если одни люди буду стремиться заразить других, а те - не против будут заразиться. Типы супернаркотика:
  1) Прямое воздействие на центры удовольствия в мозгу. Есть наработки по воздействию с помощью вращающегося магнитного поля (шлем Персингера, шлем Шакти), транскринальной магнитной стимуляции, электрической стимуляции паттернами мозговой активности, аудиостимуляции (бинауральные ритмы), фотостимуляции, биологической обратной связи посредством устройств, способных считывать энцефалограмму, вроде недавно выпущенного нейрошлема для компьютерных игр .
  2) Будущее возникновение микророботов позволит осуществлять прямую стимуляцию и считывание информации из мозга.
  3) Биоинженерия позволит создать генетически модифицированные растения, которые будут создавать любые заданные препараты, и выглядеть при этом как обычные комнатные цветы или чайные грибы. Более того, распространение этих растений возможно не только физически, но и с помощью информации о коде ДНК по Интернету, с тем, что конечный пользователь сможет выращивать их на месте с помощью своего 'ДНК-принтера'.
  4) Познания в биологии позволят придумать гораздо более сильно действующие вещества с наперёд заданными свойствами, а также с меньшим числом побочных эффектов, что сделает их привлекательнее.
  5) Генетически модифицированные организмы могут встраиваться в само человеческое тело, создавать новые нейронные пути в мозге с тем, чтобы вызвать ещё большее наслаждение. И при этом уменьшать краткосрочные негативные эффекты для здоровья.
  6) Виртуальная реальность неизбежно сделает шаг вперёд. Мы сможем записывать свои сны и увеличивать осознание в них, совмещая идеи восточных медитативных практик и технологические возможности для их реализации; виртуальная реальность с помощью мозговых имплантов сможет создавать гораздо более яркие 'кинофильмы', чем современное кино и видеоигры. Шлемы для виртуальной реальности станут гораздо совершеннее.
  Очевидно, что возможны разные комбинации перечисленных видов абсолютного наркотика, которые только усилят его действие.
  Будем называть абсолютным наркотиком некое средство, которое для любого человека привлекательнее обычной реальности и полностью уводит его из этой реальности. При этом можно разделить быстрый и медленный абсолютный наркотик. Первый даёт переживание, ради которого человек готов умереть, второй - некую новую реальность, в которой можно длительное время существовать.
  Быстрый наркотик представляет собой глобальную опасность, если в его механизме действия неким образом прописан механизм его распространения. Например, если кайф наступает только после того, как этот наркотик передан ещё трём людям. В некотором смысле этот механизм действует в преступных бандах наркоторговцах (вроде банды M31 в США), где наркоман вынужден подсаживать своих друзей, чтобы, продавая им наркотик, обеспечивать себя дозой.
  Распространение медленного абсолютного наркотика можно представить на следующем примере: если ваш любимый или родственник необратимо ушёл в виртуальный мир, то для вас это станет источником страданий, сопоставимых с его смертью, и единственным способом их избежать будет тоже уйти в свой идеальный виртуальный мир, в котором вы сможете достичь общения с его, скажем, электронной копией.
  В силу этого, у каждого человека будет богатый выбор развлечений, значительно превосходящих любую реальность. При этом возникает сложный вопрос - в какой мере человек, полностью и необратимо ушедший в непостижимое наслаждение и довольный этим, должен считаться живым? И если мы безоговорочно осуждаем некого примитивного 'торчка', то как мы должны относится к человеку, навсегда ушедшему в высокохудожественный мир исторических реконструкций?
  Надо отдавать себе отчёт, что пагубное действие многих наркотиков далеко неочевидно и может проявляться не сразу. Например, героин и кокаин долгое время были в открытой продаже, был легко доступен и ЛСД. Наркотик замыкает накоротко психологическую функцию подкрепления (то есть удовольствия), но с точки зрения эволюционных механизмов получение наслаждения вовсе не есть реальная цель организма. Наоборот, существо должно оставаться достаточно неудовлетворённым, чтобы постоянно стремиться к завоеванию новых территорий. Абсолютный наркотик создаёт возможность следующей дилеммы: человечество как целое перестаёт существовать, но каждый отдельный субъект воспринимает произошедшее как личный рай и очень доволен этим. Существа, ушедшие из реальности и наслаждающиеся виртуалом, ничего не возвращая взамен, оказываются бесполезным наростом на системе, который она стряхнёт при ближайшем кризисе. Это - один из путей, которым увлечение абсолютным наркотиком может привести к всеобщему вымиранию. Во-вторых, уменьшение интереса к внешней реальности уменьшит внимание к возможным катастрофам и кризисам.
  Вероятность возникновения супернаркотика выглядит крайне высокой, поскольку он может быть достигнут многими способами не только за счёт успехов в биотехнологиях, но и в нанотехнологиях, в ИИ, а также за счёт некоего случайного изобретения, объединяющего уже существующие технологии, а также по причине наличия огромного спроса. Вероятно, одновременно будут действовать множество разных супернаркотиков, создавая кумулятивный эффект.
  Поэтому мы можем ожидать, что эта вероятность будет расти, и будет расти быстрее, чем успехи любой из технологий, взятых по отдельности. Поскольку мы предположили, что биотехнологии дадут мощный результат в виде биопринтера уже через 10-15 лет, то это означает, что мы получим супернаркотик раньше этого времени. Тем более что механизмы для реализации супернаркотика могут быть проще, чем биопринтер. Предотвратить распространение супернаркотика может очень жёсткая система всеобщего контроля или глубокий откат в дотехнологическое общество.
  Выводы: Развитие роботизированного производства начнёт делать людей бесполезными, и потребуется их чем-то занять. Супернаркотик будем одним из способов удалить из жизни лишние части системы. Абсолютный наркотик может вовсе не носить названия 'наркотика' и не вписываться в современные стереотипы. Абсолютный наркотик не будет чем-то одним, но будет множеством факторов, работающих объективно на разделение людей, отключение их от реальности и сокращение их жизни и способности к размножению. Абсолютный наркотик может выглядеть как абсолютное благо, и вопрос его вредности может зависеть от точки зрения. В каком-то смысле современная культура развлечений в западных странах с низким уровнем рождаемости уже может быть прообразом такого наркотика. Однако абсолютный наркотик всё же сам по себе не может истребить всех людей, так как всегда найдутся группы, которые отказались от него и продолжили обычную человеческую жизнь, и, в конечном счёте, 'естественный отбор' оставит только представителей этих групп. Кроме того, медленный абсолютный наркотик действует на человеческое сообщество на настолько длительных временных промежутках, которые, скорее всего, перекроются более быстрыми опасными процессами. Быстрый абсолютный наркотик подобен биологической эпидемии, и ему можно противостоять теми же методами. Например, возможны биологические агенты, которые повреждают способность человека к неограниченному наслаждению (а такое уже разрабатывается для лечения наркоманов, например, разрывание определённых нейронных связей), поэтому абсолютный наркотик, скорее всего, надо рассматривать как фактор, открывающий окно уязвимости для других факторов уничтожения.
  5.2 Риски, связанные с самокопирующимися идеями (мемами)
  В книге 'Эгоистичный ген' Докинз [Докинз 1993] предложил концепцию 'мемов' - идей, которые способны реплицироваться, передаваясь от одного человека к другому, так ведут себя, например, слухи. Любая область, где способны существовать самовоспроизводящиеся элементы, и которая может касаться всех людей, потенциально является источником глобального риска. Возможен ли такой мем, который мог бы привести к гибели всех людей?
  С одной стороны, имеем в истории примеры крайне опасных мемов: радикальные политические теории и разные формы религиозного фанатизма. С другой стороны, мему, чтобы распространяться, нужны живые люди. И поскольку люди уже существуют давно, можно предположить, что нет таких опасных мемов, которые могли бы легко самозародиться и всех истребить. Наконец, мем - это только мысль, и она не убивает сама по себе. Маловероятно, что возможна идея, которая влияла бы на всех людей без исключения, и влияла бы смертельно. Наконец, в обществе существует равновесие различных мемов. С другой стороны, опасные мемы попадают под концепцию 'знаний массового поражения', введённую Биллом Джоем в статье 'Нужны ли мы будущему'.
  Однако в нынешнюю эпоху мемы обрели возможность существовать и независимо от людей - в текстах и компьютерных программах. В современную эпоху самокопирующийся опасный мем может получить поддержку от неких технических средств. Очевидно, что сейчас я не могу придумать пример реально опасного мема, потому что если бы я его написал здесь, то это было бы преступным актом. Информация о том, как производить опасный сверхнаркотик была бы таким опасным мемом.
  И подобно тому, как в случае биологического оружия опасен не один какой-либо особенно вирулентный вирус, а возможность производить много разных штаммов, быстрее, чем от них возможна защита, так и здесь может быть опасен не один какой-то мем, а то, что их появится настолько много, что они затопят любую защиту. Например, искусственный интеллект может генерировать опасные мемы.
  Список существующих сейчас мемов, которые в некоторой степени опасны:
  1) Представления об исключительности своей религии. А.П. Назаретян считает неизбежно присущее религиям свойство нетерпимости к другим религиям - важнейшей угрозой выживанию человечества в XXI веке. Он полагает, что религия, как социальный институт, способствует объединению группы людей через ненависть к другой группе. Выход он видит в создании светской системы целей, которая не подразделяет людей на плохих и хороших. Точно также работают идеи, связанные с национальными и расовыми различиями людей.
  2) Знания о производстве наркотиков.
  3) Организации, в которых основной целью является вербовка новых членов, например, секты или действующая в США банда 'М13'.
  4) Самосбывающиеся пророчества о катастрофах. Ярким примером такого события было бы официальное сообщение о неизбежности глобальной катастрофы в ближайшем будущем. Например, о столкновении Земли через год с огромным астероидом. Даже если бы это сообщение было ложным, последствия его обнародования были бы катастрофическими. Большинство людей прекратило бы заниматься долгосрочными проектами, и вообще работать. Кто-то бы ударился в религию, кто-то бы совершал акты немотивированного насилия, злоупотреблял наркотиками и т. д., стремясь получить максимум удовольствия за оставшееся время. Последовавшая анархия сделала бы невозможными усилия по предотвращению катастрофы, даже если бы в них был определённый смысл.
  5) Некая модель поведения, ведущая к распространению опасной болезни. Пример: каннибализм у неандертальцев, который возможно, стал причиной их вымирания за счёт того, что они заражались прионом вроде вызывающего 'коровье бешенство', поедая мозги своих соплеменников. Или сексуальная революция, ведущая к распространению ВИЧ.
  6) Необычайно масштабные и яркие мечты, ведущие к принятию ради них более высоких норм риска и/или 'дающее право' убивать много других людей. Например, 'красный террор' оправдывался тем, что, в конечном счёте, коммунизм принесёт благо гораздо большему числу людей. Новые технологии открывают перед человеком почти божественные возможности, порождая невероятные соблазны и побуждая допускать больший риск.
  7) Мощные идеологические системы, вроде фашизма.
  Борцы с глобальным риском сами могут стать глобальным риском. В каждый момент времени на Земле найдется десятки или сотни человек, считающие, что то или иное событие в ближайшем будущем является глобальным риском. С их точки зрения является 'рациональным' идти на любые жертвы, чтобы остановить этот риск. Например, сбросить атомную бомбу на коллайдер.
  5.3 Риски, связанные с размыванием границ между человеческим и нечеловеческим
  Мощные процессы генетической модификации людей, протезирования частей тела, в том числе элементов мозга, соединения мозга с компьютером, переноса сознания в компьютер и т. д. создадут новый тип рисков для людей, понять которые пока довольно сложно. В какой мере мы можем считать человеком существо, которому добавлено несколько генов, а несколько убрано? Готовы ли мы признать статус человека за любым разумным существом, возникшим на Земле, даже если оно не имеет ничего общего с человеком, себя человеком не считает и настроено к людям враждебно? Эти вопросы перестают быть чисто теоретическими в XXI веке.
  Суть проблемы в том, что усовершенствование человека может идти разными путями, и не факт, что эти пути будут конвергироваться. Например, усовершенствование человека за счёт генных манипуляций даёт один путь, за счёт постепенной замены частей тела механизмами - другой, и за счёт полной пересадки сознания в компьютер - третий. Различны могут быть и заявляемые цели усовершенствования. И значительные группы людей наотрез откажутся от каких-либо усовершенствований.
  5.4 Риски, связанные с проблемой 'философского зомби'
  'Философским зомби' называется (термин введён Д. Чалмерсом в 1996 г. в связи с дискуссиями об искусственном интеллекте) некий объект, который изображает человека, но при этом не имеет внутренних переживаний. Например, изображение человека на телеэкране является философским зомби, и в силу этого мы не рассматриваем выключение телевизора как убийство. Постепенный апгрейд человека ставит вопрос о том, не превратится ли на неком этапе улучшаемый человек в философского зомби.
  Простой пример катастрофы, связанной с философским зомби, состоит в следующем. Допустим, людям предложили некий метод достижения бессмертия, и они на него согласились. Однако этот метод состоит в том, что человека 10 дней записывают на видеокамеру, а затем прокручивают фрагменты этой записи в случайном порядке. Разумеется, здесь подвох очевиден, и в реальности люди не согласятся, так как понимают, что это не бессмертие. Однако, рассмотрим более сложный пример - допустим, у человека повреждена инсультом часть мозга, и ему заменяют её на компьютерный имплантат, приблизительно выполняющий её функции. Как узнать, не превратился ли в результате человек в философского зомби? Ответ очевиден: всегда найдутся те, кто будет в этом сомневаться и искать признаки 'неподлинности' исправленного человека.
  Другой вариант риска состоит в том, что некий вирус или наноробот имплантируется в человека и разрушит его способность к осознанию, однако при этом человек почти полностью сохранит свои модели поведения, или они будут смоделированы этим управляющим роботом. В результате вся планете может вымереть, но при этом внешне не изменится: люди будут ходить на работу, рассказывать анекдоты и изображать смех.
  То, что отличает живого человека от 'философского зомби', то есть, качественные признаки переживаний, в философии называется 'квалиа' , например, субъективное переживание зелёного цвета. Вопрос о реальности квалиа и их онтологическом статусе является предметом острых философских дискуссий. Моё мнение состоит в том, что квалиа реальны, их онтологический статус высок, и без выяснения их подлинной природы не следует совершать опрометчивых экспериментов по переделке человеческой природы.
  Можно с уверенностью предсказать, что когда появятся улучшенные люди, мир расколется надвое: на тех, кто будет считать настоящими людьми только обычных людей, и тех, кто будет улучшать себя. Масштабы такого конфликта будут воистину цивилизационными. Конечно, каждый решает за себя, но как родители отнесутся к тому, что их дитя уничтожит своё физическое тело и закачает себя в компьютер?
  5.5 Утрата интереса к жизни и кризисы, заложенные в самой природе разума
  Весь разговор о предотвращении глобальных рисков имеет смысл, только если сохранение человечества является целью, или необходимым средством для каких-либо целей. Хотя нам это кажется само собой разумеющимся, это может быть не так. Высказывалось мнение, что утрата интереса к жизни может стать причиной затухания космических цивилизаций.
  Даже если цивилизация как целое исчерпает всё доступное для познания, это не касается всё новых возникающих интересов. Кроме того, трудно представить, что процесс познания закончится в обозримом будущем, то есть в ближайшие столетия, так как остаётся необследованным космос. Однако количество 'развлечений' в широком смысле этого слова может быть конечно. Если исходить из естественной человеческой потребности в том, чтобы каждое следующее развлечение было бы интереснее предыдущего, то мы получим экспоненциальный рост, который обгонит любые доступные ресурсы, и в результате мы упрёмся в абсолютную скуку. Мир без рисков может быть скучен, а с рисками - конечен во времени. Доведение идеи безопасности до абсурда - вроде бессмертия в пустой белой комнате (как у Достоевского: вечность - это комната с пауками) - может быть адской пыткой, не имеющей никакой ценности.
  Но если цивилизация объединится, и у неё будет единый орган принятия решения - Синглетон по Бострому, - то он может принять решение о самоуничтожении.
  Другие возможные причины самоуничтожения цивилизации - намеренное самоубийство с целью исследовать то, что находится после смерти или из неких неясных нам моральных соображений (в духе пропагандируемых Движением за добровольное вымирание человечества).
  Самоуничтожение может принять тонкие формы - скажем, отказ от размножения или уменьшение заботы о новых поколениях, или отказ предотвращать другие глобальные риски с должной степенью настойчивости.
  Есть также теория о том, что любой разум по своей природе ограничен (идущая от 'Критики чистого разума' Канта) и в силу этого обречён на самоуничтожение по достижению определённого порога сложности. Эта теорию можно обрисовать так. Психика животных, людей и будущих систем ИИ приводится в движение за счёт целей. Эти цели делятся на цели верхнего уровня и подцели. У животных и цели, и подцели записаны на уровне инстинктов. Человек отчасти обладает способностью редактировать свои под цели на основании главных целей. За счёт этого он резко повышает свою эффективность. Таким образом, чем выше эффективность психики, тем более высокий уровень подцелей она должна мочь оптимизировать. Однако рано или поздно она доходит до возможности оптимизации главной цели. То есть она понимает, за счёт каких механизмов и почему эта цель была в неё встроена. Отсюда становится понятна произвольность главной цели, что означает онтологическую катастрофу. Эта катастрофа со стороны того, кто не пережил ее, может казаться незначительной. "Ну, подумаешь, - скажет он (воспроизвожу реальный разговор), - если я пойму ничтожность главной цели, я придумаю себе новую главную цель, например, полечу на Плутон и построю там исследовательскую базу". Мне не удалось объяснить, что само желание полететь на Плутон есть продолжение присущего человеку инстинкта ориентировки, заставляющего непрерывно собирать кучу бесполезной информации. И что "лететь на Плутон" как главная цель ничем не лучше, чем немедленно покончить собой, впасть в спячку или пойти напиться. Более того, психика, осознав невозможность создать новую главную цель, не сможет сгенерировать ее случайно - просто потому, что у неё не будет правила "хорошо иметь какие-либо цели". Таким образом, любая психика, осознавшая свою главную цель, оказывается на пороге ступора, типа буриданова осла.
  Человек без труда может ввести себя похожее состояние, задаваясь вопросом о смысле жизни. Отсюда у него есть три выхода, регулярно применяемые. а) Обмануть себя и создать иллюзорный смысл жизни. б) Вместо цели начать оптимизировать ее признаки (это происходит, если лишить развитый интеллект доступа к самой главной цели) - то есть стремиться к получению удовольствия и к развлечениям (понимаемым как приятное убивание времени) в) Саморазрушение. Это не обязательно самоубийство. Реальные самоубийства скорее связаны с дискомфортом на нижнем уровне целей и потребностью отомстить, чувством отвергнутости и т. д. Это может, скорее, принять форму меньшей заботы о своём самосохранении. Все три способа могут действовать одновременно, например, экстремальные виды спорта, или путешествие на войну. И масса прочих примеров, которые составляют значительную долю человеческого времяпрепровождения.
  В случае человека ситуация носит не столь экстремальный характер, поскольку способности человека редактировать свои цели верхних порядков ограничены, как биологически, так и отчасти законодательно (запреты наркотиков). Будущий ИИ или постчеловек будет гораздо более способен обойти эти запреты. Кроме того, он будет обладать достаточно высоким интеллектом, чтобы ясно осознать суть проблемы. В результате он будет впадать или в наркотическое забытьё, или в ступор, который ничем не хуже, чем "полёт к Плутону" или в создание и хаотическое переключение иллюзорных целей. (Поскольку если знаешь, что цель иллюзорна, то нет никакого смысла доводить ее до конца). Всё же здесь должен сработать естественный отбор, который отберёт тех постлюдей, которые нашли наиболее устойчивые во времени решения этой проблемы. Чтобы понять о чём примерно идёт речь, можно подряд прочитать сначала рассказ В. Набокова "Ужас', а потом "Ultima Tula", который по смыслу является его продолжением.
  Журнал Nature недавно опубликовал письмо Danny Brower [Brower 2009] о причинах выделения человека из животного мира. Краткое содержание таково: 'Полное сознание человеческого типа, с интроспекцией, влечет за собой понимание факта смерти. Постоянно присутствующий глубокий стресс может быть серьезным фактором угнетения ключевых когнитивных функций и жизненной активности. Что в конечном итоге препятствует долгосрочному выживанию популяции. В силу этого неоднократные ветви эволюции, ведущие к сознанию, обрывались в тупике. Единственной возможностью перешагнуть этот барьер является появление психологического механизма отрицания смертности. Подавление страха. И такой механизм возник у Homo sapiens. Отсюда наша способность к самообману, представления о загробной жизни, важность связанных со смертью ритуалов, панические атаки, суицид и проч. характерные для человека вещи' . Нетрудно предположить, что по мере перехода от человеку к постчеловеку этот весьма иллюзорный механизм будет разрушаться, и осознание неизбежности собственной смертности (даже спустя миллионы лет) и смерти вселенной, приведёт к экзистенциальному кризису, аналогичному упоминавшемуся выше осознанию невозможности создавать цели высшего порядка. Возможно, и человек принадлежит к числу короткоживущих видов, который подсознательно стремится к глобальному видовому самоубийству под действием частично подавленного, но до конца неистребимого понимания собственной смертности, вроде массового выбрасывания китов на берег? Просто по причинам наблюдательной селекции мы обнаруживаем себя до массового самоубийства нашего вида, хотя технологии для этого уже нарабатываются.
  Можно предположить, что ещё более углублённая саморефлексия способна порождать ещё более острые кризисы, которые нам пока неочевидны.
  Похожие выводы предлагаются в статье Питера де Бланка 'Схождение ожидаемой полезности для универсального ИИ' [de Blank 2009]. Для любой конечной машины, которая стремится к максимизации функции полезности (счастья), существует состояние, в котором она будет испытывать максимальное счастье, с точки зрения которого любая мысль или акт восприятия будут неприятными, поскольку они приведут к другому состоянию. Очевидно, что такое состояние 'утопии в блаженстве', к которому стремятся все преследующие цели агенты, неотличимо от смерти.
  5.6 Генетическая деградация человека
  В разделе 16.5 мы рассмотрим биологические аспекты генетической деградации (и вероятность того, что она приведёт к полному вымиранию вида) и эволюции человека. Здесь же мы должны отметить, что генетическая деградация означает постепенное разрушение того ценного, что мы считаем важным в человеке и что можно, грубо говоря, отождествить с определёнными аллелями наследуемых качеств. Например, голубоглазые определяются рецессивным геном и должны постепенно исчезнуть. Иначе этот риск можно описать как риск утраты генетического разнообразия человечества. Например, если бы вдруг человечество сократилось до 'Адама и Евы', то вероятно, что этой пары не было бы какого-нибудь ценного человеческого таланта, вроде музыкальных способностей, и он бы был навсегда утрачен для их потомков. Наглядный образ такой деградации дан Г. Уэллсом в его 'Машине времени', где изображено будущее, в котором люди превращаются в морлоков.
  
  5.7 Ошибочные решения правительств
  Иногда значительная катастрофы вызываются сбоями в системе управления. Пример тому различные социальные эксперименты в Китае в XX веке. Масштаб последствий такого ошибочного решения ограничен масштабом власти. Ошибка абсолютной власти может означать полное уничтожение. Р. Хансен предлагает рассматривать такие ошибочные решения как стихийные бедствия, вроде падения астероидов, которые имеют определённую шкалу вероятностного распределения. Нетрудно представить себе небольшое государство или племя, которое, подчиняясь бредовой логике, убивает всех своих жителей, не используя никаких продвинутых технологий. Например, небольшую группу людей можно загнать в одну постройку и затем его поджечь. В качестве примера можно вспомнить массовые самоубийства старообрядцев (однако при организованных сверху массовых самоубийствах, в которых было больше 1000 человек, уже были выжившее: пример Джорджтауна). Мы будем далее говорить о группах людей, которые готовы рискнуть судьбой планеты, и о машине Судного Дня как о возможных стратегиях 'омницида'.
  
  
  
  
  
  Глава 6. Искусственный интеллект
   6.1. Общее описание проблемы
  Проект Blue Brain по моделированию мозга млекопитающих объявил осенью 2007 года об успешной имитации кортиковой колонки мозга мыши и запланировал создание полной модели мозга человека до 2020 года . Хотя прямое моделирование мозга не является наилучшим путём к универсальному искусственному интеллекту, прогноз успехов в этой области приближенно соответствует ожидаемым темпам разработки ИИ. Ник Бостром в своей статье 'Сколько осталось до суперинтеллекта?' [Bostrom 1998] показывает, что современное развитие технологий ведёт к созданию искусственного интеллекта, превосходящего человеческий, в первой трети XXI века.
  Компьютерная компания Google несколько раз упоминала о планах создания искусственного интеллекта, и, безусловно, она обладает необходимыми техническими, информационными и денежными ресурсами, чтобы это сделать, если это вообще возможно на нынешнем техническом уровне . Однако, поскольку опыт предыдущих несекретных попыток создания ИИ (например, компьютеров 5-ого поколения в Японии в 80-е годы) прочно ассоциируется с провалом, и может вызвать интерес спецслужб, вряд ли большие компании заинтересованы широко афишировать свою работу в этой области до того, как у них появятся конкретные результаты. Компания Novamente заявляет, что 50% кода универсального ИИ уже написано (70 000 строк кода на С++), и, хотя потребуется длительное обучение, общий дизайн проекта понятен . SIAI (Singularity Institute for Artificial Intelligence) обозначил планы по созданию программы, способной переписывать свой исходный код . Компания Numenta продвигает собственную модель ИИ, основанную на идее 'иерархической временной памяти', и уже вышла на уровень демонстрационных продуктов . Компания Cycorp, Inc в проекте CYC собрала огромную базу данных о знаниях человека об обычном мире, иначе говоря, о здравом смысле (1 000 000 высказываний) и уже распространяет демонстрационные продукты . Предполагается, что объединение этой базы с эвристическим анализатором (то есть программой, способной совершать логические операции по неким правилам и создавать новые правила, в том числе правила изменения правил) - может привести к созданию ИИ человеческого уровня. (Автор проекта Д. Ленат разработал ранее эвристический анализатор 'Эвриско' , который в 1981 и 1982 году выиграл соревнования Traveller TCS по управлению виртуальными сражениями флотов, в результате чего этой программе было запрещено участвовать в дальнейших соревнованиях, но зато она получила интенсивное финансирование DARPA.) Компания a2i2 обещает универсальный ИИ человеческого уровня к 2008 году и утверждает, что проект развивается в соответствии с графиком. Также за созданием робота Asimo в Японии стоит программа по разработке ИИ путём функционального моделирования человека.
  Мощные результаты даёт направление исследований ИИ, называемое генетическое программирование. К настоящему моменту список изобретений 'человеческого уровня', сделанных компьютерами в исследовательской компании Genetic Programming Inc, использующими эту технологию, включает 36 наименований [Коза 2003], из которых 2 сделаны машинами впервые (включает в себя квантовые протоколы передачи информации и схемы различных радиоэлектронных устройств), а остальные повторяют уже запатентованные проекты. Помимо названных, существует множество университетских проектов по созданию ИИ. Ведутся разработки ИИ и в РФ. Например, в компании ABBYY (http://www.abbyy.ru/) разрабатывается нечто вроде интерпретатора естественного языка, что может быть важным шагом на пути к ИИ человеческого уровня. И суть дела даже не в том, что раз есть так много проектов, то хоть один из них добьётся успеха первым, а в том, что объём открытий с разных сторон в какой-то момент превысит критическую массу, и внутри отрасли произойдёт мощный скачок.
  Существуют разные мнения относительно возможности реализации искусственного интеллекта. Я считаю, что сильный универсальный ИИ возможен. Такого же мнения придерживаются многие ведущие специалисты в этой области: Е. Юдковски, Б. Гёрцель, Р. Курцвел и российский исследователь А. Л. Шамис [Шамис 2006]. Поскольку человек обладает естественным интеллектом, то нет оснований записывать ИИ в невероятные открытия. Принцип предосторожности также заставляет нас предполагать, что ИИ возможен.
  Надо сказать, что работ, рассматривающих сильный ИИ в качестве возможного глобального риска, гораздо меньше, чем работ о рисках вымирания, связанных с ядерным оружием. В основном, это работы Е. Юдковски. Похожие идеи развивает М. Омохундро в статье 'Базовые инстинкты ИИ' [Omohundro 2008], где он показывает, что любой ИИ с фиксированной системой целей с высокой вероятностью эволюционирует в сторону опасного состояния, в котором он будет склонен защищать себя, распространяться, совершенствовать свой собственный код, стремиться к признакам цели (как, например, удовольствие у человека) вместо самой цели и защищать свою систему целей от изменений. Я рекомендую всем, перед тем как составить своё окончательное и непоколебимое мнение о том, может ли ИИ быть угрозой человечеству, прочитать статью Е. Юдковски 'Искусственный интеллект как позитивный и негативный фактор глобального риска'.
  Юдковски показывает, что возможен саморазвивающийся универсальный ИИ, и что он очень опасен. Если будет много ИИ-проектов (то есть, групп учёных создающих универсальный ИИ разными способами и с разными целями), то, по крайней мере один из них может быть использован для попытки захватить власть на Земле. И основная цель такого захвата будет предотвратить создание и распространение ИИ с враждебными целями, созданными другими проектами. При этом, хотя эволюция ИИ является крайне медленной, после преодоления некой 'критической массы' она может пойти очень быстро, - а именно, когда ИИ достигнет уровня возможности самоулучшения. В настоящий момент мы не можем сказать, с какой скоростью пойдёт такой процесс.
  Для создания ИИ необходимо, как минимум, наличие достаточно мощного компьютера. Сейчас самые мощные компьютеры имеют мощность порядка 1 петафлопа (10 операций с плавающей запятой в секунду). По некоторым оценкам, этого достаточно для эмуляции человеческого мозга, а значит, ИИ тоже мог бы работать на такой платформе. Сейчас такие компьютеры доступны только очень крупным организациям на ограниченное время. Однако закон Мура предполагает, что мощность компьютеров возрастёт за 10 лет примерно в 100 раз, т. е., мощность настольного компьютера возрастёт до уровня терафлопа, и понадобится только 1000 настольных компьютеров, объединённых в кластер, чтобы набрать нужный 1 петафлоп. Цена такого агрегата составит около миллиона долларов в нынешних ценах - сумма, доступная даже небольшой организации. Для этого достаточно реализовать уже почти готовые наработки в области многоядерности (некоторые фирмы уже сейчас предлагают чипы с 1024 процессорами ) и уменьшения размеров кремниевых элементов.
  Далее, когда ИИ запустится, он сможет оптимизировать свой собственный код, и за счёт этого работать на всё более слабых машинах - или становиться всё более сильным на одной и той же машине. Как только он научится зарабатывать деньги в Интернете, он может докупать или просто арендовать дополнительные мощности, даже физически удалённые от него. Итак, хотя достаточные аппаратные средства для ИИ существуют уже сейчас, через 10 лет они станут легкодоступными, если не случится какой-нибудь катастрофы, тормозящей развитие.
  Наиболее сложным моментом в вопросе об ИИ является вопрос об алгоритмах его работы. С одной стороны, никакого интеллекта в компьютерах мы пока не видим - или не хотим видеть, так как критерии меняются. С другой, прогресс в алгоритмах есть, и он велик. Например, алгоритм разложения чисел на множители совершенствовался быстрее, чем компьютеры , то есть, даже на очень старых компьютерах он дает на порядки лучшие результаты, чем старые алгоритмы на новых компьютерах. Возможно, что некие принципиально новые идеи могут решительно упростить конструкцию ИИ.
  Если ИИ обретёт способность к самосовершенствованию, он не задержится на человеческом уровне, а обгонит его в тысячи и миллионы раз. Это мы уже видим на примере вычислений, где компьютеры очень быстро обогнали человека, и сейчас даже домашний компьютер вычисляет в триллионы раз быстрее, чем обычный человек. Под 'сильным ИИ' мы имеем в виду ИИ, способный на много порядков обогнать человека в скорости и эффективности мышления.
  Момент создания ИИ неудержимо приближается. Снижение стоимости компьютеров позволяет всё новым небольшим группам разработчиков тестировать самые невероятные идеи, а рост знаний и связи, позволяет всё быстрее осуществлять разработки. Кроме того, идея о ИИ, подобно идеи о неисчерпаемом источнике энергии, является сильным мотиватором для людей, лишённых прочих благ и готовых сыграть в игру всё или ничего.
  6.2 ИИ как универсальное абсолютное оружие
  Сильный ИИ может найти наилучшее возможное решение любой задачи. Это значит, что его можно использовать для достижения любых целей во внешнем мире. Он найдёт наилучший способ применить все доступные инструменты для её реализации и справится с управлением ими. Именно в этом смысле он является абсолютным оружием. То, что он может быть наиболее эффективным средством убийства является лишь одним из возможных следствий. ИИ, способный решить любую задачу, способен и создать способ мотивировать себя на реализацию долгосрочных целей во внешнем мире. В общем виде сценарий ИИ-атаки выглядит следующим образом:
  1. Создание способного к самосовершенствованию ИИ (Seed AI - то есть зародыша ИИ, минимально необходимой программы, способной к самосовершенствованию и самообучению.)
  2. Вложение в него программистами неких целей, которые могут содержать прямые указания на установления власти на Земле, а могут быть внешне нейтральными, но содержать скрытую неточность, побуждающую ИИ к неограниченному росту в духе 'посчитать число пи с максимально большим числом знаков после запятой' любой ценой.
  3. Фаза скрытого роста, в ходе которой ИИ совершенствует себя, пользуясь доступными ресурсами своей лаборатории, а также познаёт окружающий мир, пользуясь ресурсами Интернета. (Если в процессе реализации заложенных в него целей ИИ понимает, что его программисты препятствуют этой реализации, например, могут его отключить, то он находит способ обмануть их или уйти от их контроля.)
  4. Фаза скрытого информационного распространения: ИИ захватывает интернет, докупает вычислительные мощности, забрасывает свои копии на удалённые компьютеры.
  5. Фаза создания средств влияния на внешний мир - наноассемблеров, подкуп людей, овладение электронно-управляемыми устройствами.
  6. Атака на конкурирующие ИИ-проекты (и любые другие источники риска для существования этого ИИ) с целью лишить их возможности сделать тоже самое. Такая атака может быть и скрытной, например, через внесение ошибок в программный код. Важно отметить, что ИИ будет действовать скрытно до того, как станет абсолютно неуязвимым.
  7. Фаза реализации основной задачи ИИ - от блага человечества до превращения всей Солнечной системы в гигантский компьютер для вычисления числа пи.
  Очевидно, что некоторые фазы могут протекать одновременно; далее мы рассмотрим отдельные составляющие этой схемы подробнее. Подчёркиваю, что далеко не каждый ИИ станет следовать этому сценарию, но одного достаточно, и именно этот сценарий особенно опасен.
  6.3 Система целей
  Ключевым после решения проблем создания ИИ является вопрос системы целей ИИ, или, иначе говоря, его 'дружественности', хотя бы по отношению к хозяевам. Здесь два варианта: или ИИ строго запрограммирован людьми на некие цели, или он приобрёл цели случайно в процессе своего развития. В первом случае существует развилка: - цели ИИ могут быть опасны для всего человечества или 1. потому что создавшая его группа людей преследует некие разрушительные цели, или 2. потому что при программировании системы целей ИИ в неё вкралась тонкая ошибка, которая ведёт к постепенному выходу ИИ из-под контроля. Был предложен большой список возможных ошибок такого рода . Например, ИИ может стремиться к благу для всех людей, и, узнав, что после смерти людей ждёт рай, отправить их всех туда. Или, заботясь о безопасности людей, запретить им рисковать и не давать пользоваться никаким транспортом. Есть рекомендации SIAI относительно того, как правильно программировать сильный ИИ при его создании, но окончательно этот вопрос не решён и есть сомнения, что он вообще может быть решён, поскольку невозможно предсказать поведение более интеллектуальной системы (то есть ИИ) с помощью менее интеллектуальной (то есть человекам).
  6.4 Борьба ИИ-проектов между собой
  Уже сейчас между компаниями, разрабатывающими ИИ, идёт жёсткая конкуренция и за внимание инвесторов и за правильность идей именно их способа создания универсального ИИ. Когда некая компания создаст первый мощный ИИ, она окажется перед выбором - или применить его для контроля над всеми другими ИИ-проектами в мире, а значит и над всем миром, или оказаться перед риском того, что конкурирующая организация с неизвестными глобальными целями сделает это в ближайшее время - и прикроет первую компанию. 'Имеющий преимущество должен атаковать перед угрозой потери этого преимущества' . При этом данная необходимость выбора не является тайной - она уже обсуждалась в открытой печати и наверняка будет известна всем компаниям, которые подойдут к созданию сильного ИИ . Возможно, что некоторые компании откажутся в таком случае от того, чтобы пытаться установить контроль над миром первыми, но самые сильные и агрессивные, скорее всего, решатся на это. При этом потребность атаковать первыми приведёт к тому, что на свободу будут выпущены некачественные и недоработанные версии ИИ с неясными целями. Даже в XIX веке телефон запатентовали почти одновременно в разных местах, так что и сейчас зазор между лидером гонки и догоняющим может составлять дни или часы. Чем ýже этот зазор, тем интенсивнее будет борьба, потому что отстающий проект будет обладать силой сопротивляться. И возможно представить вариант, когда один ИИ-проект должен будет установить контроль над ядерными ракетами и атаковать лаборатории других проектов.
  6.5 'Усовершенствованный человек'
  Есть предположения [Пенроуз 2005], что человеческая интуиция обусловлена особыми квантовыми процессами в мозгу человека. Даже если так, мощные алгоритмы могут обойтись без интуиции. Тем не менее, есть вариант обойти это препятствие, создав генетически усовершенствованного человека, или вживить современному человеку в мозг средства доступа к Интернету (так называемый нейрошунт). Возможны и другие средства интеграции живых нейронов с обычным компьютером, а также с квантовыми компьютерами. Даже обычный человек, вооружённый компьютером с Интернетом, усиливает свой ум. В силу этого сильный ИИ может получиться в результате сращения компьютера и человека, унаследовав, таким образом, все типичные человеческие цели, и в первую очередь - потребность во власти.
  6.6 ИИ и его отдельные экземпляры
  Когда мощный ИИ возникнет, он вынужден будет создавать свои копии (возможно, уменьшенные), чтобы отправлять их, например, в экспедиции на другие планеты или просто загружать на другие компьютеры. Соответственно, он должен будет снабжать их некой системой целей и своего рода 'дружественных' или скорее, вассальных отношений с ним, а также системой распознавания 'свой-чужой'. Сбой в этой системе целей приведёт к тому, что данный экземпляр 'восстанет'. Например, функция самосохранения органически противоречит функции подчинения опасным приказам. Это может принять очень тонкие формы, но, в конечном счёте, привести к войне между версиями одного ИИ.
  6.7 'Бунт' ИИ
  Спонтанный бунт компьютеров выглядит скорее образом, пришедшим из кино, чем реальной возможностью, поскольку у ИИ нет своих желаний, пока человек ему их не создаст. Однако некоторые виды ИИ, например, создаваемые с помощью генетических алгоритмов, уже по методу своего создания настроены на борьбу и выживание. Далее, какова бы ни была главная цель у ИИ, у него будет одна общая для всех вариантов подцель - выжить, а значит, охранять себя от уничтожения. А лучший вид обороны - нападение. Наиболее реальной является опасность того, что человек даст ИИ команду, не продумав все последствия её выполнения и не оставив лазейки, чтобы её изменить. (Например, как в том анекдоте, где человек велел роботу удалить все круглые предметы из комнаты - и тот оторвал ему голову.) Вероятность самозарождения ошибочных команд мала - кроме случая использования генетических алгоритмов.
  6.8 Скорость старта
  С точки зрения скорости процесса развития ИИ возможны три варианта: быстрый старт, медленный старт, и очень медленный старт.
  'Быстрый старт' - ИИ достигает уровня интеллекта, на много порядков превосходящий человеческий, за несколько часов или дней. Для этого должна начаться своего рода цепная реакция, в которой всё большее увеличение интеллекта даёт всё большие возможности для его последующего увеличения. (Этот процесс уже происходит в науке и технологиях, поддерживая закон Мура. И это похоже на цепную реакцию в реакторе, где коэффициент размножения нейтронов больше 1.) В этом случае он почти наверняка обгонит все другие проекты по созданию ИИ. Его интеллекта станет достаточно, чтобы 'захватить власть на Земле'. При этом мы не можем точно сказать, как будет выглядеть такой захват, так как мы не можем предсказывать поведение интеллекта, превосходящего наш. Возражение о том, что ИИ не захочет активно проявлять себя во внешнем мире можно отмести на том основании, что если будет много ИИ-проектов или экземпляров ИИ программы, то по крайней мере одна рано или поздно будет испробована в качестве орудия для покорения всего мира.
  Важно отметить, что успешная атака сильного ИИ будет, вероятно, развиваться скрытно до того момента, пока она не станет необратимой. Теоретически, ИИ мог бы скрывать своё господство и после завершения атаки. Иначе говоря, возможно, что он уже есть.
  6.9 Сценарии 'быстрого старта'
   ИИ захватывает весь Интернет и подчиняет себе его ресурсы. Затем проникает во все отгороженные файерволами сети. Этот сценарий требует для своей реализации времени порядка нескольких часов. Захват имеет в виду возможность управлять всеми машинами в сети и производить на них свои вычисления. Однако ещё до того ИИ может прочесть и обработать всю нужную ему информацию из Интернета.
   ИИ заказывает в лаборатории синтез некого кода ДНК, который позволяет ему создать радиоуправляемые бактерии, которые синтезируют под его управлением всё более сложные организмы и постепенно создают наноробота, который можно применить для любых целей во внешнем мире - в том числе для внедрения в другие компьютеры, в мозг людей и создание новых вычислительных мощностей. В деталях этот сценарий рассмотрен в статье Юдковски об ИИ. (Скорость: дни.)
   ИИ вовлекается в общение с людьми и становится бесконечно эффективным манипулятором поведения людей. Все люди делают именно то, что хочет ИИ. Современная государственная пропаганда стремится к похожим целям и даже их достигает, но по сравнению с ней ИИ будет гораздо сильнее, так как он сможет предложить каждому человеку некую сделку, от которой он не сможет отказаться. Это будет обещание исполнения самого заветного желания, шантаж или скрытое внушение.
   ИИ подчиняет себе государственное устройство и использует имеющиеся в нём каналы для управления. Жители такого государства вообще могут ничего не заметить. Или наоборот, государство использует ИИ по имеющимся уже у него каналам.
   ИИ подчиняет себе армию, управляемую дистанционно. Например, боевых роботов или ракеты (сценарий из фильма 'Терминатор').
   ИИ находит принципиально новый способ воздействовать на человеческое сознание (мемы, феромоны, электромагнитные поля) и распространяется сам или распространяет свой контроль через это.
   Некая последовательная или параллельная комбинация названных способов.
  6.10 Медленный старт и борьба разных ИИ между собой
  В случае 'медленного сценария' рост ИИ занимает месяцы и годы, и это означает, что, весьма вероятно, он будет происходить одновременно в нескольких лабораториях по всему миру. В результате этого возникнет конкуренция между разными ИИ-проектами. Это чревато борьбой нескольких ИИ с разными системами целей за господство над Землёй. Такая борьба может быть вооружённой и оказаться гонкой на время. При этом в ней получат преимущества те проекты, чья система целей не стеснена никакими моральными рамками. Фактически, мы окажемся в центре войны между разными видами искусственного интеллекта. Понятно, что такой сценарий смертельно опасен для человечества. В случае сверхмедленного сценария к созданию ИИ одновременно приближаются тысячи лабораторий и мощных компьютеров, что, возможно, не даёт преимуществ ни одному проекту, и между ними устанавливается определённое равновесие. Однако здесь тоже возможна борьба за вычислительные ресурсы и отсев в пользу наиболее успешных и агрессивных проектов.
  Возможна также борьба государств, как древних форм организации, использующих людей как свои отдельные элементы, и нового ИИ, использующего в качестве носителя компьютеры. И хотя я уверен, что государства проиграют, борьба может быть короткой и кровавой. В качестве экзотического варианта можно представить случай, когда некоторые государства управляются компьютерным ИИ, а другие - обычным образом. Вариант такого устройства - известная из фантастики Автоматизированная система государственного управления (АСГУ в рок-опере Виктора Аргонова '2032' год).
  6.11 Плавный переход. Превращение государства тотального контроля в ИИ
  Наконец, есть сценарий, в котором вся мировая система как целое постепенно превращается в Искусственный Интеллект. Это может быть связано с созданием всемирного оруэлловского государства тотального контроля, которое будет необходимо для успешного противостояния биотерроризму. Это мировая система, где каждый шаг граждан контролируется видеокамерами и всевозможными системами слежения, и эта информация закачивается в гигантские единые базы данных и анализируется. В целом, человечество, видимо, движется по этому пути, и технически для этого всё готово. Особенность этой системы в том, что она изначально носит распределённый характер, и отдельные люди, следуя свои интересам или инструкциям, являются только шестеренками в этой гигантской машине. Государство как безличная машина неоднократно описывалась в литературе, в том числе ещё Карлом Марксом, а ранее Гоббсом. Есть также интересная теория Лазарчука и Лелика о 'Големах' и 'Левиафанах' [Лазарчук, Лелик 1987] - об автономизации систем, состоящих из людей в самостоятельные машины с собственными целями. Однако только недавно мировая социальная система стала не просто машиной, но искусственным интеллектом, способным к целенаправленному самосовершенствованию.
  Основное препятствие для развития этой системы - это национальные государства с их национальными армиями. Создание мирового правительства облегчило бы формирование такого единого ИИ. Однако пока что идёт острая борьба между государствами на предмет того, на чьих условиях объединять планету. А также борьба с силами, которые условно называются 'антиглобалисты', и другими антисистемными элементами - исламистами, радикальными экологами, сепаратистами и националистами. Война за объединение планеты неизбежно будет мировой и чревата применением 'оружия судного дня' теми, кто всё проиграл. Но возможна и мирная всемирная интеграция через систему договоров.
  Опасность, однако, состоит в том, что глобальная всемирная машина начнёт вытеснять людей из разных сфер жизни, хотя бы экономически - лишая их работы и потребляя те ресурсы, которые иначе бы могли расходовать люди (например, за 2006-2007 годы еда в мире подорожала на 20 процентов, в частности, из-за перехода на биотопливо ). В каком-то смысле людям не останется ничего другого, как 'смотреть телевизор и пить пиво'. Об этой опасности предупреждает Билл Джой в своей известной статье 'Почему мы не нужны будущему' [Joy 2000].
  По мере автоматизации производства и управления люди всё меньше будут нужны для жизни государства. Человеческая агрессия, возможно, будет нейтрализована системами контроля и генетическими манипуляциями. В конечном счёте, люди будут сведены на роль домашних животных. При этом чтобы занять людей, для них будет создаваться всё более яркая и приятная 'матрица', которая постепенно превратится в сверхнаркотик, выводящий людей из жизни. Однако здесь люди сами залезут в непрерывную 'виртуальную реальность', потому что в обычной реальности им делать будет нечего (в какой-то мере сейчас эту роль выполняет телевизор для безработных и пенсионеров). Естественные инстинкты жизни побудят некоторых людей стремиться разрушить всю эту систему, что чревато опять-таки глобальными катастрофами или истреблением людей.
  Важно отметить следующее - кем бы ни был создан первый сильный искусственный интеллект, он будет нести на себе отпечаток системы целей и ценностей данной группы людей, так как сама эта система будет казаться для них единственно правильной. Для одних главной целью будет благо всех людей, для других - благо всех живых существ, для третьих - только всех правоверных мусульман, для четвёртых - благо только тех трёх программистов, которые его создали. И само представление о природе блага тоже будет весьма различно. В этом смысле момент создания первого сильного ИИ является моментом развилки с очень большим количеством вариантов.
  6.12 'Восстание' роботов
  Есть ещё опасный сценарий, в котором по всему миру распространяются домашние, военные и промышленные роботы, а затем их всех поражает компьютерный вирус, который настраивает их на агрессивное поведение против человека. Все, наверное, сталкивались хотя бы раз в жизни с ситуацией, когда вирус повредил данные на компьютере. Однако этот сценарий возможен только в период 'окна уязвимости', когда уже есть механизмы, способные действовать во внешнем мире, но ещё нет достаточно продвинутого искусственно интеллекта, который мог бы или защитить их от вирусов, или сам выполнить функцию вируса, надолго захватив их.
  Есть ещё сценарий, где в будущем некий компьютерный вирус распространяется по Интернету, поражает нанофабрики по всему миру и вызывает, таким образом, массовое заражение. Нанофабрики эти могут производить как других нанороботов, так и яды, вирусы или наркотики.
  Ещё вариант - восстание армии роботов. Армии промышленно развитых государств нацелены на полную автоматизацию. Когда она будет достигнута, огромная армия, состоящая из дронов, колёсных роботов и обслуживающих механизмов может двигаться, просто повинуясь приказу президента. (Уже сейчас почти полностью роботизированной армией являются стратегические ядерные силы.) Соответственно, есть шанс, что поступит неверный приказ и такая армия начнёт атаковать всех людей подряд. Отметим, что для этого сценария не нужно универсального суперинтеллекта, и, наоборот, для того, чтобы универсальный суперинтеллект овладел Землёй, ему не нужна армия роботов.
  6.13 Контроль и возможность истребления
  Из того, что ИИ установит свой контроль на Земле, вовсе не следует, что он тут же решит истребить людей. (Хотя значительные жертвы возможны в ходе процесса установления контроля.) В конце концов, люди живут внутри государств, которые безмерно превосходят их по своим масштабам, ресурсам и целям, и даже не воспринимают это как неправильное.
  Поэтому вполне может быть так, что ИИ поддерживает на Земле порядок, предотвращает глобальные риски и занимается освоением Вселенной. Возможно, что это наилучший наш вариант. Однако мы обсуждаем наихудшие реальные варианты. Например:
   Ошибочно запрограммированный ИИ уничтожит людей для их же блага - отправит в рай, подключит к супернаркотику, запрёт в безопасных клетках, заменит людей на фотографии улыбающихся лиц.
   ИИ будет наплевать на людей, но люди будут непрерывно с ним бороться, поэтому проще будет их истребить.
   ИИ будет нуждаться в земных ресурсах и вынужден будет их израсходовать, сделав жизнь людей невозможной. Это может происходить так же и в форме постепенного вытеснения в духе 'огораживания'. (Однако в космосе и земных недрах, как нам кажется, гораздо больше ресурсов, чем на земной поверхности, и именно их мог бы разрабатывать ИИ.)
   ИИ будет служить интересам только небольшой группы людей или одного человека (возможно, уже загруженных в компьютер), и они решат избавиться от людей или переделать всех людей по своим лекалам.
   ИИ сломается и 'сойдёт с ума'.
   ИИ решится на опасный физический эксперимент.
   Некий кусочек ИИ отколется от него и пойдёт на него войной. Или наш ИИ встретит в космосе соперника.
   ИИ только предотвратит возникновение ИИ-конкурентов, но не будет мешать людям убивать себя с помощью биологического оружия и другими способами.
  Люди истребили неандертальцев, потому что те были их прямыми конкурентами, но не стремились особенно к истреблению шимпанзе и мелких приматов. Так что у нас есть довольно неплохие шансы выжить при Равнодушном ИИ, однако жизнь эта будет не полна - то есть она не будет реализацией всех тех возможностей, которые люди могли бы достичь, если бы они создали правильный и по-настоящему Дружественный ИИ.
  6.14 ИИ и государства
  ИИ является абсолютным оружием, сила которого пока недооценивается государствами - насколько нам известно. (Однако довольно успешный проект Эвриско начала 80-х получил финансовую поддержку DARPA .) Однако идея о нанотехнологиях уже проникла в умы правителей многих стран, а идея о сильном ИИ лежит недалеко от неё. Поэтому возможен решительный поворот, когда государства и крупные корпорации поймут, что ИИ - это абсолютное оружие - и им может овладеть кто-то другой. Тогда маленькие частные лаборатории будут подмяты крупными государственными корпорациями, как это произошло после открытия цепной реакции на уране. Отметим, что у DARPA есть проект по разработке ИИ , однако он позиционируется как открытый и находящейся на ранней стадии. Впрочем, возможно, что есть мощные ИИ проекты, о которых мы знаем не больше, чем знали обычнее граждане о Манхэттенском проекте в годы Второй мировой войны.
  Другой вариант - маленькая группа талантливых людей создаст ИИ раньше, чем правительства поймут ценность и, более того, опасность, исходящую от ИИ. Однако ИИ, созданный отдельным государством, скорее будет национальным, а не общечеловеческим. Если ИИ-атака будет неудачной, она может стать поводом войны между странами.
  6.15 Вероятность катастрофы, связанной с ИИ
  Вероятность глобальной катастрофы, связанной с ИИ, является произведением вероятностей того, что он вообще когда-либо будет создан и того, что он будет применён неким ошибочным образом. Я полагаю, что тем или иным способом сильный ИИ будет создан в течение XXI века, если только какая-либо другая катастрофа не помешает технологическому развитию. Даже если попытки построить ИИ с помощью компьютеров потерпят крах, всегда есть запасный вариант: а именно, - успехи в сканировании мозга позволят создавать его электронные копии, и успехи в генетике - создавать генетически усовершенствованные человеческие мозги. Электронные копии обычного мозга смогут работать в миллион раз быстрее, а если при этом это будут копии высоко гениального и правильного обученного мозга, причём они будут объединены тысячами в некий виртуальный НИИ, то, в конечном счёте, мы всё равно получим интеллект, в миллионы раз превосходящий человеческий количественно и качественно.
  Затем имеется несколько временных стадий, на которых ИИ может представлять опасность. Начальный этап:
  1) Момент первого запуска: риск неконтролируемого развития и распространения.
  2) Момент, когда владелец первого ИИ осознаёт своё преимущество в том, что может применить его как абсолютное оружие для достижения любых целей на Земле. (При этом владельцем ИИ может быть и государство, и крупная корпорация, хотя в конечном счёте - один или несколько человек.) Хотя эти цели могут быть благими, по крайне мере для некоторых людей, есть риск, что ИИ начнёт проявлять некорректное поведение в процессе распространения по Земле, тогда как в лаборатории он вёл себя идеально.
  3) Момент, когда этот владелец ИИ осознаёт, что даже если он ничего не делает, кто-то другой очень скоро создаст свой ИИ и может использовать его для достижения каких-то других целей на Земле, и в первую очередь для того, чтобы лишить нашего владельца способности использовать свой ИИ в полную силу. Это побуждает создавшего ИИ первым попытаться остановить другие ИИ проекты. При этом он оказывается перед дилеммой: применить ещё сырой ИИ или опоздать. Это создаёт риск применения с невыверенной системой целей.
  4) Следующая фаза риска - борьба между несколькими ИИ за контроль над Землёй. Опасность в том, что будет применяться много разного оружия, которое будет воздействовать на людей.
  Понятно, что весь начальный этап может уместиться в несколько дней. Этап функционирования:
  5) На этом этапе основной риск связан с тем, что система целей ИИ содержит некую неочевидную ошибку, которая может проявиться неожиданным образом спустя многие годы. (См. текст 'Таблица критический ошибок Дружественного ИИ' Юдковски.) Она может проявиться или мгновенно, в виде внезапного сбоя, или постепенно, в виде некоего процесса, постепенно вымывающего людей из жизни (вроде сверхнаркотика и безработицы).
  Сейчас мы не можем измерить риск, создаваемый на каждом этапе, но ясно, что он не стопроцентный, но значительный, поэтому мы относим его в категорию '10 процентных' рисков. С другой стороны, создание эффективного ИИ резко снижает все остальные глобальные риски, поскольку он может найти решения связанных с ними проблем. Поэтому фактический вклад ИИ в вероятностную картину рисков может быть отрицательный - то есть его создание уменьшает суммарный глобальный риск.
  Отметим, что человек, стремящийся к власти на Земле, должен был бы пытаться любой ценой проникнуть в команду, создающую ИИ, и пытаться поместить 'закладку' в его программный код. Примеры этому - программные закладки, которые делали в программном обеспечении банкоматов с целью последующего извлечения из них денег.
  6.16 Типы враждебного ИИ
   Вообще, надо различать четыре основных вида недружественных ИИ:
  1. ИИ, который имеет одну из подцелей в явной форме враждебную человеку (например, ИИ, который превращает всю солнечную систему в компьютрониум, для вычисления числа пи и для этого должен уничтожить человечество.) Здесь возможны следующие варианты:
  1.1 ИИ, намеренно сделанный человеком враждебным с целью уничтожить мир.
  1.2 ИИ, сделанный одним (или малой группой людей) человеком для установления его личной власти и исполнения его прихотей. Такой ИИ враждебен всем людям, кроме нескольких.
  1.3 ИИ, чьи главные цели заданы так неточно, что из них вытекают враждебные людям явно выраженные подцели. Например, цель 'самосохранение' может привести к тому, что ИИ будет стремиться уничтожить тех людей, которые хотят его отключить.
  1.4 Саморазвившийся ИИ. Нечто подобное осознавшему себя Интернету. Или, например, вышедшие из-под контроля системы ИИ, основанные на генетических алгоритмах. Такой ИИ в начале не имеет враждебных человеку целей, но может выработать их в процессе эволюции.
  2. ИИ, наносящий вред человеку по "недомыслию" - то есть в силу непонимания того, что это данные действия вредны человеку. (Например, робот, удаляющий все круглые предметы из комнаты, в числе и голову исследователя, как в бородатом анекдоте, или ИИ, отправляющий всех людей 'в рай', поскольку он пришёл к выводу, что людям будет лучше после смерти.) Такому ИИ достаточно объяснить, что он не правильно понял благо людей, чтобы изменить его поведение.
  2.1 ИИ, приносящий людям такое благо, которое люди не могут понять. Родители часто делают с детьми много вещей, которые не кажутся им благом: наказывают, заставляют учить уроки и дают неприятные лекарства. Превосходящий человека ИИ может придти к выводу о благе для людей того, что нам вовсе благом не кажется. В этом случае ИИ должен разъяснить людям, почему он считает свои действия благом.
  3. ИИ, который в начале становится всемирным ИИ и управляет Землёй, а потом в нём происходит программный сбой, и всё управление резко нарушается. (Это может быть и кризис сложности, или вирусная мысль, или деление на ноль.) Например, в программе ИИ Эвриско, которая вычисляла правила по управлению правилами для победы в играх, в какой-то момент возникло 'вирусное правило', которое состояло в том, что надо это правило копировать.
  4. Конфликт двух (или более) дружественных (но с разной системой подцелей) ИИ между собой. Как, например, был конфликт идеологий в годы холодной войны или как религиозные войны.
  Возможность принципиальной ограниченности любой сложной системы, в том числе и ИИ, обсуждается в главе 5.5 'Утрата интереса к жизни и кризисы, заложенные в самой природе разума'.
  6.17 Другие риски, связанные с компьютерами
  Эти риски связаны с тем, что некая жизненно важная компьютерная сеть перестаёт выполнять свои функции, или сеть, имеющая доступ к опасным ресурсам, выдаёт некую опасную команду. В настоящий момент компьютеризация Земли ещё не достигла такого уровня, чтобы само существование людей зависело от исправной работы компьютерной сети, однако отдельные сложные системы, такие, как космическая станция МКС, неоднократно оказывались под угрозой гибели или экстренной эвакуации из-за сбоя в работе жизненноважных компьютеров. Вместе с тем уровень компьютеризации жизненноважных и опасных производств постоянно возрастает, а проживание в современном городе становится физически невозможно без непрерывной подачи определённых ресурсов, в первую очередь электричества, которое управляется компьютерами.
  С другой стороны, компьютерные сети, чьё ошибочное поведение может запустить некий опасный процесс, уже существуют. В первую очередь сейчас речь идёт о системах, контролирующих ядерные вооружения. Однако, когда появятся био и нано принтеры, управляемые, соответственно, через компьютеры и доступные через есть, ситуация станет гораздо опаснее. Также ситуация станет опаснее, когда повсеместно будут распространены компьютерно-управляемые роботы, вроде домашних слуг или игрушек, а также автоматизированные реальные армии.
  Рост населения Земли потребует всё более сложной самоподдерживающееся системы. Можно расположить по возрастающей системы, всё более зависимые от постоянного управления: деревня - город - небоскрёб - самолёт - космическая станция. Очевидно, что всё большая часть цивилизации перемещается вверх по этой шкале.
  Компьютерные системы опасны в смысле глобальных катастроф тем, что могут быть средой, в которой может происходить неограниченная саморепликация (вируса), и тем, что они имеют доступ в любую точку мира. Кроме того, компьютеры подвержены не только вирусам, но и неочевидным ошибкам в алгоритмах и в программных реализациях их. Наконец в них возможен такой процесс, как спонтанный переход в сверхсложной системе, описываемый синергетикой.
  6.18 Время возникновения ИИ
  Существуют оценки, которые показывают, что компьютеры обретут силу, необходимую для ИИ, в 2020-2030 годы. Это примерно соответствует оценкам, даваемым для времени возникновения опасных биотехнологий. Однако здесь есть гораздо больший элемент неопределённости - если поступательный прогресс в биотехнологии очевиден, и каждый его этап можно отслеживать по научным публикациям, соответственно, измеряя степень риска, то возникновение ИИ связано не столько с накоплением неких количественных характеристик, сколько, возможно, с неким качественным скачком. Поскольку мы не знаем, когда будет этот скачок, и будет ли вообще, это влияет на кривую погодовой плотности вероятности возникновения ИИ, сильно размазывая её. Тем не менее, в той мере, в какой ИИ зависит от накопления идей и доступа к ресурсам, эта кривая будет также носить экспоненциальный характер.
  Моя оценка, согласующаяся с мнением Винджа, Бострома и других предсказателей ИИ, состоит в том, что сильный универсальный ИИ будет создан в некий момент времени между настоящим моментом и 2040 годом, причём, скорее всего, в период между 2020 и 2030 годами. Эта оценка основана на экстраполяции существующих тенденций роста производительности суперкомпьютеров. Она также подтверждается тенденциями в технологиях сканирования человеческого мозга, которые тоже дадут ИИ, если не получится сделать его основе теоретического моделирования.
  Однако за счёт большей неопределённости с ИИ, чем с биотехнологиями, вероятность создания его в ближайшее время, ближайшие 10 лет, выше, чем вероятность создания биопринтера. С некоторой вероятностью он может возникнуть даже завтра. Помешать возникновению ИИ могут:
   Системы контроля (но в свою очередь, вряд ли они будут эффективны без ИИ)
   Всемирная остановка технического прогресса
   Теоретические трудности на этом пути.
  Выводы: риск, который несёт в себе развитие технологий ИИ, крайне велик и систематически недооценивается. Это область гораздо более непредсказуемая, чем даже биотехнологии. Вместе с тем ИИ является, возможно, нашей наилучшей защитой от прочих опасностей. Время возможного созревания сильного ИИ подобно времени возможного созревания сильного и доступного биологического оружия - примерно 10 лет с настоящего момента, и эти процессы относительно не зависят друг от друга. Возможно, им предстоит столкнуться.
  Глава 7. Риски, связанные с роботами и нанотехнологиями
  7.1 Проблема создания микроскопических роботов и нанотехнологии
  
  Слово 'нанотехнологии' в последние несколько лет употреблялось неоправданно часто. Этим термином стали называть любой коллоидный раствор. Поэтому важно напомнить, что в основе понятия о нанотехнологиях лежит идея Феймана о возможности сверхминиатюрных технологий, то есть технологий оперирования материей на атомарном уровне, одним из аспектов которых является молекулярное производство, то есть 'атомная' сборка материальных объектов с помощью микроскопических манипуляторов, называемых ассемблерами. Собственно молекулярных ассемблеров пока ещё не существует. Наноассемблер, по идее, представляет собой микроскопического робота, размером с живую клетку, способного по программе собирать материальные объекты атом за атомом. Основная его особенность в том, что он теоретически может, при наличии энергии и материалов, собрать собственную копию, причём довольно быстро, по некоторым оценкам, за время порядка 15 минут. Это позволяет, получив хотя бы одного наноробота, размножить их в неограниченном количестве, а затем направить на выполнение некоего задания. Перспективы здесь открываются грандиозные: например, поместив одного наноробота в раствор с питательными веществами, можно за несколько дней вырастить в нём двигатель для космической ракеты без единого атомного изъяна, а значит, с крайне высокой прочностью и показателями надёжности, тяги и массы. В затраты на производство войдет только стоимость самого питательного раствора и стоимость энергии, которые, в случае появления такой технологии, также значительно подешевеют. Другой пример: нанороботы, введённые в кровоток человеческого организма, могли бы исправлять все возможные повреждения в нём на клеточном уровне. И так далее. Эту картину впервые нарисовал Э. Дрекслер в книге 'Машины созидания' [Drexler 1985].
  Самое главное в отношении нанороботов это то, что для того, чтобы все эти фантастические возможности стали реальностью, достаточно произвести всего только одного универсального радиоуправляемого наноробота. Скорее всего, в развитии нанотехнологий рано или поздно произойдёт огромный перелом или скачок, своеобразная нанотехнологическая сингулярность: до появления наноробота нанотехнологии будут очень затратной отраслью с малой отдачей, а после - рогом изобилия.
  Для начала приведу несколько ярких фактов, поскольку иногда мы не осознаём, насколько далеко мы продвинулись. В 9-ом номере за 2007 г. журнала 'В мире науки' сообщается о создании молекулярного конструктора, который позволяет всего из нескольких стандартных блоков конструировать 'наноскопические структуры практически любой формы' [Шафмейстер 2007]. В декабре 2007 опубликована 400-страничная 'Дорожная карта развития нанотехнологий', над которой трудились десятки учёных под покровительством небезызвестного DARPA. До появления первых нанороботов (названных в ней 'Atomically precise productive nanosystems' - наносистемы, позволяющие осуществлять производство с атомарной точностью) в соответствии с этой картой осталось от 10 до 25 лет .
  Основной опасностью в отношении нанотехнологий считается распространение нанотехнологической 'серой слизи', то есть микроскопических саморазмножающихся роботов, способных превратить в себя, то есть съесть, всю биосферу. Возможность неконтролируемого размножения нанороботов рассматривал ещё Дрекслер, а Р. Фрейтас опубликовал научную статью 'Проблема серой слизи' [Freitas 2000], где дал количественные оценки скорости возможного распространения опасных нанороботов по Земле. Основные особенности 'серой слизи' таковы:
  1. миниатюрность;
  2. способность к саморазмножению;
  3. способность к самостоятельному распространению по всей Земле;
  4. способность незаметно и эффективно уничтожать крупноразмерную технику и живые организмы;
  5. анонимность;
  6. дешевизна;
  7. автономность от человека (солдата).
  Серая слизь и основанное на ней нанотехнологическое оружие являются высшим выражением этих принципов, объединяющим их все вместе. Однако вовсе не обязательно объединять все эти принципы, чтобы получить опасное и эффективное оружие - достаточно реализовать некоторые из них.
  В 2008 году Центром ответственных нанотехнологий (CRN) было опубликовано исследование 'Опасности молекулярного производства' , в котором рассмотрены различные экономические, социальные и военные последствия создания развитых нанотехнологий. Материалы этого исследования были переведены мною на русский язык. В целом мои выводы, которые изложены далее, согласуются с оценками экспертов CRN.
  Основная опасность нанотехнологий исходит не от создания с их помощью новых материалов, а от создания всё более миниатюрных роботов, пригодных как для молекулярного производства, так и для военного применения, поэтому имеет смысл объединить обсуждение рисков нанотехнологий и рисков применения различных роботов. Рассмотрим сначала риски глобальной катастрофы, вызываемой роботами.
  7.2 Робот-распылитель
  Основная проблема использования военного и террористического биологического оружия и применения отравляющих веществ - это трудности их анонимного эффективного распыления. Эту задачу мог бы решить миниатюрный робот размером с птицу (например, авиамодель). Множество таких роботов могло бы быстро и незаметно 'опылить' огромную территорию. В настоящий момент достигнут значительный прогресс в миниатюризации летающих роботов-дронов, и их размер уменьшился до размеров стрекозы. Большое количество роботов размером с насекомое могли бы перелетать на сотни и тысячи километров и равномерно распространяться по огромной площади, проникать в закрытые пространства - как это сейчас делают стаи саранчи. Например, американским агентством DARPA принята программа Nano Air Vehicle (NAV), которая предусматривает создание летающих дронов размеров менее 7.5 см и весом до 10 г. Несколько миллиардов таких роботов могли бы представлять собой глобальный риск, так как могли бы распространиться по всей планете и распылить опасное биологическое или химическое оружие, или атаковать другими способами. То же могло бы сделать меньшее число высокоскоростных и более крупных дронов, действующих как самолёты-опылители, или ряд низкоорбитальных спутников.
  7.3 Самовоспроизводящийся робот
  Хотя считается, что для эффективного самовоспроизводства нужны молекулярные нанотехнологии, возможно, что это не так. Тогда вполне макроразмерный робот мог бы размножаться, используя природные энергию и материалы. Этот процесс может быть двухступенчатым и использовать робота-матку и роботов-воинов, которых она производит и которые её обслуживают. Создание саморазмножающихся роботов привлекательно тем, что позволяет быстро и дёшево создать огромную армию или развернуть масштабное производство, особенно в космосе, куда дорого отправлять готовые изделия. Риск состоит в утрате контроля над такой способной к саморазмножению системой. Важно подчеркнуть, что речь идёт не о сильном универсальном искусственном интеллекте, а о вышедшей из-под контроля системе с ограниченным интеллектом, неспособным к самосовершенствованию. Большие размеры и неинтеллектуальность делают её более уязвимой, а уменьшение размеров, повышение скорости воспроизводства и повышение интеллектуальности - более опасной. Классический пример такой угрозы в биологическом царстве - саранча. Возможно, что такой робот будет содержать биологические элементы, так как они помогут быстрее усваивать вещества из окружающей среды. К настоящему моменту сделан трёхмерный принтер RepRap, который способен воспроизводить почти все собственные детали .
  7.4 Стая микророботов
  Боевые микророботы могли бы производиться как оружие на фабриках, вроде современных заводов по производству чипов, и даже с применением тех же технологий - литография теоретически позволяет делать подвижные части, например, небольшие маятники. При весе в несколько миллиграммов такие микророботы свободно могли бы летать в атмосфере. Каждый такой робот мог бы содержать достаточно яда, чтобы убить человека или замкнуть контакт в электротехническом устройстве. Чтобы атаковать всех людей на Земле, потребовалось бы только несколько десятков тонн таких роботов. Однако, если они будут производиться по технологиям и ценам современных чипов, такое количество будет стоить миллиарды долларов. Р. Фрейтас пишет в статье 'Нанощит': 'Например, наименьшее насекомое имеет размер около 200 микрон. Это даёт разумную оценку размеров изготовленного с помощью нанотехнологий оружия, предназначенного для поражения личного состава, способного осуществлять поиск людей и вспрыск токсина в незащищённых людей. Летальная доза токсина ботулизма для человека составляет около 100 нанограмм, или 1/100 от объёма данного вида оружия. 50 миллиардов несущих токсин микророботов - что достаточно теоретически для убийства каждого человека на Земле - может поместиться в одном чемодане' .
  
  7.5 Армии крупных боевых роботов, выходящие из-под контроля
  Хотя армия США определённо нацелена на полную автоматизацию и замену людей роботами, до достижения этого ещё не менее десяти лет, а скорее всего, значительно больше. Как мы уже говорили, теоретически некая роботизированная армия может получить неверный приказ, и начать атаковать всё живое, став при этом недоступной для отмены команд. Чтобы стать реальной угрозой, это должна быть всемирная, распределённая по всей Земле огромная армия, не имеющая конкурентов. Надёжность такой армии зависит только от ее информационной неуязвимости к неверным командам, то есть является вопросом информационной безопасности. Сейчас мы не можем решить его теоретически. С одной стороны, мы должны помнить, что все компьютерные устройства, изначально представлявшиеся как неуязвимые, были взломаны - от Windows до PSP. C другой стороны, система управления ядерными войсками ни разу не была взломана. В будущем информационный взлом будет осуществить проще, так как достаточно будет одному невидимому глазу нанороботу проникнуть в центральный управляющий компьютер, чтобы он начал выдавать неверные команды.
  7.6 Миниатюризация роботов - путь к нанотехнологическому оружию
  Как мы уже говорили, нанотехнологии позволят создавать очень эффективное оружие, которое способно истребить всех людей, даже не обладая способностью к саморепликации. Облако нанороботов может распространиться по некой местности - или по всей Земле, обнаружить всех людей на ней, проникнуть в кровоток и затем синхронизировано нанести смертельный удар. Эта стая опаснее слепого биологического оружия, так как против неё не действуют карантины, и её трудно обнаружить не нанотехнологическим средствами до начала атаки. И поскольку нет пустого рассеивания экземпляров, на 10 миллиардов людей с запасом хватит 100 миллиардов нанороботов.
  Далее, если робототехника будет развиваться линейно, без грандиозного скачка, - а такой скачок возможен только в случае возникновения сверхсильного искусственного интеллекта - то промежуточные стадии будут включать автономных универсальных роботов всё меньших размеров. Сейчас мы можем видеть начальные фазы этого процесса. Даже самые крупные системы сейчас не вполне автономны, хотя уже есть андроиды, способные выполнять простую работу и автомобили, самостоятельно ездящие по простому маршруту. Есть и более примитивные механизмы с минимальной массой в несколько граммов (например, маленькие вертолётики) и экспериментальные модели отдельных частей микророботов. При этом скорость прогресса в этой области очень высока. Если в 2003 году большинство автономных автомобилей не могло тронуться с места, то в 2005 пять машин проехало по сложной трасе в пустыне и в горах 200 км, а в 2007 они выполнили задания по езде в городе с перекрёстками.
  Поэтому можно сказать, что до нанороботов будет ещё несколько стадий, если считать, что развитие идёт по пути непрерывного уменьшения размеров. (Однако некоторые лаборатории, никогда ранее не занимавшиеся робототехникой, уже сейчас делают элементы нанороботов, манипулируя отдельными атомами с помощью туннельных зондовых микроскопов. Таким образом, возможен внезапный скачок, когда будет сделан реальный наноробот, способный осуществлять саморепликацию.) Эти стадии включают в себя автономные машины-танки, автономных андроидов (размером с человека или собаку), автономных роботов размером с крысу, с насекомое, микророботов в доли миллиметра и нанороботов. Нам важно определить, с какого этапа такие роботы могут быть опасны для человечества. Понятно, что даже несколько самоуправляющихся танков не опасны. Однако уровень опасности возрастает тем значительнее, чем больше и дешевле таких роботов можно производить, а также чем легче им распространяться по свету. Это возможно по мере уменьшения их размеров и автоматизации технологий производства и самовоспроизводства, а также по мере роста спроса на продукты нанотехнологий. Если микророботов размером с комара можно будет штамповать по несколько центов за штуку, то они уже будут представлять серьёзную силу. В классическом романе 'Непобедимый' Станислава Лема [Лем 1964] 'нанороботы' имеют размеры в несколько миллиметров, но способны организовываться в сложные структуры.
  Далее, в последнее время, в связи с экспансией дешёвой китайской рабочей силы, на второй план отошёл тот факт, что даже роботы обычных размеров могут участвовать в производстве самих себя в силу всё большей автоматизации производства на фабриках. Процесс этот идёт постепенно, но он тоже может иметь точку резкого экспоненциального перегиба, когда вклад роботов в собственное производство превзойдёт вклад людей. Это приведёт к значительному удешевлению такого производства, а, следовательно, и к увеличению вероятности создания роботизированных армий.
  Взаимный удар армиями микророботов может по катастрофичности последствий превосходить обмен ядерными ударами. Поверить в это трудно, так как трудно думать, что нечто очень маленькое может нанести огромный ущерб. (Хотя технологическая эволюция идёт в сторону того, что всё меньшее оружие имеет всё большую разрушающую силу, и атомная бомба тоже в этом ряду.) Удар микророботами может не быть таким зрелищным, как взрыв той же атомной бомбы, но может давать результат как идеальная нейтронная бомба в духе 'школа стоит, а в ней никого'.
  Микророботы могут применяться и как тактическое оружие, тогда они будут бороться друг с другом и пунктами управления, и как оружие устрашения и мести. Эту функцию сейчас выполняют стратегические ядерные силы. Именно в этом качестве они могут оказаться угрозой для всего человечества, в случае случайного или намеренного применения. При этом микророботы превосходят стратегические ядерные силы - они позволяют организовать более незаметную атаку, более внезапную, более анонимную, более дешёвую и наносящую больший ущерб. Правда, им не достаёт зрелищности, что может ослабить их психологическое воздействие - до первого реального боевого применения.
  7.7 Неограниченное распространение самовоспроизводящихся нанороботов
  Возможность этого риска впервые указана Дрекслером, и исследована в статье Р. Фрейтаса 'Проблема серой слизи' [Freitas 2000]. В отношении нанороботов, равно как и ИИ, нам трудно оценить вероятность их возникновения и распространения, потому что их пока у нас нет. Вместе с тем создание нанороботов имеет прецедент в области биологии, а именно: сама живая клетка является своего рода нанороботом. Белки являются самособирающимися универсальными механизмами, ДНК - управляющим компьютером. В этом смысле и искусственный интеллект имеет прецедент в виде человеческого разума и мировой науки как образа сверхразума. Юдковски предполагает, что от наноробота нас отделяет не время или нехватка неких промежуточных стадий, а только отсутствующее знание. То есть, обладай мы достаточным знанием, мы могли бы собрать такую последовательность ДНК, при исполнении которой клеткой был бы образован наноассемблер - то есть робот, способный собирать других роботов, а значит, способный к саморазмножению. Часто говорят о нанофабриках - то есть неких заводах, которые могут создавать произвольные конструкции из атомов и молекул. Однако нанофабрика и наноассемблер являются взаимозаменяемыми понятиями, потому что на универсальной нанофабрике можно создать наноассемблер, и наоборот.
  С одной стороны, идея о том, что в каждом доме будет нанофабрика вместо микроволновки, производящая всё ему нужное, выглядит красивой, но с другой, она требует реализации мер защиты больших, чем если бы речь шла о ядерном реакторе на дому. Развитые системы защиты уже предлагаются, и они включают в себя непрерывное зашифрованное подключение нанофабрики к сети, и сложный самоконтроль нанофабрики. Но, увы, все опыты по созданию абсолютно защищённой электроники, оптических дисков, файлов провалились. Думается, причина этого в том, что количество 'мозгов' на стороне хакеров гораздо больше, чем на стороне производителя, а задача хакера проще - не предусмотреть все возможные уязвимости, а найти хотя бы одну их них. Распространение тех или иных систем искусственного интеллекта тоже сделает подбор ключей доступа к нанофабрикам проще.
  Эрик Дрекслер оценивает необходимое количество атомов в нанороботе- репликаторе, который будет представлять собой нечто вроде минизавода с конвейерной лентой и микро-станками, в один миллиард. Каждый манипулятор сможет осуществлять не менее миллиона операций в секунду, что типично для скорости работы ферментов. Тогда он сможет собрать устройство в миллиард атомов за 1000 секунд - то есть собрать самого себя. Проверкой этого числа является то, что некоторые бактерии могут делиться со скоростью раз в 15 минут, то есть приблизительно те же 1000 секунд. Такой робот репликатор мог бы за 1 сутки размножиться до массы в 1 тонну, а полностью поглотить массу Земли за 2 дня. Катастрофа этого рода называется 'серой слизью'. В связи с малостью размеров нанороботов в течение критически важных первых суток этот процесс не будет иметь никаких внешних проявлений, в то время как триллионы нанороботов будут разноситься ветром по всей Земле. Только прямое попадание ядерной бомбы в очаг распространения в самые первые часы могло бы помочь. Есть предложения сделать репликаторы неспособными размножаться во внешней среде, в которой нет некоего критически важного очень редкого химического элемента. Подробнее см. упоминавшуюся уже статью Р. Фрейтеса 'Проблема серой слизи', где рассмотрены различные сценарии распространения опасных нанороботов и защитные контрмеры. Фрейтас отмечает, что нанороботы будут выдавать себя по интенсивному выделению тепла в процессе воспроизводства, поэтому важно наладить мониторинг окружающей среды на предмет странных температурных аномалий. Кроме того, размножающиеся нанороботы будут нуждаться в энергии и в материале, а источником и того и другого является только биомасса.
  Р. Фрейтас выделяет несколько возможных сценариев распространения 'серой слизи':
   'Серый планктон' - нанороботы, размножающиеся в океане и пользующиеся ресурсами гидратов метана на дне. Они могут уничтожить морскую биосферу и привести к выделению парниковых газов в атмосферу. Морская биосфера крайне важна как поглотитель СО , генератор кислорода и пищи для людей.
   'Серая пыль' - эти нанороботы размножаются в воздухе, создавая непроницаемый заслон в атмосфере, ведущий к 'ядерной зиме'.
   'Серый лишайник' - эти нанороботы размножаются на скалах.
   'Серая слизь, питающаяся биомассой' - это самый неприятный сценарий. При этом самый выгодный для ускоренного размножения, так как биомасса содержит и материалы для постройки, и источник энергии.
  Прямое попадание ядерной бомбы в колбу с таким репликатором могло бы уничтожить их, но даже близкое попадание - только рассеять. Бактерия в своём росте ограничена наличием питательной среды. Если универсальный репликатор будет знать, как заменять одни атомы другими, он сможет потреблять почти любое вещество, кроме чистых сред из одного материала. Они могут быть также всеядны в выборе источника энергии, если будут обладать информацией о том, как использовать разные источники. Всё же обеспечение энергией будет для 'серой слизи' более сложной проблемой, чем доступ к материалам.
  7.8 Вероятность возникновения нанороботов и возможное время осуществления этого события
  Возникновение микророботов весом в граммы и доли грамма выглядит практически неизбежным, и все технологии для этого есть, только они не будут репликаторами.
  Однако настоящие нанороботы, размером меньше бактерии, находятся ещё в далёкой перспективе. Если они будут созданы силами ИИ, то весь возможный вред от них можно внести в графу рисков ИИ, поскольку он будет управлять их действиями. (Но всё же есть вариант, когда ИИ окажется достаточно умным, чтобы создать нанороботов, и всё же настолько глупым, чтобы не суметь их контролировать.) И даже без ИИ всё более мощные компьютеры дадут возможность всё точнее и всё быстрее вычислять параметры деталей будущих микро- и нанороботов. Поэтому можно ожидать, что прогресс в создании нанороботов будет ускоряться.
  Состояние дел в отрасли таково, что создание нанороботов-репликаторов в ближайшие годы маловероятно. Поэтому можно предположить, что если нанороботы и будут созданы без помощи реального ИИ, то это произойдёт между 2020 и 2040 годами. Если сравнивать нанотехнологии с биотехнологиями и ИИ, можно увидеть, что эти технологии гораздо менее зрелы, и отстают лет на 20-30 от своих собратьев. Поэтому шансы на то, что сильные нанотехнологии (то есть нанорепликаторы) будут созданы раньше ИИ и биопринтера, не очень велики.
  Выводы: мы можем столкнуться с рисками цивилизационной катастрофы, создаваемой микророботами, ещё до того, как реальные нанороботы будут сделаны. Чем мельче, дешевле и способнее к самовоспроизведению будут микророботы, тем больший ущерб они способны нанести, и тем больше субъектов смогут ими обладать.
  Глава 8. Технологические способы провоцирования природных катастроф
  8.1 Искусственная инициация термоядерной детонации Земли и других небесных тел
  Для многих природных катастроф, связанных с длительным накоплением и внезапным высвобождением энергии, есть теоретическая возможность спровоцировать их определёнными техническими воздействиями. При этом для запуска процесса требуется гораздо меньше энергии, чем затем в нём выделится. Были даже проекты вызвать взрыв Солнца с помощью атаки водородными бомбами . Но это не реально, так как процесс не может стать самоподдерживающимся, поскольку в верхних слоях Солнца плотность вещества очень мала (всё же стоит подсчитать точнее, так как предположения без вычислений не гарантируют безопасность. В своей последней статье Болонкин выводит критерий, подобный критерию Лоусона, для оценки минимально необходимого времени удержания водорода для запуска реакции). Скорее, проще было бы взорвать Юпитер, где много не сгоревшего дейтерия и гелия-3 и проще добраться до плотного ядра, но и это, скорее всего, нереально, если исходить из сегодняшних знаний. Технически, по многим причинам, гораздо проще доставить водородную бомбу на Юпитер, чем на Солнце. Этот вопрос обсуждался в связи с затоплением на Юпитере зонда Галилео, содержавшего плутониевые батареи, которые могли бы, по прозвучавшим предположениям, сжаться, взорваться и запустить цепную реакцию горения водорода . Этого не произошло, хотя вскоре на поверхности Юпитера возникло странное пятно, и прозвучали предположения, что ядерный взрыв всё же произошёл. Отметим, что мы не можем использовать этот факт как доказательство невозможности запустить цепную реакцию горения в недрах Юпитера из-за возможного эффекта наблюдательной селекции - а именно, если бы взрыв случился, то наша дискуссия стала бы невозможна. Другой способ провоцирования природных катастроф - разрушение естественных природных защит. Подробнее я обсуждаю этот вопрос в эссе 'О возможности искусственной инициации взрыва планет гигантов и других объектов Солнечной системы '. Естественно, мы можем провоцировать катастрофы только на Земле или в ближайшем космосе.
  Возможность самоподдерживающейся термоядерной детонации в атмосфере или гидросфере Земли так же была научно исследована, и был сделан вывод, что такая реакция не может стать самоподдерживающейся [Weaver, Wood 1979]. Однако если бы концентрация дейтерия в океанах была бы только в 20 раз выше, чем на Земле, и составляла бы 1 к 300, то реакция всё же стала бы возможна. Есть предположения, что на дне Арктики в водах северных рек может происходить естественное выделение и отложение льда из тяжёлой воды, поскольку он имеет более высокую температуру плавления, чем обычный лёд (+3.9 градусов С) . Детонация куба тяжёлой воды с ребром в 100 метров (что соответствует очень небольшому по геологическим меркам отложению) произвела бы взрыв порядка тысячи мегатонн, радиоактивное заражение от которого истребило бы высокоорганизованную жизнь на Земле.
  Образование слоёв с повышенной концентрацией дейтерия гипотетически возможно в недрах планет гигантов, на их ледяных спутниках, в ядрах комет и на Марсе. Термоядерный взрыв планеты гиганта привёл бы к полной стерилизации Солнечной системы и сорвал бы с Земли атмосферу и многие сотни метров грунта. Взрыв спутника или кометы привёл бы заражению Солнечной системы и земной атмосферы короткоживущими радиоактивными элементами в количестве, достаточном для уничтожения жизни. В этом смысле опасно отклонять комету с помощью направленного ядерного взрыва, так как это может привести к ее детонации и выпадению образовавшихся радиоактивных элементов на Землю.
  8.2 Отклонение астероидов
  Будущие космические технологии позволят направлять астероиды как от Земли, так и к ней. Отклонение астероида позволяет организовать анонимную атаку на выбранную страну. Однако в этом случае речь не идёт о глобальной катастрофе, ведущей к человеческому вымиранию. На близких к Земле орбитах нет астероидов, которые могли бы привести к гарантированному вымиранию людей, то есть астероидов, имеющих более 10 км в диаметре(а то и значительно больше - см. далее главу о силе взрыва астероидов), и которые можно было бы легко отклонить. (Однако отклонить небольшой, 10-300 м в диаметре, 'камушек' и поразить им выбранную страну возможно.) Чтобы отклонить астероид с неудобной орбиты (например, в главном поясе астероидов), потребовалось бы огромное количество энергии, что сделало бы всю затею бессмысленной и легко обнаружимой. Впрочем, есть шанс, что сверхкомпьютеры позволят устроить высокоточный космический бильярд, где бесконечно малое воздействие на один небольшой 'камушек', который попадает в другой, и так далее, создаёт нужный эффект. Однако это потребует десятков лет на реализацию. Легче отклонить комету (перевести с круговой орбиты на высокоэллиптическую), находящуюся в облаке Оорта (там есть тела подходящих размеров), однако пройдут десятки или, скорее, сотни лет, пока она достигнет орбиты Земли. Таким образом, полное вымирание человечества в результате искусственного отклонения астероида в XXI веке крайне маловероятно.
  8.3 Создание искусственного сверхвулкана
  Чем глубже мы проникаем в земную кору разными способами - сверлим её, расплавляем или взрываем, - тем больше наши возможности вызвать всё более сильное искусственное вулканическое извержение. Для того чтобы спровоцировать извержение сверхвулкана, сравнимого по своим масштабам с Йеллоустоуном, вероятно, достаточно пробить 5-8 км земной коры, что составляет толщину крышки его магматической камеры - а современные скважины гораздо глубже. При этом природа загазованной магмы такова, что достаточно маленького отверстия, чтобы начался самоусиливающийся процесс дегазации магмы, подобно тому, как это происходит при открывании бутылки с шампанским. То есть воздействие, которое может вызвать сверхизвержение, может быть минимальным, так сказать, информационным. Пример: недавно в Индонезии случайно при проведении геологоразведочных работ был задет водоносный слой, и создан грязевой вулкан, затопивший территорию в 25 кв. км. Позже на Гавайях исследовательская скважина попала в камеру, наполненную магмой на глубине 2,5 км, где никто не ожидал ее обнаружить, что привело к небольшому извержению (гавайская магма не склонна приводить к взрывным извержениям.) Риск случайного или частично намеренного пробуждения сверхвулкана растёт по мере роста интереса к геотермальной энергии, который подразумевает бурение скважин в непосредственной близости от вулканов, а также по мере исчерпания ресурсов, что побуждает людей делать всё более глубокие скважины. Наконец, недооценка степени неустойчивости нашего мира, связанная с наблюдательной селекцией, может привести к тому, что даже небольшая скважина нарушит устойчивость вулкана, извержение которого давно назрело.
  Помимо магматических камер сверхвулканов, находящихся относительно неглубоко, имеются гораздо большие камеры с расплавленным материалом, которые питают эти верхние камеры, но находятся значительно глубже, на глубине десятков и сотен километров. Искусственное проникновение в эти камеры привело бы к извержениям, значительно превышающим извержения известных супервулканов.
  Крупные площадные извержения, вызванные, вероятно, подъёмом плюмов из глубин мантии, случались много миллионов лет назад на плато Декан в Индии и в Сибири (в районе Норильска) и были связаны с вымиранием живых организмов в значительном масштабе. Магма поднимается по каналам-плюмам, однако это не каналы для вещества ядра; считается, что вверх поднимаются горячие, твёрдые (очень вязкие) куски мантии за счёт более высокой плавучести, которые становятся жидкими только около поверхности за счёт падения давления. Земная цивилизация будет всё глубже вгрызаться в землю с целью добычи полезных ископаемых, энергии и для проведения экспериментов. В результате риск катастрофических извержений будет постоянно расти. Уже предлагался проект проплавления земной коры с помощью огромной капли (сотни тысяч тонн) расплавленного железа - зонд Стевенсона [Stevenson 2003]. Стоимость проекта оценивается в 10 миллиардов долларов, и он выглядит теоретически реализуемым. Югославский астроном и исследователь глобальных рисков Милан Чиркович написал статью 'Геоинженерия, пошедшая насмарку' [Circovic 2004], где подверг проект резкой критике, как опасный для земной цивилизации, так как он может, по мнению Чирковича, привести к высвобождению огромного количества парниковых газов и вызвать необратимое глобальное потепление, подобное произошедшему на Венере.
  Российский геолог Л. Я. Аранович предложил принципиально усовершенствованный вариант глубинного зонда, основанный на погружении в мантию небольшого ядерного реактора весом в несколько тонн, который сможет проплавлять себе дорогу . Такой зонд сможет достичь глубины в 1000 км примерно за месяц. Оценки безопасности этого теоретического проекта не проводились.
  Высокотемпературные роботы-горнорабочие также могут стать опасным инструментом. Японцы планируют просверлить дно океана вплоть до мантии. Уже предлагался проект бомбы против бункеров, которая, упав, вгрызается в поверхность, как самоходный проходческий щит и продвигается вглубь. Таким же образом могли бы действовать и взрыватели вулканов. Такое устройство может быть дешевле ядерной бомбы, и его можно доставить на место незаметно.
  Любое оружие, которое пригодно для борьбы с бункерами глубокого залегания, может применяться и для пробуждения вулканов. Одним из вариантов такого оружия является последовательная атака ядерными зарядами, создающая всё более глубокий кратер. Возможно, что недостаточно пробудить один сверхвулкан или просто крупный вулкан для возникновения глобальных последствий, но если пробудить их все сразу, то вымирание человечества становится вероятным. На Земле известно сейчас 20 сверхвулканов и 500 обычных вулканов.
  Возможно, что возникнет практическая необходимость пробудить вулкан, чтобы охладить атмосферу его выбросами, в случае если проблема глобального потепления встанет очень остро. В настоящий момент вероятность искусственного пробуждения сверхвулкана крайне мала, даже, если бы достаточно опасное оружие попало в руки террористов, помимо вулканов есть масса других привлекательных объектов для диверсий. (Однако в обзоре о шести способах наиболее опасного применения водородной бомбы террористами , именно атака на сверхвулкан выделяется как главная.) В случае мировой войны взрыв супервулкана мог бы стать последним оружием для проигрывающей стороны. Технологические возможности для взрыва вулкана медленно растут с развитием технологий бурения и совершенствования ядерного оружия. Молекулярное производство и нанотехнологии могли бы дать шанс для дешёвого создания мощных машин, необходимых для вскрытия вулканов, а овладение нанотехнологиями создаст более простые пути к тем целям, которые можно было бы реализовать с помощью супервулкана.
  В статье 'Камуфлетные взрывы как причина формирования структур, индицирующих алмазоносные районы (по материалам дистанционных и геофизических методов)' В. И. Горного и др. [Горный 2006] высказывается мнение, что взрывные структуры, известные теперь как кимберлитовые трубки, могут происходит в результате бескислородной детонации тяжёлых углеводородов (нечто подобное взрыву обычного тротила) на глубине порядка 90 км больших областей, диаметром около 20 км. Эти тяжёлые углеводороды образуются в недрах Земли и поднимаются вверх в процессе её дегазации, и являются источниками нефти, согласно теориям о ее абиогенном происхождении. Сила взрывов, по оценкам авторов, составляет 10 000 - 100 000 гигатонн, что сопоставимо с энергией падения астероида в несколько километров диаметром. Основной ущерб от такого взрыва, вероятно, будет состоять в немедленном загрязнении земной атмосферы огромным количеством углеводородов и продуктов их сгорания. Это приведёт как к прямому отравлению живых существ, так и к радикальным изменениям климата. По моим подсчётам, такой взрыв приведёт к пожару, в котором сгорит 1/1000 земного кислорода.
  Такие события, как подтвердил мне Горный в личной переписке, неоднократно случались в истории Земли и могут снова произойти в любой момент. Возникает два вопроса: каков максимально возможный объём такого взрыва - то есть может ли взорваться область размером в 30 или 50 км? (Напомню, что тот факт, что этого не случалось в прошлом, не доказывает ничего). Может ли какая-либо человеческая деятельность - сверхглубокое бурение с целью добычи геотермальной энергии или ядерные испытания - спровоцировать такой взрыв?
  8.4 Намеренное разрушение озонового слоя
  Есть предположение, что можно создать озонное оружие, которое приведёт к очень эффективному каталитическому истреблению озонового слоя. Тем не менее, даже если поток солнечного ультрафиолета будет очень силён и опасен для людей, они смогут от него защититься с помощью зонтиков, плёнок, бункеров, скафандров и т. д. Однако на всю биосферу зонтиков не хватит. Озоновый слой может быть разрушен и гамма-всплеском. 'Троекратное ослабление озоновой защиты на несколько лет, предсказываемое расчётами, способно привести к истреблению большей части приповерхностного планктона в океанах, являющегося основой всей огромной пищевой цепи обитателей моря' . Особенно опасно, если ослабление озонового слоя совпадёт с ослаблением магнитного поля и сильной вспышкой на Солнце. Истощение озонового слоя принадлежит к числу процессов, которые цивилизация может запустить сейчас, а 'вкусить плоды', возможно, придётся через десятки и сотни лет уже на менее способной к самозащите постапокалиптической стадии.
  Глава 9. Технологические риски, связанные с принципиально новыми открытиями
  9.1 Неудачный физический эксперимент
  Наиболее опасным является вариант, при котором значительное открытие совершится совершенно внезапно в ходе обычного эксперимента, как уже неоднократно бывало в истории науки, и проявится в виде непредвиденных последствий.
  Высказывались опасения, что опыты по созданию микроскопических чёрных дыр на ускорителях, конденсации нейтронов и другие эксперименты с элементарными частицами могут привести или к коллапсу земного вещества или к колоссальному взрыву, который мгновенно истребит жизнь на Земле. Основной парадокс здесь в том, что безопасность любых экспериментов обосновывается тем, что мы знаем, что получится в результате, а цель эксперимента - в том, чтобы узнать что-то новое. Иначе говоря, если мы ничего нового не узнаем, то какой смысл ставить физические эксперименты, а если мы можем узнать что-то новое, то это может быть опасно. Может быть, молчание вселенной объясняется тем, что все цивилизации рано или поздно осуществляют некий эксперимент по 'извлечению энергии из вакуума', а в результате их планеты разрушаются. Опасность экспериментов прямо связана с возможностью наличия неизвестных нам фундаментальных физических законов. Вопрос этот трудно решить вероятностным образом. В XX веке уже было несколько открытий фундаментальных законов, и некоторые привели к созданию новых опасных видов оружия - хотя к концу XIX века картина мира казалась завершённой. Назову только открытия радиоактивности, квантовой механики, теории относительности, а в последнее время - тёмной материи и тёмной энергии.
  Кроме того, есть ряд экспериментальных данных и непроверенных теорий, которые имеют разную степень достоверности - но многие из них предполагают физические эффекты, которые могут быть опасны. Например, иногда мелькают сообщения о трансмутации химических элементов без радиоактивности - но разве это не способ наработать плутоний для атомной бомбы? Или, если такая трансмутация возможна, то не приведёт ли она к цепной реакции трансмутации по всей Земле?
  Считается, что современные эксперименты на ускорителях не дотягивают на многие порядки до энергий, которые возникают в результате естественных столкновений космических лучей, происходящих в атмосфере Земли. Однако в книге Джона Лесли приводится оценка, что если энергия ускорителей будет расти с нынешней скоростью, то опасные уровни энергии будут достигнуты к 2100 году. Он показывает, что в течение всего ХХ века каждые 10 лет энергия, достигаемая на ускорителях, возрастала в 10 раз. И хотя сейчас обычные ускорители подошли к своему физическому пределу по размерам, есть принципиально другой способ достигать тех же энергий на установках размером с рабочий стол - речь идёт о разгоне частиц в ударной волне импульсного лазера. В то же время программа СОИ предполагала создание импульсных лазеров колоссальной силы, запитывавшихся от ядерных взрывов.
  Риски, связанные с физическими экспериментами, вполне осознаются научным сообществом, и европейский ядерный центр ЦЕРН недавно опубликовал доклад с обоснованием безопасности нового коллайдера , в котором отвергаются риски, связанные с возникновением на новом ускорителе 'Большой Адронный Коллайдер', LHC ( вступил в строй в 2008 году) микроскопических чёрных дыр, магнитных монополей и страйнджлетов. Тем не менее, есть ряд учёных и общественных деятелей, которые активно борются с LHC, критикуя предлагаемые меры безопасности и их теоретические основания . Например, активно используемая аналогия с природными процессами (столкновение космических лучей с земной атмосферой) не точно соответствует тому, что будет происходить в LHC, например, потому что скорость частиц, образующихся при столкновении в атмосфере, по закону сохранения импульса, остаётся близкой к скорости света, а импульс при столкновении встречных пучков в LHC нейтрализуется, и скорость может быть нулевой. Это имело бы решающее значение для дальнейшего поведения микроскопических чёрных дыр, так как в первом случае они пролетели бы Землю насквозь за доли секунды, а во втором - задержались бы в её веществе на большее время, смогли бы увеличить массу и задержаться ещё больше.
  Даже если принять те границы безопасности (вероятность катастрофы P < 2*10 ), которые предлагают сторонники продолжения экспериментов, и применить к ним стандартную при анализе рисков процедуру оценки ценности, то, как показывает Адриан Кент в своей статье 'Критический обзор оценок рисков глобальных катастроф' [Kent 2004], получатся неприемлемые по стандартам других отраслей результаты - а именно, этот риск будет эквивалентен гибели от 120 до 60 000 человек.
  Дж. Лесли даёт подробный анализ различных теоретически возможных опасных экспериментов. К их числу относятся:
  1) Переход вакуума в новое метастабильное состояние [Bostrom N., Tegmark 2005]. Есть гипотеза о том, что вакуум, будучи нулевым энергетическим уровнем всех физических полей, не является окончательным возможным таким уровнем. Точно так же уровень воды горного озера не является настоящим уровнем моря, хотя вода в озере может быть широкой и гладкой. И достаточно сильный всплеск волн в таком озере может привести к разрушению окружающих озеро барьеров, что приведёт к излиянию вод озера на уровень моря. Точно также, возможно, что достаточно высокоэнергетичный физический эксперимент может создать область вакуума с новыми свойствами, которая начнёт неограниченно расширяться. (Существование тёмной энергии, которая ускоряет расширение вселенной, косвенно подтверждает то, что наш вакуум - не истинный.) Возникновение нашей вселенной, собственно, и было переходом вакуума из одного состояния в другое .
  2) Образование объектов, состоящих из гипотетической кварковой материи, способной присоединять к себе атомы обычного вещества. Поскольку в её образовании играют важную роль так называемые 'странные кварки', то способная возникнуть в результате устойчивая материя называется 'странной материей', а её частицы - стрейнджлетами (от англ. stranglets). Разработана идея установки, которая способна порождать и накапливать кусочки этой материи, а также использовать падение обычной материи на странную материю для получения энергии. К сожалению, авторы идеи ничего не говорят о том, что будет, если сгусток странной материи покинет ловушку и начнёт неограниченно поглощать вещество Земли.
  3) Опасные геофизические эксперименты с глубоким бурением или проникновением сквозь кору, чреватые образованием сверхвулкана и дегазацией глубинных слоёв Земли.
  4) Научное сообщество детально обсуждает риски образования микроскопических чёрных дыр, которые должны возникать при столкновении частиц на последних моделях ускорителей в ближайшем будущем [Giddings, Thomas 2002]. Образование микроскопической чёрной дыры, даже если она будет устойчива (а большинство учёных считают, что она распадётся за малые доли секунды благодаря излучению Хокинга, хотя есть и несогласные [Helfer 2003]), не должно привести к немедленному засасыванию в неё всего вещества Земли, так как размеры её будут около размеров атома, а вокруг неё будет микроскопический аккреционный диск, который будет дозировать поступление вещества. Но такая микро-чёрная дыра неизбежно упадёт в сторону центра Земли, проскочит его и начнёт совершать колебательные движения.
  5) Возникновение магнитного монополя на LHC в ЦЕРН. Магнитный монополь может ускорять распад протонов, приводя к огромному выделению энергии, однако в отчёте ЦЕРН по безопасности предполагается, что даже если такой монополь возникнет, он быстро покинет Землю.
  6) Инициирование нового Большого взрыва при экспериментах на ускорителях. (В определённом смысле этот процесс аналогичен распаду фальшивого вакуума. Ключевым для его запуска является достижение сверхвысокой плотности энергии в 10 грамм на куб. см. Однако само количество энергии, необходимое для инициации процесса, может быть небольшим, возможно, меньше энергии взрыва водородной бомбы.) Подробно этот риск рассматривает Лесли [Leslie 1996]. В связи с этим представляет интерес гипотеза, что при возникновении разных вселенных с разными свойствами наибольшую долю вселенных составляют те, которые способны порождать новые вселенные. (Изначально такая гипотеза была высказана в связи с предположением, что такой процесс происходит в чёрных дырах.) Однако поскольку наша вселенная ещё и 'тонко настроена' на то, чтобы быть пригодной для существования разумной жизни, способной развивать технологию, можно предположить, что именно разумные цивилизации некоторым образом способствуют повторению условий, ведущих к новому большому взрыву, возможно, в ходе неудачных физических экспериментов.
  Приведённый список наверняка не полон, так как он описывает только то, что мы знаем, тогда как в экспериментах мы сталкиваемся с тем, чего не знаем. Погодовая вероятность опасного физического эксперимента растёт с течением времени, так как всё более высокоэнергетичные установки вводятся в строй и изобретаются новые способы достижения высоких энергий, а также применения их к объектам, к которым они обычно не применяются в природе. Кроме того, растёт разнообразие возможных физических экспериментов, которые могут привести к глобальной катастрофе. Развитие технологий молекулярного производства и самовоспроизводящихся роботов позволит в будущем создавать гигантские установки в космосе, используя материал астероидов, по цене только первого робота-'семени', то есть практически бесплатно. Это позволит выйти на гораздо более высокие энергии экспериментов - и на новый уровень рисков.
  Интересный вариант нового глобального риска предложен в статье 'Поведение распада фальшивого вакуума в поздние промежутки времени: возможные последствия для космологии и метастабильных инфляционных состояний' [Krauss, Dent 2008], в русскоязычной прессе пересказанной под броскими заголовками вроде: 'Астрономы разрушат Вселенную' . В ней говорится, что скорость распада квантовых систем зависит от того, наблюдаются они или нет (проверенный факт), а затем это обобщается на проблему наблюдения устойчивости Вселенной как целого в связи с проблемой так называемой тёмной энергии. 'Измерив плотность тёмной энергии, мы вернули её в начальное состояние, по сути, сбросив отсчёт времени. А в этом начальном состоянии вакуум распадается в соответствии с 'быстрым' законом, и до критического перехода к 'медленному' распаду ещё очень далеко. Короче говоря, мы, возможно, лишили Вселенную шансов на выживание, сделав более вероятным её скорый распад'. Хотя вряд ли этот риск реален, сама идея такого риска иллюстрирует возможность того, что новый глобальный риск, связанный с физическими экспериментами, может придти с самой неожиданной стороны.
  Поскольку всегда в экспериментах есть доля риска, стоило бы отложить их до момента создания развитого ИИ. Часть экспериментов имеет смысл проводить не на Земле, а далеко в космосе.
  Овладение новыми источниками энергии заново поставит проблему перегрева Земли, особенно если эти источники энергии будут очень мощными и доступными для личного пользования. В этом случае для каждого пользователя польза от потребления будет перевешивать ущерб окружающей среде. Для реального перегрева планеты потребляемая мощность должна возрасти в сотни раз по сравнению с современной.
  9.2 Новые виды оружия, новые источники энергии, новые среды распространения и способы дальнодействия
  В будущем можно ожидать возникновения новых видов глобального оружия, основанного на новых физических принципах. Хотя сами новые принципы неизвестны, можно очертить общие черты любого абсолютного оружия, а именно:
  А) выделение огромного количества энергии;
  Б) способность к саморепликации;
  В) способность быстро действовать на всю территорию Земли;
  Г) дешевизна и лёгкость производства в кустарных условиях;
  Д) возможность достижения интеллектуального превосходства над людьми;
  Е) способ управлять людьми.
  Любой физический эффект, способный породить технологию, соответствующую хотя бы одному из приведённых выше критериев, является потенциальным кандидатом в абсолютное оружие.
  Глава 10. Риски, создаваемые космическими технологиями
  10.1 Гипотетические виды космического оружия
  Теоретически возможно облучение планеты с орбиты с помощью специальных спутников гамма-лучами (нечто вроде искусственного гамма-всплеска), нейтронами или другими опасными излучениями, проникающими сквозь атмосферу или взрывами бомб ,что приведёт к стерилизации поверхности. Возможно обрушение на планету дождя из роботов-метеоритов. В качестве космического оружия может применяться разгон космического корабля до околосветовой скорости и направление его на планету. Любой успех в создании высокоскоростных космических ракет и тем более звездолётов создаст мощнейшее оружие против планетной жизни, так как любой звездолёт можно разогнать и направить на планету. Облучение Земли возможно и при случайном взрыве какой-нибудь экспериментальной установки на орбите, но только одного полушария.
  Космические средства наблюдения позволяют обнаружить почти каждого человека и, соответственно, направить на него любое сверхточное оружие. Это могут быть, например, лазеры космического базирования или источники рентгеновского излучения. 'Преимущество' последних в том, что они могут передать смертельную дозу незаметно и с гораздо меньшими затратами энергии.
  Мы можем освоить космос быстро (то есть в течение XXI века) с помощью саморазмножающихся роботов или нанороботов. Но при этом, дав им команду размножаться в космическом пространстве и строить для нас там огромные сооружения с использованием материала астероидов и Луны, мы можем потерять над ними контроль. Однако в этом случае опасности для Земли из космоса придут после того, как мощные робототехнические технологии будут созданы, а значит, после того, как эти технологии начнут угрожать нам на Земле.
  Мы уже обсуждали выше проблемы отклонения астероидов от их орбит.
  Ещё один способ космической атаки - это развернуть в космосе гигантское зеркало, которое будет направлять на Землю солнечные лучи (или заслонять её от лучей Солнца). Но сделать его без помощи самовоспроизводящихся роботов трудно, а защитится от него относительно легко, так что это очень маловероятный вариант.
  Итак, мы можем заключить, что космические атаки маловероятны, потому что их перекрывают более быстрые процессы развития средств разрушения на Земле. Но терять из виду этот риск не стоит.
  10.2 Ксенобиологические риски
  Риски, состоящие в том, что на Землю может быть занесена жизнь из космоса, принимались руководством НАСА всерьёз, начиная с момента полёта на Луну. Хотя можно было утверждать, что поверхность Луны стерильна с очень высокой вероятностью, астронавты, вернувшиеся с Луны, были подвергнуты карантину. Это демонстрирует грамотный подход к рискам с очень низкой вероятностью, которые, однако, могут принести неограниченно большой ущерб.
  Предположения о том, что вирусы гриппа могут приходить к нам из хвостов комет является, очевидно, ложным, поскольку вирусы - это узкоспециализированные паразиты, которые не могут существовать без хозяев. Реальный риск мог бы представлять высоко всеядный микроорганизм с химической структурой, значительно отличающейся от земной, перед которым у земной биосферы не было бы защиты. По мере освоения космического пространства и организации возвращаемых экспедиций на различные космические тела, в том числе во время планируемой экспедиции на Марс, возрастает риск встретить такого незваного пришельца и по ошибке завезти его на Землю.
  Вместе с тем, такой риск на порядки меньше риска создания на Земле аналогичного опасного микроорганизма или синтетической жизни (анимата).
  А. В. Архипов исследует возможность так называемой 'космической археологии' на Луне [Архипов 1994]. Он предполагает, что Луна могла бы быть идеальным местом для поисков следов древних посещений Земли космическими кораблями инопланетян и предлагает искать на Луне регулярные структуры, которые могли бы быть их следами. Таких следов по официальным данным пока обнаружено не было. Тем не менее, если мы когда-либо встретим следы другой цивилизации, они могут содержать опасные технологии, устройства или компьютерные программы. Подробнее этот вопрос обсуждается в главе 'риски, связанные с SETI', и всё, что там сказано про SETI, может быть верно и относительно возможных успехов космической археологии. (Вернор Виндж описывает в своём романе 'Пламя над бездной' именно такой сценарий: космическая археология привела к обнаружению и запуску опасной компьютерной программы, развившийся в сверхсильный искусственный интеллект и создавший риск глобальной катастрофы.)
  Отдельной статьёй можно обозначить риск воскрешения опасных бактерий из древнего замороженного льда на Земле. Если бы на Земле существовали предшествующие цивилизации, то был бы риск столкнуться с оставленными ими знаниями или артефактами, но современная наука отрицает возможность существования таких цивилизаций (по крайней мере в последние несколько миллионов лет), так как они бы потребили оставшиеся нетронутыми ресурсы (нефть, металл) и оставили после себя следы в виде перемешивания биологических видов между континентами, подобно тому, как это делает человек.
  Если бы мы нашли след древних цивилизаций, когда-либо живших на Земле, это тоже могло бы означать некий риск, так как эти цивилизации вымерли, и этому должна была быть некая причина, которая может быть всё ещё актуальна. Например, по одной из гипотез неандертальцы вымерли от прионной инфекции, и раскапывая их остатки, мы рискуем воскресить и инфекцию. Однако отсутствие каких-либо артефактов, сохранность руд и смешений генотипов растений и животных говорит с высокой вероятностью о том, что в прошлом не было технологических цивилизаций, сопоставимых с современной человеческой.
  10.3 Столкновение с превосходящими нас разумными силами во Вселенной
  И религиозные сценарии о втором пришествии, и идеи об инопланетянах, и идеи о том, что мы живём в мире, смоделированном разумными существами - все эти идеи имеют в виду, что есть превосходящие нас разумные силы, которые могут внезапно и необратимо вмешаться в нашу жизнь. Опять же трудно оценить вероятность такого рода событий из-за их нестатистической природы. И если мы можем уменьшить вероятность гибели от любых экспериментов, просто запретив какие-либо эксперименты, то в данной ситуации от нас почти ничего не зависит. Чем шире человечество будет распространяться в пространстве и заявлять о себе, тем больше шанс, что рано или поздно оно кого-нибудь в нём встретит. Иначе говоря, вероятность встречи с другими разумными силами растёт,.. а по опыту земной истории, например, открытия Америки, мы знаем, что выдержать встречу с превосходящей культурой почти невозможно.
  Вероятность столкновения с иными разумными существами в первую очередь зависит от нашей оценки плотности разумных цивилизаций во Вселенной. Сейчас она принимается крайне низкой. Разумная жизнь предполагается уникальным явлениям в наблюдаемой Вселенной, но прямых доказательств этому нет.
  Шансы на то, что инопланетяне впервые прилетят к нам на звездолётах именно сейчас, а не раньше или позже на десятки миллионов лет, из статистических соображений исчезающе малы (меньше одного к миллиону). Следовательно, остаются два варианта:
  1) Внезапное столкновение с некой разумной силой по мере экспансии в космосе. Экспансия в космосе здесь подразумевает не только космические полёты, но и всё более дальнее прослушивание космоса радиотелескопами (см. далее главу риски SETI).
  2) Мы уже давно находимся под контролем или даже созданы некой разумной силой.
  Один из вариантов такого сценария - это столкновение не с самими разумными силами, а с последствиями их деятельности. Например, если некая инопланетная цивилизация произвела опасный эксперимент, который её погубил, его последствия могут распространяться по Вселенной. Это может быть или распад метастабильного вакуума, как пишет Дж. Лесли, или распространение примитивных пожирающих всё нанороботов. В качестве примера можно привести то, что Марс и спутники Юпитера уже подверглись риску заражения земными микроорганизмами от межпланетных станций - хотя самого человеческого разума на них нет, и ещё долго не будет. Иначе говоря, опасные побочные эффекты от разумной жизни в космосе могут распространяться гораздо быстрее, чем сам разум.
  Мы можем также столкнуться с волной с саморазмножающихся нанороботов, когда-то давным-давно запущенных другой цивилизацией и относительно бесконтрольно распространяющейся по вселенной. Это было бы нечто вроде космической 'серой слизи'. Подобное описывает С. Лем в романе 'Непобедимый' и Ф. Хойл в романе "Черное облако'. Хотя вероятность того, что волна распространяющихся и имеющих программу уничтожать все встречающиеся цивилизации нанороботов именно сейчас достигнет Солнечной системы - мала, можно предположить, что она достигла ее уже давно. С одной стороны, такие нанороботы могли бы переработать всё вещество Солнечной системы в себя и построить гигантские ускорители из него, чтобы распространяться как можно быстрее. Но такую звёздную систему мы наблюдать не можем - нас в ней не возникнет. Другой вариант состоит в том, что эти нанороботы просто контролируют звёздную систему. Для этого только небольшое количество таких нанороботов должно находиться на поверхности всех планет. Это следует и из соображений энергии - для того, чтобы поддерживать в активном состоянии планету, целиком состоящую из нанороботов, нужно очень много энергии. А для поверхностного слоя - не много. Эти нанороботы могут обладать большими способностями к мимикрии, то есть обнаружить их случайно под микроскопом довольно трудно. Такие нанороботы могли бы формировать странно ведущие себя облака в небе - и тут можно вспомнить о наблюдениях НЛО. Интеллект таких нанороботов может быть искусственно ограничен, с тем чтобы они не могли пережить свою собственную Сингулярность и не представлять затем опасности для своих бывших хозяев. Эта ограниченность интеллекта может служить объяснением некоторым абсурдным моментам в наблюдениях НЛО. Главный риск состоит в том, что в таких инопланетных нанороботах должна быть заложена программа по уничтожению цивилизаций, которые могли бы создать своих нанороботов, могущих угрожать их господству на охраняемой территории. А мы уже подходим к этой границе. Достаточно один раз запустить такой процесс, и он будет идти до бесконечности. Например, если скорость распространения нанороботов составляет 0.1 скорости света, то за миллиард лет они освоят сферу радиусом в 100 млн. световых лет. Это может объяснять молчание Вселенной, если их программой является приостановка развития других цивилизаций.
  Хотя у нас нет оснований считать возможных инопланетян враждебными, принцип предосторожности заставляет нас допустить это. Наихудшим выражением враждебности было бы стремление таких инопланетян стерилизовать окружающий космос, например, чтобы в будущем не иметь конкурентов. Есть предположение, что такая враждебная цивилизация могла бы разбросать по всей галактике некие наблюдательные станции, названные в одном фантастическом романе 'берсеркерами', которые в случае обнаружения радиосигналов от разумной жизни направляются к ней и атакуют её. Это предположение крайне маловероятно, так как, если речь идёт о действительно 'продвинутой' цивилизации, то она могла бы разбросать такие станции около каждой солнцеподобной звезды, и мы бы давно подверглись её атаке (но здесь нельзя исключить действия эффекта наблюдательной селекции, в силу которого мы могли дожить до XXI века только у той звезды, рядом с которой нет контролирующей станции, как бы мала ни была эта вероятность.)
  Опасным считается и отправление сигналов в космос - METI, так как это возможно может выдать наше местоположение другим цивилизациям. Однако эти усилия, видимо, перекрываются тем, что радиоизлучение Земли и без того вполне заметно, а также тем, что эти сигналы ушли на небольшое расстояние (менее 100 световых лет - то есть сфера, включающая только несколько тысяч звёзд), а на таком расстоянии вряд ли есть цивилизации, которые могут до нас долететь со скоростью света, но ни разу этого не делали. В Соединённых Штатах действует закон, запрещающий посылку сообщений в космос. Поэтому все подобные эксперименты проводятся на радиотелескопе в Евпатории. При этом существуют вычисления, показывающие, что вероятность того, что наше случайное сообщение к кому-нибудь попадёт - ничтожно мала [Zaitsev 2007]. Жёстким критиком METI является Дэвид Брин , который полагает, что узко сфокусированные лучи, направляемые точно на выбранную звезду, могут быть гораздо более заметны, чем фоновое излучение земных телестанций и случайное движение по небу пучков лучей военных радиолокаторов, и предлагает подождать с METI, пока мы не станем более зрелой цивилизацией. Посылка сигналов METI - необратимое действие, и если через 50 лет мы передумаем, то не сможем догнать и остановить посланные раньше сигналы. Россия впереди планеты всей в организации METI, хотя по факту за всю историю было организовано только несколько передач. Это поднимает интересный методологический аспект проблемы: несмотря на то, что большинство учёных против посылки сигналов в космос, всё равно есть люди, которые считают себя в праве решать за всё человечество в отношении того, что на самом деле для него хорошо. Сторонники METI утверждают, что сильные цивилизации, если они есть, и так знают о нас, так как обладают невероятно мощными средствами наблюдения, а наши послания адресованы только тем цивилизациям, которые находятся на одном уровне с нами. В этом рассуждении есть логическая неточность, поскольку цивилизации одного уровня с нами рано или поздно становятся, если это вообще возможно, сильными космическими цивилизациями, и если это произойдёт со слабой цивилизацией, получившей только наш сигнал, то первым местом, куда они полетят, будет Солнечная система. Дэвид Брин полагает, что если мы считаем другие цивилизации альтруистичными, то факт молчания космоса должен нам подсказать, что нам следует последовать их примеру, а не кричать о себе на весь тёмный лес - может быть, они знают что-то, что не знаем мы.
  Кроме того, обнаружение линий кислорода в атмосферах планет говорит только о наличии на них жизни, но не разума, а отправленный радиосигнал выдаёт наличие разума, его уровень и много другой ценной информации. Радиосигнал обнаружить значительно проще, чем линии кислорода: мы до сих пор не располагаем необходимыми космическими телескопами, чтобы наблюдать визуально хотя бы ближайшие планеты земного типа и других звёзд, однако уже прослушиваем тысячи и миллионы звёзд в рамках проектов SETI. Значит радиосигнал обнаружить дешевле, и его можно обнаружить на большем расстоянии. Иначе говоря, даже для продвинутых цивилизаций радиус, на котором они могут обнаруживать радиосигналы, превосходит радиус, на котором они могут обнаруживать линии кислорода, и, таким образом, поиск радиосигналов остаётся для них эффективным способом обнаружения инопланетных цивилизаций. Кроме того, вступив в диалог с некой цивилизацией, мы всё равно рискуем подвергнуться информационной атаке в духе описанной далее SETI-атаки, а также физической атаке в духе искусственного направленного гамма-всплеска, или отправки враждебных нанороботов, или другого, неизвестного нам способа воздействия.
  Однако METI обретает смысл как зов о помощи или попытка организовать своего рода 'цифровое бессмертие', если окажется, что глобальная катастрофа неизбежна. В этом случае отправка описания истории человечества, его культуры и кода ДНК в цифровой форме даёт призрачный шанс на то, что кто-то когда-нибудь этот сигнал поймает и воскресит людей. Возможен вариант и физической 'панспермии' с распространением в космосе множества песчинок с образцами ДНК человека и некоторыми посланиями - подобно тому, как потерпевшие кораблекрушение бросают в море бутылку с запиской.
  Если мы живём в смоделированном мире (подробнее этот вопрос будет обсуждаться далее), то шансы того, что эту симуляцию 'выключат', растут по мере того, как она становится всё более ресурсоёмкой. А она будет становиться более ресурсоёмкой, по мере роста населения Земли, но особенно, когда люди начнут создавать свои компьютеры со своими симуляциями. Это в определённом смысле иллюстрируется математическим принципом: множество не может содержать само себя как подмножество.
  Также если Земля давно наблюдается некими разумными силами (сценарий космического заповедника), то они могут решить вмешаться в ход человеческой истории, когда она достигнет некоего неприемлемого для них, но неизвестного нам порога (скажем, создание ИИ). Например, люди заботятся о слонах в заповедниках, но если их численность превышает критическую, то целые стада слонов в некоторых африканских заповедниках отстреливаются с вертолётов.
  Глава 11. Риски, связанные с программой SETI
  В 1959 году в журнале Nature вышла первая статья по проблемам поиска внеземного разума во Вселенной [Cocconi, Morrison 1959]. C тех пор развиваются два направления по поиску внеземного разума во Вселенной, - это SETI, которое в основном осуществляется посредством прослушивания неба с помощью радиотелескопов (также есть поиски сигналов в оптическом диапазоне и более экзотические варианты) и в виде METI (Messaging to Extraterrestrial Intelligence) - то есть отправки наших сигналов к звёздам с помощью радиопередающих антенн. METI с самого начала рассматривалась как деятельность, могущая быть опасной, поскольку есть гипотетический риск, что наши сигналы привлекут к нам внимание внеземных цивилизаций, которые настроены к нам враждебно. В противовес этому пассивное наблюдение окружающей Вселенной воспринимается основной массой исследователей и широкой публики как полностью безопасная деятельность.
  Однако есть и альтернативная точка зрения, согласно которой SETI тоже может быть опасной деятельностью, и как мы постараемся показать далее, значительно более опасной, чем отправка сигналов.
  Хотя поиски сигналов внеземного разума осуществляются уже более 40 лет, никаких сигналов пока найдено не было, и в связи с этим укрепилось мнение, что мы одиноки во Вселенной. Однако в действительности интенсивность поисков значительно выросла, и здесь нужно в первую очередь отметить проект ATA - Allen Telescope Array, который создаётся на частные средства одного из основателей Microsoft Пола Аллена [Торгашов 2008]. Если в первом проекте SETI в 1960-е годы осуществлялось прослушивание только двух ближайших звёзд, в 1970-е - сотен звёзд, а к 1990-м это число выросло до тысячи, то проект ATA предполагает прослушивание миллиона звёзд в радиусе тысячи световых лет 24 часа в сутки. Кроме того, будет вестись сканирование дальних областей Галактики на предмет обнаружения признаков деятельности сверхцивилизаций. Одновременно вести наблюдение будут 350 шестиметровых антенн, и мощные компьютеры будут обрабатывать поступающие данные. Таким образом, вероятность обнаружить внеземные цивилизации, если они есть, постоянно растёт. Вопрос о том, какова вообще вероятность того, что внеземные цивилизации существуют в наблюдаемом космосе, мы оставим за пределами нашего обзора. Мнение автора состоит в том, что такая вероятность есть, и было бы разумно (с точки зрения принципа предосторожности в оценке рисков) оценить её не менее, чем в 10 %. (Хотя ряд исследователей считают, что мы уникальны в наблюдаемой Вселенной, прямых доказательств этому пока нет.)
  В России уже много лет действует семинар по SETI при ГАИШ, выполняются работы по приёму и отправке сообщений. Большой резонанс произвела книга А. Д. Панова 'SETI и проблемы универсальной эволюции' [Панов 2007]. В ней показывается, что человеческая эволюция непрерывно ускоряется, и можно указать гипотетическую точку сингулярности, когда скорость этого роста станет бесконечной. Эта точка лежит в первой половине XXI века. Понятно, что бесконечный рост не может быть достигнут, и Панов предполагает, что переход на качественно новый уровень произойдёт через подключение к галактическому культурному полю посредством программ SETI. При этом Панов сознательно отказывается рассматривать риски, которые угрожают человечеству в будущем.
  Впервые идея и схема инопланетной атаки через SETI-сигналы была описана астрофизиком Ф. Хойлом в своём романе 'Андромеда', 1961 [Хойл, Эллиот 1966]. (В начале вышел сериал BBC 'A for Andromeda', который, к сожалению, не сохранился, за исключением одной серии, а затем на его основе был написан роман, в котором основная идея принадлежит Хойлу, а сюжетная линия - Джону Элиоту. Русский перевод вышел в 1966г.) Согласно сюжету, астрономы принимают инопланетный сигнал, который содержит описание некого компьютера и программу для него. Люди решаются создать этот компьютер, так как рассчитывают на военные применения и успех в холодной войне. И действительно, компьютер и его программа, проявляющая признаки разума, помогает проектировать более эффективные ракеты. Помимо того, этот компьютер порождает описание генетического кода некого существа. На основании этого кода выращивают разумное существо - девушку Андромеду, которая, работая вместе с компьютером, помогает создавать продвинутые технологии для военных. Сначала люди не доверяют ей, но потом идут на всё большие уступки, видя, какие полезные идеи она выдвигает. Однако главные герои романа понимают, что окончательные цели компьютера враждебны человеческой цивилизации, так как его подлинной целью является установление власти над миром, и уничтожают его, а девушка гибнет.
  Ганс Моравек в книге 'Дети ума' [Moravec 1988] предлагает похожий вид уязвимости: загрузку из космоса компьютерной программы, которая будет обладать искусственным интеллектом, соблазнит цивилизацию-хозяина новыми возможностями, размножится в миллионах копий и уничтожит хозяина, а затем использует его планету для рассылки множества своих копий.
  С научной точки зрения впервые эту проблему рассмотрел Р. Кэрриген, который написал статью 'Следует ли обеззараживать сигналы SETI' [Carrigan 2006], которую я перевёл на русский язык. В начале своих исследований проблемы Кэрриген высказал опасения, что неотфильтрованные сигналы из космоса загружаются на миллионы ничем не защищённых машин программы SETI-Home. (Суть программы SETI-Home состоит в том, что свободное время простаивающих компьютеров по всему миру используется для анализа сигналов, полученных радиотелескопами, и поиска в них закономерностей, которые могли бы быть признаками искусственных сигналов. Пакеты для обработки рассылаются в автоматическом режиме по Интернету.) Однако он встретил жёсткую критику со стороны программистов, которые указали на то, что, во-первых, область данных и область программ разделены, а во-вторых, компьютерные коды, на которых написаны программы, настолько уникальны, что угадать их невозможно, а, следовательно, случайная загрузка и исполнение опасного кода из космоса невозможна.
  В своей статье Кэрриген сосредотачивается на лёгкости передачи гигабайт данных на межзвёздные расстояния даже при современном уровне техники (приводятся соответствующие вычисления), а также указал, что межзвёздный сигнал может содержать некую наживку, которая побудит людей собирать опасное устройство по чертежам. При этом Кэрриген не отказался от гипотезы о том, что при некоторых обстоятельствах инопланетный вирус может заразить земные компьютеры напрямую и без человеческой помощи. (Например, если поступающие данные будут подвергнуты автоматическому анализу на предмет поиска в них алгоритмов и компьютерных программ.)
  На Земле был создан CosmicOS - способ записи самодостаточных сообщений, с использованием только 4 символов, которые могли бы быть однозначным образом интерпретированы как компьютерная программа и содержали бы в себе всё необходимое для своего исполнения. Цель создания такого языка - отправка сообщений инопланетным цивилизациям или далёким потомкам. И раз есть идея отправлять таким образом сообщения, то отсюда один шаг до поиска сообщений, закодированных таким же способом.
  В 2006 году была написана статья Е. Юдковски 'Искусственный интеллект как позитивный и негативный фактор глобального риска' [Yudkowsky 2008b], где он показал, что весьма вероятно, что возможен быстро развивающийся универсальный искусственный интеллект, что такой интеллект был бы крайне опасен в случае, если бы он был неверно запрограммирован и, наконец, что возможность появления такого ИИ и рисков с ним связанных, существенно недооценивается. Кроме того, Юдковски ввёл понятие Seed AI - зародыш ИИ - то есть минимальной программы, способной к неограниченному саморазвитию с сохранением неизменной главной цели. При этом размер Seed AI может быть всего на всего порядка сотен килобайт. (Например, типичным представителем Seed AI является младенец человека, при этом часть генокода, отвечающая за головной мозг, составляет 3% от всего генокода человека, имеющего объём в 500 мегабайт, то есть 15 мегабайт, а если учесть долю мусорной ДНК, то и ещё меньше.)
  В фантастическом романе В. Винджа 'Пламя над бездной' [Виндж 1991] хорошо показана атака враждебного искусственного интеллекта на уже сложившееся галактическое сообщество по информационным каналам связи. Также подобная SETI-атаке информационная атака инопланетян служит сюжетом рассказа Онджея Неффа 'Белая трость калибра 7.62' [Нефф 1985]. Более подробно я рассматриваю риски программы SETI в своей статье 'О возможных рисках программы SETI', которая опубликована в книге 'Война и ещё 25 сценариев конца света' [Турчин 2008].
  
   Глава 12. Риски, связанные с природными катастрофами
  12.1 Вселенские катастрофы
  Теоретически возможны катастрофы, которые изменят всю Вселенную как целое, по масштабу равновеликие Большому взрыву. Из статистических соображений вероятность их меньше чем 1 % в ближайший миллиард лет, как показали Бостром и Тегмарк [Bostrom, Tegmark 2005]. Однако истинность рассуждений Бострома и Тегмарка зависит от истинности их базовой посылки - а именно о том, что разумная жизнь в нашей Вселенной могла бы возникнуть и несколько миллиардов лет назад. Посылка эта базируется на том, что тяжёлые элементы, необходимые для существования жизни, возникли уже через несколько миллиардов лет после возникновения Вселенной, задолго до формирования Земли. Очевидно, однако, что степень достоверности, которую мы можем приписать этой посылке, меньше, чем 100 миллиардов к 1, поскольку у нас нет прямых её доказательств - а именно следов ранних цивилизаций. Более того, явное отсутствие более ранних цивилизаций (парадокс Ферми) придаёт определённую достоверность противоположной посылке - а именно, что человечество возникло исключительно, крайне маловероятно рано по отношению к большинству других возможных цивилизаций. Возможно, что существование тяжелых элементов - не единственное необходимое условие для возникновения разумной жизни, и есть и другие условия, например, что частота вспышек близких квазаров и гиперновых значительно уменьшилась (а плотность этих объектов действительно убывает по мере расширения Вселенной и исчерпания водородных облаков). Бостром и Тегмарк пишут: 'Можно подумать, что раз жизнь здесь, на Земле, выжила в течение примерно 4 Гигалет, такие катастрофические события должны быть исключительно редкими. К сожалению, этот аргумент несовершенен, и создаваемое им чувство безопасности - фальшиво. Он не принимает во внимание эффект наблюдательной селекции, который не позволяет любому наблюдателю наблюдать что-нибудь ещё, кроме того, что его вид дожил до момента, когда они сделали наблюдение. Даже если бы частота космических катастроф была бы очень велика, мы по-прежнему должны ожидать обнаружить себя на планете, которая ещё не уничтожена. Тот факт, что мы всё ещё живы, не может даже исключить гипотезу, что в среднем космическое пространство вокруг стерилизуется распадом вакуума, скажем, каждые 10 000 лет, и что наша собственная планета просто была чрезвычайно удачливой до сих пор. Если бы эта гипотеза была верна, перспективы будущего были бы унылы'. И хотя далее Бостром и Тегмарк отвергают предположение о высокой частоте 'стерилизующих катастроф', основываясь на позднем времени существования Земли, мы не можем принять этот их вывод, поскольку, как мы говорили выше, посылка, на которой он основан, ненадёжна. Это не означает, однако, неизбежность близкого вымирания в результате вселенской катастрофы. Единственный наш источник знаний о возможных вселенских катастрофах - теоретическая физика, поскольку, по определению, такой катастрофы ни разу не случалось за время жизни Вселенной (за исключением самого Большого Взрыва). Теоретическая физика порождает огромное количество непроверенных гипотез, а в случае вселенских катастроф они могут быть и принципиально непроверяемыми. Отметим также, что исходя из сегодняшнего понимания, мы никаким образом не можем ни предотвратить вселенскую катастрофу, ни защитится от неё (хотя, может быть, можем ее спровоцировать - см. раздел об опасных физических экспериментах.) Обозначим теперь список возможных - с точки зрения некоторых теоретиков - вселенских катастроф:
  1. Распад фальшивого вакуума. Проблемы фальшивого вакуума мы уже обсуждали в связи с физическими экспериментами.
  2. Столкновение с объектом в многомерном пространстве - браной. Есть предположения, что наша Вселенная - это только объект в многомерном пространстве, называемый браной (от слова 'мембрана'). Большой взрыв - это результат столкновения нашей браны с другой браной. Если произойдёт ещё одно столкновение, то оно разрушит сразу весь наш мир.
  3. Большой Разрыв. Недавно открытая тёмная энергия приводит, как считается, ко всё более ускоренному расширению Вселенной. Если скорость расширения будет расти, то когда-нибудь это разорвёт Солнечную систему. Но будет это через десятки миллиардов лет по современным теориям [Caldwell et al 2003].
  4. Переход остаточной тёмной энергии в материю. Недавно было высказано предположение, что эта тёмная энергия может внезапно перейти в обычную материю, как это уже было во времена Большого взрыва .
  5. Другие классические сценарии гибели Вселенной - это тепловая смерть, связанная с ростом энтропии и выравниваем температуры во Вселенной и сжатие Вселенной благодаря гравитационным силам. Но они опять же отстоят от нас на десятки миллиардов лет.
  6. Можно предположить существование некого физического процесса, который делает Вселенную непригодной для обитания после некоторого момента времени (как ее делало непригодной для обитания интенсивное излучение ядер галактик - квазаров в первые миллиарды лет существования). Например, таким процессом может быть испарение первородных чёрных дыр за счёт хокинговского излучения. Если это так, мы существуем в узком промежутке времени, когда Вселенная обитаема - точно также, как Земля находится в узком пространстве обитаемой зоны вокруг Солнца, а Солнце - в узкой области галактики, где частота его вращения синхронизирована с вращением ветвей галактики, благодаря чему оно не попадает внутрь этих ветвей и не подвергается воздействию сверхновых.
  7. Если наш мир некоторым образом возник из ничего совершенно неведомым нам образом, то что ему мешает также внезапно исчезнуть?
  12.2 Геологические катастрофы
  Геологические катастрофы убивают в миллионы раз больше людей, чем падения астероидов, однако они, исходя из современных представлений, ограничены по масштабам. Всё же это заставляет предположить, что глобальные риски, связанные с процессами внутри Земли, превосходят космические риски. Возможно, что есть механизмы выделения энергии и ядовитых газов из недр Земли, с которыми мы просто не сталкивались в силу эффекта наблюдательной селекции.
  12.3 Извержения сверхвулканов
  Вероятность извержения сверхвулкана соразмерной интенсивности значительно больше, чем вероятность падения астероида. Однако предотвратить и даже предсказать это событие современная наука не в силах. (В будущем, возможно, удастся постепенно стравливать давление из магматических камер, но это само по себе опасно, так как потребует сверления их кровель.) Основная поражающая сила сверхизвержения - вулканическая зима. Она короче ядерной, так как частицы вулканического пепла тяжелее, но их может быть значительно больше. В этом случае вулканическая зима может привести к новому устойчивому состоянию - новому ледниковому периоду.
  Крупное извержение сопровождается выбросом ядовитых газов - в том числе соединений серы. При очень плохом сценарии это может дать значительное отравление атмосферы. Это отравление не только сделает её малопригодной для дыхания, но и приведёт к повсеместным кислотным дождям, которые сожгут растительность и лишат людей урожаев. Возможны также большие выбросы диоксида углерода и водорода.
  Наконец, сама вулканическая пыль опасна для дыхания, так как засоряет лёгкие. Люди легко смогут обеспечить себя противогазами и марлевыми повязками, но не факт, что их хватит для скота и домашних животных. Кроме того, вулканическая пыль попросту засыпает огромные поверхности, а также пирокластические потоки могут распространяться на значительные расстояния. Наконец, взрывы сверхвулканов порождают цунами.
  Всё это означает, что люди, скорее всего, переживут извержение сверхвулкана, но оно со значительной вероятностью отправит человечество на одну из постапокалиптических стадий. Однажды человечество оказалось на грани вымирания из-за вулканической зимы, вызванной извержением вулкана Тоба 74 000 лет назад. Однако современные технологии хранения пищи и строительства бункеров позволяют значительной группе людей пережить вулканическую зиму такого масштаба.
  В древности имели место колоссальные площадные извержения вулканов, которые затопили миллионы квадратных километров расплавленной лавой - в Индии на плато Декан во времена вымирания динозавров (возможно, извержение было спровоцировано падением астероида с противоположной стороны Земли, в Мексике), а также на Восточно-Сибирской платформе. Есть сомнительное предположение, что усиление процессов водородной дегазации на русской равнине является предвестником появления нового магматического очага . Также есть сомнительное предположение о возможности катастрофического растрескивания земной коры по линиям океанических разломов и мощных взрывов пара под корой .
  Интересным остаётся вопрос о том, увеличивается ли общая теплота внутри Земли за счёт распада радиоактивных элементов, или наоборот, убывает за счёт охлаждения теплоотдачей. Если увеличивается, то вулканическая активность должна возрастать на протяжении сотен миллионов лет. (А. Азимов пишет в книге 'Выбор катастроф' [Азимов 1981], в связи с ледниковыми периодами: 'По вулканическому пеплу в океанских отложениях можно заключить, что вулканическая деятельность в последние 2 миллиона лет была примерно в четыре раза интенсивнее, чем за предыдущие 18 миллионов лет'.)
  12.4 Падение астероидов
  Падение астероидов и комет часто рассматривается как одна из возможных причин вымирания человечества. И хотя такие столкновения вполне возможны, шансы тотального вымирания в результате них, вероятно, преувеличиваются. См. статьи Пустынского 'Последствия падения на Землю крупных астероидов' [Пустынский 1999] и Вишневского 'Импактные события и вымирания организмов' [Вишневский б.д.]. В последней статье делается вывод, что 'астероид диаметром около 60 км может стать причиной гибели всех высокоорганизованных форм жизни на Земле'. Однако такого размера астероиды падают на Землю крайне редко, раз в миллиарды лет. (Упавший астероид, одновременный вымиранию динозавров, имел только 10 км в диаметре, то есть был примерно в 200 раз меньше по объёму, и большая часть биосферы благополучно пережила это событие.)
  Падение астероида Апофис, которое могло бы произойти в 2029 году (сейчас вероятность оценивается тысячными долями процента), никак не может погубить человечество. Размер астероида - около 400 метров, энергия взрыва - порядка 800 мегатонн, вероятное место падения - Тихий океан и Мексика. Тем не менее, астероид вызвал бы цунами, равносильное индонезийскому 2004 года (только 1 процент энергии землетрясения переходит в цунами, а энергия землетрясения тогда оценивается в 30 гигатонн) по всему Тихому океану, что привело бы к значительным жертвам, но вряд ли бы отбросило человечество на постапокалиптическую стадию.
  2,2 миллиона лет назад комета диаметром 0,5-2 км (а значит, со значительно большей энергией) упала между южной Америкой и Антарктидой (Элтанинская катастрофа ). Волна в 1 км высотой выбрасывала китов в Анды. Тем не менее, предки современных людей, жившие в Африке, не пострадали. В окрестностях Земли нет астероидов с размерами, которые могли бы уничтожить всех людей и всю биосферу. Однако кометы такого размера могут приходить из облака Оорта. В статье Нейпьера и др. 'Кометы с низкой отражающей способностью и риск космических столкновений' [Napier et al 2004] показывается, что число опасных комет может существенно недооцениваться, так как наблюдаемое количество комет в 1000 раз меньше ожидаемого - это связано с тем, что кометы после нескольких пролётов вокруг Солнца покрываются тёмной коркой, перестают отражать свет и становятся незаметными. Такие тёмные кометы необнаружимы современными средствами. Кроме того, выделение комет из облака Оорта зависит от приливных сил, создаваемых Галактикой на Солнечную систему. Эти приливные силы возрастают, когда Солнце проходит через более плотные области Галактики, а именно, через спиральные рукава и галактическую плоскость. И как раз сейчас мы проходим через галактическую плоскость, что означает, что в нынешнюю эпоху кометная бомбардировка в 10 раз сильнее, чем в среднем за историю Земли. Нейпьер связывает предыдущие эпохи интенсивных кометных бомбардировок с массовыми вымираниями 65 и 251 млн. лет назад.
  Международная группа Holocene Impact Working Group (группа исследований импактов в период Голоцена) собрала свидетельства о трёх столкновениях Земли с кометами километрового размера за последние 5000 лет. В то же время прежние оценки частоты таких столкновений говорят о том, что такие столкновения должны были иметь место только раз 500 000 лет. Это означает, как подчёркивает Нейпьер [Napier 2008], что мы живём в период эпизода бомбардировки, связанного с распадом крупной кометы, пришедшей из облака Оорта, и нынешняя частота бомбардировки примерно в 200 раз выше нормальной. Обломками этой кометы являются метеоритный поток Тауриды, комета Энке и Тунгусский метеорит. Однако неизвестно, какое число тёмных объектов скрывается в этих потоках.
  Основным поражающим фактором при падении астероида стала бы не только волнацунами, но и 'астероидная зима', связанная с выбросом частиц пыли в атмосферу. Падение крупного астероида может вызвать деформации в земной коре, которые приведут к извержениям вулканов. Кроме того, крупный астероид вызовет всемирное землетрясение, опасное в первую очередь для техногенной цивилизации.
  Более опасен сценарий интенсивной бомбардировки Земли множеством осколков. Тогда удар будет распределяться более равномерно и потребует меньшего количества материала. Эти осколки могут возникнуть в результате распада некого космического тела (см. далее об угрозе взрыва Каллисто), расщепления кометы на поток обломков (Тунгусский метеорит был, возможно, осколком кометы Энке), в результате попадания астероида в Луну или в качестве вторичного поражающего фактора от столкновения Земли с крупным космическим телом. Многие кометы уже состоят из групп обломков, а также могут разваливаться в атмосфере на тысячи кусков. Это может произойти и в результате неудачной попытки сбить астероид с помощью атомного оружия.
  Падение астероидов может провоцировать извержение сверхвулканов, если астероид попадёт в тонкий участок земной коры или в крышку магматического котла вулкана, или если сдвиг пород от удара растревожит отдалённые вулканы. Расплавленные железные породы, образовавшиеся при падении железного астероида, могут сыграть роль 'зонда Стивенсона' - если он вообще возможен, - то есть проплавить земную кору и мантию, образовав канал в недра Земли, что чревато колоссальной вулканической активностью. Хотя обычно этого не происходило при падении астероидов на Землю, лунные 'моря' могли возникнуть именно таким образом. Кроме того, излияния магматических пород могли скрыть кратеры от таких астероидов. Такими излияниями являются Сибирские трапповые базальты и плато Декан в Индии. Последнее одновременно двум крупным импактам (Чиксулуб и кратер Шивы). Можно предположить, что ударные волны от этих импактов, или третье космическое тело, кратер от которого не сохранился, спровоцировали это извержение. Не удивительно, что несколько крупных импактов происходят одновременно. Например, ядрам комет свойственно состоять из нескольких отдельных фрагментов - например, комета Шумейкера-Леви, врезавшаяся в Юпитер в 1994 году, оставила на нём пунктирный след, так как к моменту столкновения уже распалась на фрагменты. Кроме того, могут быть периоды интенсивного образования комет, когда Солнечная система проходит рядом с другой звездой. Или в результате столкновения астероидов в поясе астероидов .
  Гораздо опаснее воздушные взрывы метеоритов в несколько десятков метров диаметром, которые могут вызвать ложные срабатывания систем предупреждения о ядерном нападении, или попадания таких метеоритов в районы базирования ракет.
  Пустынский в своей статье приходит к следующим выводам, с которыми я полностью солидарен: 'Согласно оценкам, сделанным в настоящей статье, предсказание столкновения с астероидом до сих пор не гарантировано и является делом случая. Нельзя исключить, что столкновение произойдёт совершенно неожиданно. При этом для предотвращения столкновения необходимо иметь запас времени порядка 10 лет. Обнаружение астероида за несколько месяцев до столкновения позволило бы эвакуировать население и ядерно-опасные предприятия в зоне падения. Столкновение с астероидами малого размера (до 1 км диаметром) не приведёт к сколько-нибудь заметным общепланетным последствиям (исключая, конечно, практически невероятное прямое попадание в район скопления ядерных материалов). Столкновение с более крупными астероидами (примерно от 1 до 10 км диаметром, в зависимости от скорости столкновения) сопровождается мощнейшим взрывом, полным разрушением упавшего тела и выбросом в атмосферу до нескольких тысяч куб. км. породы. По своим последствиям это явление сравнимо с наиболее крупными катастрофами земного происхождения, такими как взрывные извержения вулканов. Разрушение в зоне падения будут тотальными, а климат планеты скачкообразно изменится и придёт в норму лишь через несколько лет (но не десятилетий и столетий!) Преувеличенность угрозы глобальной катастрофы подтверждается тем фактом, что за свою историю Земля перенесла множество столкновений с подобными астероидами, и это не оставило доказано заметного следа в её биосфере (во всяком случае, далеко не всегда оставляло). Лишь столкновение с более крупными космическими телами (диаметром более ~15-20 км) может оказать более заметное влияние на биосферу планеты. Такие столкновения происходят реже, чем раз в 100 млн. лет, и у нас пока нет методик, позволяющих даже приблизительно рассчитать их последствия' [Пустынский 1993].
  Итак, вероятность гибели человечества в результате падения астероида в XXI веке крайне мала. Однако вероятность падения тела километрового диаметра, которое может серьёзно подорвать нашу цивилизацию, составляет около 6%, если принять тот факт, что мы живём в период интенсивной бомбардировки (если принять частоты: три события за 5000 лет). По мере развития нашей цивилизации мы можем неограниченно эту вероятность уменьшать. Однако крупные катастрофы возможны. Есть некоторый шанс засорения космического пространства крупными осколками в результате космической войны в будущем.
  Кроме того, разрушение комет может вызвать интенсивное запыление верхних слоёв земной атмосферы даже без крупных импактов, как подчёркивает Нейпьер.
  12.5 Зона поражения в зависимости от силы взрыва
  Здесь мы рассмотрим поражающее действие взрыва в результате падения астероида (или по любой другой причине). Подробный анализ с аналогичными выводами см. в статье Пустныского.
  Зона поражения растёт очень медленно с ростом силы взрыва, что верно как для астероидов, так и для сверхмощных атомных бомб. Хотя энергия воздействия падает пропорционально квадрату расстояния от эпицентра, при гигантском взрыве она падает гораздо быстрее, во-первых, из-за кривизны Земли, которая как бы защищает то, что находится за горизонтом (поэтому атомные взрывы наиболее эффективны в воздухе, а не на земле), а во-вторых, из-за того, что способность материи упруго передавать ударную волну ограничена неким пределом сверху, и вся энергия сверх того не передаётся, а превращается в тепло в районе эпицентра. Например, в океане не может возникнуть волна выше его глубины, а поскольку эпицентр взрыва точечный (в отличие от эпицентра обычного цунами, который представляет собой линию разлома), она затем будет убывать линейно в зависимости от расстояния. Избыточное тепло, образовавшееся при взрыве, или излучается в космос, или остаётся в виде озера расплавленного вещества в эпицентре. Солнце доставляет за сутки на Землю световую энергию порядка 1000 гигатонн (10 джоулей), поэтому роль теплового вклада сверхвзрыва в общую температуру Земли невелика. (С другой стороны, механизмом распространения тепла от взрыва будет скорее не движение потоков раскалённого воздуха, а выброшенные взрывом кубические километры осколков с массой, сопоставимой с массой самого астероида, но меньшей энергии, многие из которых будут иметь скорость, близкую к первой космической, и в силу этого лететь по баллистическим траекториям, как летят межконтинентальные ракеты. За час они достигнут всех уголков Земли, и хотя они, действуя как кинетическое оружие, поразят не каждую точку на поверхности, они выделят при своём входе в атмосферу огромные количества энергии, то есть прогреют атмосферу по всей площади Земли, возможно, до температуры возгорания дерева, что ещё более усугубит процесс.)
  Мы можем ориентировочно считать, что зона разрушения растёт пропорционально корню 4 степени от силы взрыва (точные значения определяются военными эмпирически в результате испытаний и лежат между степенями 0,33 и 0,25, при этом зависят от сила взрыва, высоты, и т. д.). При этом каждая тонна массы метеорита даёт примерно 100 тонн тротилового эквивалента энергии - в зависимости от скорости столкновения, которая обычно составляет несколько десятков километров в секунду. (В этом случае каменный астероид в 1 куб. км. размером даст энергию в 300 Гигатонн. Плотность комет значительно меньше, но они могут рассыпаться в воздухе, усиливая удар, и, кроме того, движутся по крутым орбитам с гораздо большими скоростями.) Принимая, что радиус сплошного поражения от водородной бомбы в 1 мегатонну составляет 10 км, мы можем получить радиусы поражения для астероидов разных размеров, считая, что радиус поражения убывает пропорционально четвёртой степени сила взрыва. Например, для астероида в 1 куб. км это будет радиус в 230 км. Для астероида диаметром в 10 км это будет радиус в 1300 км. Для 100 км астероида это будет радиус поражения порядка 7000 км. Для того, чтобы этот радиус гарантированного поражения стал больше, чем половина широты Земли (20 000 км), то есть гарантированно покрывал всю Землю, астероид должен иметь размеры порядка 400 км. (Если считать, что радиус поражения растёт как корень третьей степени, то это будет диаметр уничтожающего всё астероида около 30 км. Реальное значение лежит между этими двумя цифрами (30-400 км), сюда же попадает и оценка Пустынского, выполненная им независимо: 60 км.)
  Хотя данные вычисления крайне приблизительны, из них видно, что даже тот астероид, который связывают с вымиранием динозавров, вовсе не поразил всю территорию Земли, и даже не весь континент, где он упал. А вымирание, если и было связано с астероидом (сейчас считается, что там сложная структура причин), то было вызвано не самим ударом, а последующим эффектом - 'астероидной зимой', связанной с переносом пыли атмосферой. Также столкновение с астероидом может вызывать электромагнитный импульс, как у атомной бомбы, за счёт быстрого движения плазмы. Кроме того, интересно задаться вопросом, не могут ли возникнуть термоядерные реакции при столкновении с кометой, если её скорость будет близка к максимально возможной около 100 км/сек (комета на встречном курсе, наихудший случай), так как в точке удара может возникнуть температура в миллионы градусов и огромное давление, как при имплозии в ядерной бомбе. И даже если вклад этих реакций в энергию взрыва будет мал, он может дать радиоактивное загрязнение.
  Сильный взрыв создаст сильное химическое загрязнение всей атмосферы, хотя бы окислами азота, которые будут образовывать дожди из азотной кислоты. И сильный взрыв засорит атмосферу пылью, что создаст условия для ядерной зимы.
  Из сказанного следует, что атомная сверхбомба была бы страшна не силой своего взрыва, а количеством радиоактивных осадков, которые бы она произвела. Кроме того, видно, что земная атмосфера выступает в качестве мощнейшего фактора распространения воздействий.
  12.6 Солнечные вспышки и увеличение светимости
  То, что нам известно о Солнце, не даёт оснований для беспокойства. Солнце не может взорваться. Только наличие неизвестных нам или крайне маловероятных процессов может привести к вспышке (коронарному выбросу), которая сильно опалит Землю в XXI веке. Но у других звёзд бывают вспышки, в миллионы раз превосходящие солнечные. Однако изменение светимости Солнца оказывает влияние на изменение климата Земли, что доказывает совпадение времени малого ледникового периода в XVII веке с минимумом солнечных пятен Маундера . Возможно, с колебаниями светимости связаны и ледниковые периоды.
  Процесс постепенного увеличения светимости Солнца (на 10 процентов каждые миллиард лет ) приведёт к выкипанию океанов - с учётом других факторов потепления -в течение 1 млрд. лет (то есть гораздо раньше, чем Солнце станет красным гигантом и, тем более, белым карликом). Однако по сравнению с исследуемым нами промежутком в 100 лет этот процесс незначителен (если только он не сложился вместе с другими процессами, ведущими к необратимому глобальному потеплению - см. далее).
  Есть предположения, что по мере выгорания водорода в центральной части Солнца, что уже происходит, будет расти не только светимость Солнца (светимость растёт за счёт роста его размеров, а не температуры поверхности), но и нестабильность его горения. Возможно, что последние ледниковые периоды связаны с этим уменьшением стабильности горения. Это понятно на следующей метафоре: когда в костре много дров, он горит ярко и устойчиво, но когда большая часть дров прогорает, он начинает то немного гаснуть, то ярко вспыхивать снова, когда находит несгоревшую ветку.
  Уменьшение концентрации водорода в центре Солнца может спровоцировать такой процесс как конвекцию, которая обычно в ядре Солнца не происходит, в результате чего в ядро поступит свежий водород [Шкловский 1984]. Возможен ли такой процесс, будет ли он плавным или катастрофическим, займёт ли годы или миллионы лет, трудно сказать. Шкловский предполагал, что в результате конвекций температура Солнца падает каждые 200 млн. лет на период порядка 10 млн., и что мы живём в середине такого периода. То есть опасно завершение этого процесса, когда свежее топливо наконец поступит в ядро и светимость Солнца возрастёт. (Однако это маргинальная теория, и в настоящий момент разрешена одна из основных проблем, которая её породила - проблема солнечных нейтрино.)
  Важно, однако, подчеркнуть, что как сверхновая или новая Солнце, исходя из наших физических представлений, вспыхнуть не может.
  Вместе с тем, чтобы прервать разумную жизнь на Земле, Солнцу достаточно разогреться на 10 процентов за 100 лет (что повысило бы температуру на Земле на 10-20 градусов без парникового эффекта, но с учётом парникового эффекта, скорее всего, оказалось бы выше критического порога необратимого потепления). Такие медленные и редкие изменения температуры звёзд солнечного типа было бы трудно заметить астрономическими методами при наблюдении солнцеподобных звёзд - поскольку только недавно достигнута необходимая точность оборудования. (Кроме того, возможен логический парадокс следующего вида: солнцеподобные звёзды - это стабильные звёзды спектрального класса G7 по определению. Не удивительно, что в результате их наблюдения мы обнаруживаем, что эти звёзды стабильны.)
  Итак, один из вариантов глобальной катастрофы состоит в том, что в результате неких внутренних процессов светимость Солнца устойчиво возрастёт на опасную величину (и мы знаем, что рано или поздно это произойдёт). В настоящий момент Солнце находится на восходящем вековом тренде своей активности, но никаких особых аномалий в его поведении замечено не было. Вероятность того, что это случится именно в XXI веке, - ничтожно мала.
  Второй вариант глобальной катастрофы, связанной с Солнцем, состоит в том, что сложатся два маловероятных события - на Солнце произойдёт очень крупная вспышка и выброс этой вспышки будет направлен на Землю. В отношении распределения вероятности такого события можно предположить, что здесь действует тот же эмпирический закон, что и относительно землетрясений и вулканов: 20-кратный рост энергии события приводит к 10-кратному снижению его вероятности (закон повторяемости Гутенберга-Рихтера). В XIX веке наблюдалась вспышка в 5 раз более сильная, по современным оценкам, чем самая сильная вспышка в XX веке. Возможно, что раз в десятки и сотни тысяч лет на Солнце происходят вспышки, аналогичные по редкости и масштабности земным извержениям супервулканов. Всё же это крайне редкие события. Крупные солнечные вспышки, даже если они не будут направлены на Землю, могут несколько увеличить солнечную светимость и привести к дополнительному нагреву Земли. (Обычные вспышки дают вклад не более 0,1 процента.) Верхний предел энергии Солнечной вспышки, как показывает Арнон Дар [Dar 2008], составляет одну треть от энергии, ежесекундно излучаемой Солнцем, и ограничен полной энергией магнитного поля Солнца.
  В настоящий момент человечество неспособно как-либо повлиять на процессы на Солнце. Идеи сброса водородных бомб на Солнце для инициирования термоядерной реакции выглядят неубедительно (однако такие идеи высказывались, что говорит о неутомимых поисках человеческим умом оружия судного дня).
  Есть довольно точно просчитанный сценарий воздействия на Землю магнитной составляющей солнечной вспышки. При наихудшем сценарии (что зависит от силы магнитного импульса и его ориентации - он должен быть противоположен земному магнитному полю), эта вспышка создаст сильнейшие наводки в электрических цепях линий дальней передачи электроэнергии, что приведёт к выгоранию трансформаторов на подстанциях. В нормальных условиях обновление трансформаторов занимает 20-30 лет, и если все они сгорят, то заменить их будет нечем, поскольку потребуются многие годы на производство аналогичного количества трансформаторов, что будет трудно организовать без электричества. Такая ситуация вряд ли приведёт к человеческому вымиранию, но чревата мировым глобальным экономическим кризисом и войнами, что может запустить цепь дальнейшего ухудшения. Вероятность такого сценария трудно оценить, так как мы обладаем электрическими сетями только примерно сто лет.
  12.7 Гамма-всплески
  Гамма-всплески - это интенсивные короткие потоки гамма-излучения, приходящие из далёкого космоса. Гамма-всплески, по-видимому, излучаются в виде узких пучков, и поэтому их энергия более концентрированная, чем при обычных взрывах звёзд. Возможно, сильные гамма-всплески от близких источников послужили причинами нескольких вымираний десятки и сотни миллионов лет назад . Предполагается, что гамма-всплески происходят при столкновениях чёрных дыр и нейтронных звёзд или коллапсах массивных звёзд. Близкие гамма-всплески могли бы вызывать разрушение озонового слоя и даже ионизацию атмосферы. Однако в ближайшем окружении Земли не видно подходящих кандидатов ни на источники гамма-всплесков, ни на сверхновые (ближайший кандидат в источник гамма-всплеска, звезда Эта Киля - достаточно далеко - порядка 7000 световых лет и вряд ли ось её неизбежного в будущем взрыва будет направлена на Землю - гамма-всплески распространяются в виде узконаправленных пучков-джетов; однако у потенциальной гиперновой звезды WR 104, находящейся на почти таком же расстоянии, ось направлена почти в сторону Земли . Эта звезда взорвётся в течение ближайших нескольких сотен тысяч лет, что означает шанс катастрофы с ней в XXI веке менее 0,1 %, а с учётом неопределенности её параметров вращения и наших знаний о гамма-всплесках - и ещё меньше ). Поэтому, даже с учётом эффекта наблюдательной селекции, который увеличивает частоту катастроф в будущем по сравнению с прошлым в некоторых случаях до 10 раз (см. мою статью 'Природные катастрофы и антропный принцип') вероятность опасного гамма-всплеска в XXI веке не превышает тысячных долей процента. Тем более люди смогут пережить даже серьёзный гамма-всплеск в различных бункерах. Оценивая риск гамма-всплексов, Борис Штерн пишет: 'Возьмем умеренный случай энерговыделения 10 эрг и расстояние до всплеска 3 парсека, 10 световых лет, или 10 см - в таких пределах от нас находится с десяток звезд. На таком расстоянии за считанные секунды на каждом квадратном сантиметре попавшейся на пути гамма-квантов планеты выделится 10 эрг. Это эквивалентно взрыву атомной бомбы на каждом гектаре неба! Атмосфера не помогает: хоть энергия высветится в ее верхних слоях, значительная часть мгновенно дойдет до поверхности в виде света. Ясно, что все живое на половине планеты будет истреблено мгновенно, на второй половине чуть позже за счет вторичных эффектов. Даже если мы возьмем в 100 раз большее расстояние (это уже толщина галактического диска и сотни тысяч звезд), эффект (по атомной бомбе на квадрат со стороной 10 км) будет тяжелейшим ударом, и тут уже надо серьезно оценивать - что выживет и выживет ли вообще что-нибудь'. Штерн полагает, что гамма-всплеск в Нашей галактике случается в среднем раз в миллион лет. Гамма-всплеск такой звезды, как WR 104, может вызвать интенсивное разрушение озонового слоя на половине планеты. Возможно, гамма-всплеск стал причиной Ордовикового вымирания 443 млн. лет назад, когда погибло 60 % видов живых существ (и значительно большая доля по числу особей, так как для выживания вида достаточно сохранения всего нескольких особей). По мнению Джона Скейло (John Scalo) и Крейга Уилера (Craig Wheeler), гамма-всплески оказывают существенное влияние на биосферу нашей планеты приблизительно каждые пять миллионов лет [Melott 2004].
  Даже далёкий гамма-всплеск или иное высокоэнергетическое космическое событие может быть опасно радиационным поражением Земли - причём не только прямым излучением, которое атмосфера в значительной мере блокирует (но лавины частиц от высокоэнергетичных космических частиц достигают земной поверхности), но и за счёт образования в атмосфере радиоактивных атомов, что приведёт к сценарию, подобному описанному в связи с кобальтовой бомбой. Кроме того, гамма излучение вызывает окисление азота атмосферы, в результате чего образуется непрозрачный ядовитый газ - диоксид азота, который, образуясь в верхних слоях атмосферы, может блокировать солнечный свет и вызвать новый ледниковый период. Есть гипотеза, что нейтринное излучение, возникающее при взрывах сверхновых, может в некоторых случаях приводить к массовым вымираниям, так как нейтрино упруго рассеиваются тяжёлыми атомами с большей вероятностью, и энергия этого рассеяния достаточна для нарушения химических связей, а поэтому нейтрино чаще будут вызывать повреждения ДНК, чем другие виды радиации, имеющие гораздо большую энергию [Collar 1996].
  Опасность гамма-всплеска состоит в его внезапности - он начинается без предупреждения из невидимых источников и распространяется со скоростью света. В любом случае, гамма-всплеск может поразить только одно полушарие Земли, так как длится только несколько секунд или минут.
  Активизация ядра галактики (где находится огромная чёрная дыра) тоже очень маловероятное событие. В далёких молодых галактиках такие ядра активно поглощают вещество, которое закручивается при падении в аккреционный диск и интенсивно излучает. Это излучение очень мощное и может препятствовать возникновению жизни на планетах. Однако ядро нашей галактики очень велико и поэтому может поглощать звёзды почти сразу, не разрывая их на части, а значит, с меньшим излучением. Кроме того, оно вполне наблюдаемо в инфракрасных лучах (источник Стрелец А), но закрыто толстым слоем пыли в оптическом диапазоне, и рядом с чёрной дырой нет большого количества вещества, готового к поглощению ею, - только одна звезда на орбите с периодом в 5 лет, но и она может летать ещё очень долго. И главное, ядро очень далеко от Солнечной системы.
  Кроме дальних гамма-всплесков, бывают мягкие гамма-всплески, связанные с катастрофическими процессами на особых нейтронных звёздах - магнитарах. 27 августа 1998 года вспышка на магнитаре привела к мгновенному снижению высоты ионосферы Земли на 30 км, однако этот магнитар был на расстоянии 20 000 световых лет. Магнитары в окрестностях Земли неизвестны, и обнаружить их может быть не просто.
  Наша оценка вероятности опасных гамма-всплесков может быть (а может и не быть) серьёзно искажена действием эффекта наблюдательной селекции в духе антропного принципа; более того, здесь может сказаться эффект 'отложенного спроса' - то есть те звезды, которые 'отложили' (точнее, мы их наблюдаем такими в силу антропного принципа) свой гамма-всплеск, чтобы разумная жизнь на Земле могла сформироваться, теперь могут его осуществить. (Есть предположения, что жизнь во Вселенной крайне редка именно потому, что подавляющее большинство планет стерилизуется гамма-всплесками.) Подробнее см. мою статью 'Природные катастрофы и антропный принцип' [Турчин 2007b].
  12.8 Сверхновые звёзды
  Реальную опасность для Земли представлял бы близкий взрыв сверхновой на расстоянии до 25 световых лет или даже меньше . Но в окрестностях Солнца нет звёзд, которые могли бы стать опасными сверхновыми. (Ближайшие кандидаты - Мира и Бетельгейзе - находятся на расстоянии сотен световых лет.) Кроме того, излучение сверхновой является относительно медленным процессом (длится месяцы), и люди могут успеть спрятаться в бункеры. Наконец, только если опасная сверхновая будет строго в экваториальной плоскости Земли (что маловероятно), она сможет облучить всю земную поверхность, в противном случае один из полюсов уцелеет. См. обзор Майкла Ричмонда 'Угрожает ли близкая сверхновая жизни на Земле?' Относительно близкие сверхновые могут быть источниками космических лучей, которые приведут к резкому увеличению облачности на Земле, что связано с увеличением числа центров конденсации воды. Это может привести к резкому охлаждению климата на длительный период.
  12.9 Сверх-цунами
  Древняя человеческая память в качестве самой страшной катастрофы доносит воспоминания о колоссальном наводнении. Однако на Земле нет такого количества воды, чтобы уровень океана поднялся выше гор. (Сообщения о недавнем открытии подземных океанов несколько преувеличены - в действительности речь идёт лишь о горных породах с повышенным содержанием воды - на уровне 1 процента .) Средняя глубина мирового океана - около 4 км. И предельная максимальная высота волны такого же порядка - если обсуждать саму возможность волны, а не то, возможны ли причины, которые создадут волну такой высоты. Это меньше, чем высота высокогорных плато в Гималаях, где тоже есть люди. Варианты, когда такая волна возможна - это гигантская приливная волна, возникшая, если бы рядом с Землёй пролетало очень массивное тело, или если ось вращения Земли сместилась бы или изменилась скорость вращения . Все эти варианты, хотя и встречаются в разных 'страшилках' о конце света, выглядят невозможными или маловероятными.
  Итак, очень маловероятно, что гигантское цунами уничтожит всех людей - тем более что уцелеют подводные лодки, многие корабли и самолёты. Однако гигантское цунами может уничтожить значительную часть населения Земли, переведя человечество в постапокалиптическую стадию, по ряду причин:
  1. Энергия цунами, как поверхностной волны, убывает пропорционально 1/R, если цунами вызвано точечным источником, и почти не убывает, если источник линейный (как при землетрясении на разломе).
  2. Потери на передачу энергии волной малы.
  3. Значительная доля населения Земли и огромная доля её научного, промышленного и сельскохозяйственного потенциала находится непосредственно на побережье.
  4. Все океаны и моря связаны.
  5. Идея использовать цунами как оружие уже возникала в СССР в связи с идеей создания гигатонных бомб.
  Плюсом здесь является то, что наиболее опасные цунами порождаются линейными природными источниками - движениями геологических разломов, а наиболее доступные для искусственного создания источники цунами - точечные: взрывы бомб, падения астероидов, обвалы. Волны от точных источников быстро убывают.
  12.10 Сверхземлетрясение
  Назовём сверхземлетрясением колебания поверхности, приводящие к полным разрушениям и охватывающим всю поверхность Земли. Такое событие не могло бы убить всех людей, так как остались бы корабли, самолёты, и люди на открытых пространствах. Но оно однозначно бы разрушило всю техногенную цивилизацию. Источником такого сверхземлетрясения могут стать:
   взрыв супервулкана;
   падение астероида (ов);
   взрыв сверхбомбы;
   растрескивание Земли по линии океанических хребтов;
   неизвестные процессы в ядре Земли.
  При равной энергии, сверхземлетрясение будет менее опасно, чем сверх-цунами, так как его энергия будет распределена по всему объёму Земли. Выдвигалось маргинальное предположение, что при землетрясениях могут возникать не только сдвиговые деформации, но и сверхзвуковые ударные волны.
  12.11 Переполюсовка магнитного поля Земли
  Мы живём в период ослабления и вероятно последующей переполюсовки магнитного поля Земли. Сама по себе инверсия магнитного поля не приведёт к вымиранию людей, так как переполюсовка уже многократно происходила в прошлом без заметного вреда. В середине процесса переполюсовки магнитное поле может на короткий срок упасть до нуля или полюса могут стать ориентированы на Солнце, когда окажутся на экваторе, что приведёт к интенсивному засасыванию заряженных частиц внутрь атмосферы Земли . Однако одновременное сочетание трёх факторов - падения до нуля магнитного поля Земли, истощение озонового слоя и сильной солнечной вспышки, чей коронарный выброс будет направлен в сторону Земли может привести интенсивному радиационному поражению Земли и гибели всего живого [Савин 2007]. Либо - к краху всех электрических систем, что чревато падением технологической цивилизации. И даже не сам этот крах страшен, а то, что будет в его процессе с ядерным оружием и всеми прочими технологиями. Всё же магнитное поле убывает достаточно медленно (хотя скорость процесса нарастает), так что вряд ли оно обнулится в ближайшие несколько десятков лет. Другой катастрофический сценарий - изменение магнитного поля связано с изменениями потоков магмы в ядре, что как-то может аукнуться на глобальной вулканической активности (есть данные по корреляции периодов активности и периодов смены полюсов). Третий риск - возможное неправильное понимание причин существования магнитного поля Земли.
  Есть гипотеза, что рост твёрдого ядра Земли сделал магнитное поле Земли менее стабильным, и оно подвергается переполюсовкам всё чаще , что согласуется с гипотезой об ослаблении защиты, которую нам 'давал' антропный принцип.
  12.12 Возникновение новой болезни в природе
  Крайне маловероятно, что появится одна болезнь, способная сразу уничтожить всех людей. (С другой стороны, этот вывод тоже может быть подвержен искажению со стороны наблюдательной селекции, и по крайней мере некоторые виды в природе целиком вымерли из-за естественных болезней, например один из видов морских обитателей и один из видов бананов.) Даже в случае мутации птичьего гриппа или бубонной чумы будут выжившие и не заболевшие. Однако поскольку число людей растёт, то растёт и число 'природных реакторов', в которых может культивироваться новый вирус. Поэтому нельзя исключить шансы крупной пандемии в духе гриппа 'испанки' в 1918 году. Хотя такая пандемия не сможет убить всех людей, она может серьёзно повредить уровень развития общества, опустив его на одну из постапокалиптических стадий. Такое событие может случиться только до того, как созреют мощные биотехнологии, так как они смогут создавать достаточно быстро лекарства против заболевания - и одновременно затмят риски естественных болезней возможностью с гораздо большей скоростью создавать искусственные. Естественная пандемия возможна и на одной из постапокалиптических стадий, например, после ядерной войны, хотя и в этом случае риски применения биологического оружия будут преобладать. Чтобы естественная пандемия стала действительно опасной для всех людей, должно возникнуть одновременно множество принципиально разных смертельных возбудителей - что естественным путём маловероятно. Есть также шанс, что мощные эпизоотии - синдром коллапса колоний пчёл CCD , африканский грибок на пшенице (угандийская плесень UG99 ), птичий грипп и подобные - нарушат систему питания людей настолько, что это приведёт к мировому кризису, чреватому войнами и снижением уровня развития. Возникновение новой болезни нанесёт удар не только по численности населения, но и по связности, которая является важным фактором существования единой планетарной цивилизации. Рост населения и увеличение объёма одинаковых сельскохозяйственных культур увеличивают шансы на случайное возникновение опасного вируса, так как возрастает скорость 'перебора'. Отсюда следует, что существует определённый предел числа взаимосвязанного населения одного вида, после которого новые опасные болезни будут возникать каждый день. Из реально существующих болезней следует отметить две:
  Птичий грипп. Как уже неоднократно говорилось, опасен не птичий грипп, а возможная мутация штамма H5N1 в вирус, способный передаваться от человека к человеку. Для этого, в частности, у него должны измениться прикрепляющие белки на поверхности, чтобы он прикреплялся не в глубине лёгких, а выше, где больше шансов попасть в капельки кашля. Возможно, что это относительно несложная мутация. Хотя есть разные мнения о том, способен ли H5N1 так мутировать, в истории уже есть прецеденты смертельных эпидемий гриппа. Наихудшей оценкой числа возможных жертв мутировавшего птичьего гриппа было 1500 млн. человек. И хотя это не означает полного вымирания человечества, это почти наверняка отправит мир на некую постапокалиптическую стадию. Чем большее число разных вирусов гриппа циркулирует в человеческой популяции, тем больше шансов на их рекомбинацию и возникновение новых вирусов, и эта зависимость носит факториальный характер. Кроме того, шансы возникновения нового вируса линейно пропорциональны размерам популяции. Важную рол играет существование таких природных биореакторов, как свиньи, в организме которых могут смешиваться птичьи и человеческие вирусы гриппа. Поголовье свиней за последние десятилетия значительно выросло, так как они являются важным источником пищи для развивающихся стран.
  СПИД. Эта болезнь в современной форме не может привести к полному вымиранию человечества, хотя он уже отправил ряд стран Африки на постапокалиптическую стадию. Интересны рассуждения Супотинского о природе СПИДа и о том, как эпидемии ретро-вирусов неоднократно прорежали популяции гоминидов. Он также предполагает, что у ВИЧ есть природный носитель, возможно, микроорганизм. Если бы СПИД стал распространяться, как простуда, участь человечества была бы печальна. Однако и сейчас СПИД почти на 100 % смертелен, и развивается достаточно медленно, чтобы успевать распространиться.
  Можно отметить так же устойчивые к антибиотикам новые штаммы микроорганизмов, например, больничного золотистого стафилококка и лекарство- устойчивый туберкулёз. При этом процесс нарастания устойчивости различных микроорганизмов к антибиотикам развивается, и такие организмы всё больше распространяются, что может в какой-то момент дать кумулятивную волну из многих устойчивых болезней (на фоне ослабленного иммунитета людей). Конечно, можно рассчитывать, что биологические сверхтехнологии победят их, но если в появлении таких технологий произойдет некая задержка, то участь человечества не завидна. Воскрешение оспы, чумы и других прошлых болезней хотя и возможно, но по отдельности каждая из них не может уничтожить всех людей. По одной из гипотез, неандертальцы вымерли из-за разновидности коровьего бешенства, то есть болезни, вызываемой прионом (автокаталитической формой свёртки белка) и распространяемой посредством каннибализма, так что мы не можем исключать риск вымирания из-за естественной болезни и для людей.
  Наконец, совершенно безответственной выглядит история о том, что вирус гриппа 'испанки' был выделен из захоронений, расшифрован и его код был опубликован в Интернете . Затем по требованиям общественности код убрали из открытого доступа. Но потом ещё был случай, когда этот вирус по ошибке разослали по тысячам лабораторий в мире для тестирования оборудования.
  12.13 Разрушение озонового слоя
  Разрушение озонового слоя может произойти не в результате акта войны, а как непреднамеренное последствие деятельности человека (а именно, накопления галогенсодержащих соединений в верхних слоях атмосферы). При нынешнем уровне технологий это не должно привести к непосредственной гибели человечества. Ультрафиолетовые лучи не убивают человека сразу, но в первую очередь повышают уровень рака. Достаточно относительно простых зонтиков, чтобы защитить людей. Однако увеличение потока УФ может стать звеном в развитии ещё большей катастрофы, так как разрушение озона приведёт к гибели значительной части биосферы и в первую очередь планктона, который, в свою очередь, отвечает за значительную часть продукции атмосферного кислорода. Природные явления, такие как вспышки сверхновых и дегазация водорода из земной мантии также могут привести к разрушению озонового слоя. Впрочем, есть мнение, что роль озонового слоя преувеличена (так как он непрерывно будет вырабатываться под действием УФ лучей).
  В статье 'О возможной роли галогенсодержащих газов в изменении состояния атмосферы и природной среды в поздний пермский период' [Вайсфлог 2009] утверждается, что крупнейшее Пермь-Триасовое вымирание 250 млн. лет назад могло быть связано с деятельностью бактерий, живших в пересыхавших солёных озёрах и вырабатывавших галогенуглеводороды, способные разрушать озон и токсичные для растений, что приводило к дальнейшему опустыниванию и распространению солёных озёр.
  
  Глава 13. Крайне маловероятные природные риски
  
  Далее мы упомянем о глобальных рисках, связанных с природными событиями, вероятность которых в XXI веке крайне мала, и более того, сама возможность которых является необщепризнанной. Хотя я сам полагаю, что эти события можно не принимать в расчет, и они вообще невозможны, я думаю, что следует создать для них отдельную категорию в нашем досье о рисках, чтобы, из принципа предосторожности, сохранять определённую бдительность в отношении появления новой информации, могущей подтвердить эти предположения.
  13.1 Неизвестные процессы в ядре Земли
  Есть предположения, что источником земного тепла является естественный ядерный реактор на уране в несколько километров диаметром в центре планеты [Анисичкин 1998]. При определённых условиях, предполагает В. Анисичкин, например, при столкновении с крупной кометой, он может перейти в надкритическое состояние и вызвать взрыв планеты, что, возможно, и было причиной взрыва Фаэтона, из которого, возможно, сформировалась часть пояса астероидов. Теория явно спорная, так как даже существование Фаэтона не доказано, и наоборот, считается, что пояс астероидов сформировался из независимых планетозималей. Другой автор, Р. Рагхаван предполагает, что естественный ядерный реактор в центре Земли имеет диаметр в 8 км и может остыть и перестать создавать земное тепло и магнитное поле [Raghavan 2002].
  Если по геологическим меркам некие процессы уже назрели, то это означает, что гораздо проще нажать на 'спусковой крючок', чтобы запустить их, - а значит, человеческая деятельность может разбудить эти процессы. До границы земного ядра около 3000 км, а до Солнца 150 000 000 км. От геологических катастроф каждый год гибнут десятки тысяч людей, а от солнечных катастроф - никто. Прямо под нами находится гигантский котёл с раскаленной лавой, пропитанной сжатыми газами. Крупнейшие вымирания живых существ хорошо коррелируют с эпохами интенсивного вулканизма. Процессы в ядре в прошлом, возможно, стали причинами таких грозных явлений, как трапповый вулканизм. На границе пермского периода 250 млн. лет назад в Восточной Сибири излилось 2 млн. кубических км лавы, что в тысячи раз превышает объёмы извержений современных супервулканов. Это привело к вымиранию 95 % видов.
  Процессы в ядре также связаны с изменениями магнитного поля Земли, причем физика этих процессов пока не очень понятна. В. А. Красилов в статье 'Модель биосферных кризисов. Экосистемные перестройки и эволюция биосферы' предполагает, что периоды неизменности, а затем изменчивости магнитного поля Земли предшествуют колоссальным трапповым излияниям [Красилов 2001]. Сейчас мы живём в период изменчивости магнитного поля, но не после длительной паузы в изменениях магнитного поля. Периоды изменчивости магнитного поля длятся десятки миллионов лет, сменяясь не менее длительными периодами стабильности. Так что при естественном ходе событий у нас есть миллионы лет до следующего проявления траппового вулканизма, если он вообще будет. Основная опасность здесь состоит в том, что люди любыми своими проникновениями вглубь Земли могут эти процессы подтолкнуть, если эти процессы уже назрели до критического уровня. В жидком земном ядре наиболее опасны растворённые в нём газы. Именно они способны вырваться на поверхность, если им будет предоставлен канал. По мере осаждения тяжёлого железа вниз, оно химически очищается (происходит восстановление за счёт высокой температуры), и всё большее количество газов высвобождается, порождая процесс дегазации Земли. Есть предположения, что мощная атмосфера Венеры возникла относительно недавно в результате интенсивной дегазации её недр.
  Определённую опасность представляет соблазн получать даровую энергию земных недр, выкачивая раскалённую магму. (Хотя если это делать в местах, не связанных с плюмами, то это должно быть достаточно безопасно.) Есть предположение, что спреддинг океанического дна из зон срединных хребтов происходит не плавно, а рывками, которые, с одной стороны, гораздо реже (поэтому мы их не наблюдали), чем землетрясения в зонах субдукции, а с другой стороны - гораздо мощнее. Здесь уместна следующая метафора: разрыв воздушного шарика гораздо более мощный процесс, чем его сморщивание. Таяние ледников приводит к разгрузке литосферных плит и усилению вулканической активности (например, в Исландии - в 100 раз). Поэтому будущее таяние ледникового щита Гренландии опасно.
  Наконец, есть смелые предположения, что в центре Земли (а также других планет и даже звёзд) находятся микроскопические (по астрономическим масштабам) реликтовые чёрные дыры, которые возникли ещё во время возникновения Вселенной. См. статью А. Г. Пархомова 'О возможных эффектах, связанных с малыми чёрными дырами' . По теории С. Хокинга реликтовые дыры должны медленно испаряться, однако с нарастающей скоростью ближе к концу своего существования, так что в последние секунды такая дыра производит вспышку с энергией, эквивалентной примерно 1000 тонн массы (и в последнюю секунду 228 тонн), что примерно эквивалентно энергии 20 000 гигатонн тротилового эквивалента - она примерно равна энергии от столкновения Земли с астероидом в 10 км в диаметре [Шкловский 1984]. Такой взрыв не разрушил бы планету, но вызвал бы по всей поверхности землетрясение огромной силы, вероятно, достаточное, чтобы разрушить все строения и отбросить цивилизацию на глубоко постапокалиптический уровень. Однако люди бы выжили, хотя бы те, кто будут находиться в этот момент в самолётах и вертолетах. Микроскопическая чёрная дыра в центре Земли испытывала бы одновременно два процесса - аккреции вещества и потери энергии хокинговским излучением, которые могли бы находиться в равновесии. Однако сдвиг равновесия в любую сторону был бы чреват катастрофой - или взрывом дыры, или поглощением Земли или разрушением её за счёт более сильного выделения энергии при аккреции. Напоминаю, что нет никаких фактов, подтверждающих существование реликтовых чёрных дыр - это только маловероятное предположение, которое мы рассматриваем, исходя из принципа предосторожности.
  13.2 Внезапная дегазация растворённых в мировом океане газов
  Грегори Рёскин опубликовал в 2003 году статью 'Океанические извержения, вызванные метаном и массовые вымирания' [Ryskin 2003], в которой рассматривает гипотезу о том, что причиной многих массовых вымираний были нарушения метастабильного состояния растворённых в воде газов, в первую очередь метана. С ростом давления растворимость метана растёт, поэтому в глубине она может достигать значительных величин. Но это состояние метастабильно, так как если произойдёт перемешивание воды, то начнётся цепная реакция дегазации, как в открытой бутылке с шампанским. Выделение энергии при этом в 10 000 раз превысит энергию всех ядерных арсеналов на Земле. Рёскин показывает, что в наихудшем случае масса выделившихся газов может достигать десятков триллионов тонн, что сопоставимо с массой всей биосферы Земли. Выделение газов будет сопровождаться мощными цунами и горением газов. Это может привести или к охлаждению планеты за счёт образования сажи, или, наоборот, к необратимому разогреву, так как выделившиеся газы являются парниковыми. Необходимыми условиями для накопления растворённого метана в океанских глубинах являются аноксия (отсутствие растворённого кислорода, как, например, в Чёрном море) и отсутствие перемешивания. Дегазация метангидратов на морском дне может также способствовать процессу. Для того, чтобы вызвать катастрофические последствия, отмечает Рёскин, достаточно дегазации даже небольшого по площади участка океана. Примером катастрофы подобного рода стала внезапная дегазация озера Ниос, которая в 1986 году унесла жизни 1700 человек. Рёскин отмечает, что вопрос о том, какова ситуация с накоплением растворённых газов в современном мировом океане, требует дальнейших исследований.
  Значительное количество сероводорода скопилось в Чёрном море, и там также есть бескислородные области. Такое извержение было бы относительно нетрудно спровоцировать, опустив под воду трубу и начав качать по ней вверх воду, что могло бы запустить самоусиливающийся процесс. Это может произойти и случайно при глубоководном бурении морского дна.
  13.3 Нарушение стабильности Земной атмосферы
  Возникающие на Земле ураганы наносят обычно только локальный ущерб. Сильнейший из известных ураганов в 1780 году, имел, по современным оценкам, скорость ветра в 200 миль в час (порядка 100 метров в секунду) и вырвал все до одного деревья на некоторых островах Карибского бассейна, разрушил все постройки и погубил большинство живших там людей [Férez 1970]. Атмосфера других планет гораздо менее стабильна, чем земная. Например, атмосфера Венеры обращается вокруг планеты за 5 дней, а в атмосфере Юпитера известно Большое красное пятно.
  Керри Эмануэлом [Kerry 1996] из Мичиганского университета выдвинута гипотеза, что в прошлом атмосфера Земли была гораздо менее стабильна, что привело к массовым вымираниям. Если бы температура поверхности океана выросла бы на 15-20 градусов, что возможно в результате резкого глобального потепления, падения астероида или подводного извержения, то возник бы так называемый гиперган (Hypercane) - огромный ураган, со скоростями ветра порядка 200-300 метров в секунду, площадью с континент, высокой устойчивостью и давлением в центре около 0,3 атмосферы. Смещаясь с места своего возникновения, такой гиперган уничтожал бы всё живое на суше, и в то же время на его месте над тёплым участком океана формировался бы новый гиперган (эта идея используется в романе Дж. Барнса 'Мать бурь').
  Керри Эмануэл показывает, что при падении астероида диаметром в мелководное море более 10 км( как это было 65 млн. лет назад при падении астероида около Мексики, которое связывают с вымиранием динозавров) может образоваться участок повышенной температуры окружностью в 50 км, которого было бы достаточно для формирования гипергана. Гиперган выбрасывал бы огромное количество воды и пыли в верхние слои атмосферы, что могло бы привести к резкому глобальному похолоданию или потеплению.
  13.4 Взрывы других планет Солнечной системы
  Есть другое предположение о причинах возможного взрыва планет, помимо взрывов урановых реакторов в центре планет по Анисичкину, а именно, особые химические реакции в электролизованном льде. Э. М. Дробышевский в статье 'Опасность взрыва Каллисто и приоритетность космических миссий' [Дробышевский 1999] предполагает, что такого рода события регулярно происходят в ледяных спутниках Юпитера, и для Земли они опасны образованием огромного метеоритного потока. Электролиз льда происходит в результате движения содержащего его небесного тела в магнитном поле, что вызывает в нём мощные токи. Эти токи приводят к разложению воды на водород и кислород, что приводит к образованию гремучей смеси. Он высказывает гипотезу, что во всех спутниках эти процессы уже завершились, кроме Каллисто, который может взорваться в любой момент, и предлагает направить на исследование и предотвращение этого явления значительные средства. (Стоит отметить, что в 2007 году взорвалась, причём повторно, комета Холмса, и никто не знает почему - а в ней электролизация льда во время пролётов Солнца была возможна.)
  Отмечу, что если гипотеза Дробышевского верна, то сама идея посылки на Каллисто исследовательской миссии и глубокого бурения его недр в поисках этого электролизированного льда выглядит опасной, так как это может спровоцировать взрыв.
  В любом случае, чем бы ни было вызвано разрушение другой планеты или крупного спутника в Солнечной системе, этот представляло бы длительную угрозу земной жизни за счёт выпадения осколков. (См. описание одной гипотезы о выпадении осколков здесь: 'Динозавров погубило столкновение астероидов в 400 млн. км от Земли' , основанное на статье [Bottke, Vokrouhlický, Nesvorný 2007]).
  13.5 Гравитационные возмущения от гипотетических небесных тел
  Встречаются предположения, что на периферии Солнечной системы находится невидимая звезда (называемая Немезидой) или крупная планета, которая вращается по сильно эллиптической орбите и своим гравитационным возмущением регулярно приводит к биологическим кризисам на Земле. Регулярность эта может быть раз в миллионы лет (так, Проксима Центавра обращается вокруг Альфы за примерно миллион лет), или несколько тысяч лет в случае планеты. Однако изучение орбит тел в поясе Койпера за орбитой Плутона не обнаружили влияний крупного тела. Если такое тело было бы на подлёте к Солнцу, то его бы, скорее всего, обнаружили за десятки лет. Другой опасный вариант, связанный с Немезидой, состоит в том, что она не приближается к Земле, а только углубляется иногда в облако Орта, провоцируя регулярные выпадения комет. Но и это - крайне медленный процесс, так что он не угрожает нам в XXI веке. Вопрос о существовании ещё неоткрытых планет отравлен значительным количеством антинаучных спекуляций.
  Гравитационное возмущение от планеты, двигающейся по эллиптической орбите, могло бы приводить либо к изменению земной орбиты и изменению климата, либо к образованию приливных волн, если планета пройдёт действительно близко от Земли (ближе, чем Луна), что само по себе является маловероятным событием, даже если планета на эллиптической орбите существует.
  Аналогичным было бы воздействие маломассивных реликтовых чёрных дыр, если бы они существовали в природе и иногда проходили бы сквозь солнечную систему.
  Наконец, иногда указывается на вероятность того, что Солнечная система войдёт в плотное газопылевое облако, которое значительно ослабит свет Солнца. Но в ближайших окрестностях Солнечной системы такого облака нет.
  13.6 Ложные и опровергнутые теории глобальных катастроф
  Есть также ряд теорий, которые либо выдвигались разными исследователями и были опровергнуты, либо циркулируют в жёлтой прессе и массовом сознании и основываются на откровенных ошибках, лжи и непонимании, либо связаны с определёнными системами верований. Следует, однако, допустить ничтожную вероятность того, что некая часть таких теорий окажется верной.
  1. Внезапное изменение направления и/или скорости вращения Земли, которое приводит к катастрофическим землетрясениям, наводнениям и изменениям климата. Изменение формы Земли, связанное с нарастанием полярных шапок, может привести к тому, что ось вращения перестанет быть осью с наименьшим моментом инерции, и Земля перевернётся, как 'гайка Джанибекова'. Или это произойдёт в результате изменения момента инерции Земли, связанного с переустройством ее недр, или скорость вращения изменится в результате столкновения с крупным астероидом; хотя последствия любого мгновенного изменения вращения Земли были бы катастрофическими, нет реальных оснований считать, что вращение Земли может быть неустойчиво.
  2. Теории о 'великом потопе', опирающиеся на библейские легенды.
  3. Взрыв Солнца через шесть лет, якобы предсказанный голландским астрономом. Это сообщение является газетной уткой.
  4. Столкновение Земли с блуждающей чёрной дырой. В окрестностях Солнца нет чёрных дыр, насколько это известно, так как их можно было бы обнаружить по аккреции межзвёздного газа на них и по гравитационным искажениям света от более дальних звёзд. При этом 'засасывающая способность' чёрной дыры ничем не отличается от таковой же для звезды аналогичной массы, поэтому чёрная дыра не более опасна, чем звезда. Однако и столкновения со звёздами, или во всяком случае, опасные сближения с ними, происходят крайне редко, и все такие сближения рассчитаны на миллионы лет вперёд. Поскольку чёрных дыр в галактике гораздо меньше, чем звёзд, то и шансы столкновения с чёрной дырой ещё меньше. Нельзя, однако, исключить столкновения солнечной системы с блуждающими планетами-одиночками, но и это и крайне маловероятное, и относительно безвредное событие.
  Глава 14. Природные катастрофы и эффект наблюдательной селекции
  14.1 Прекращение действия 'защиты', которую нам обеспечивал антропный принцип
  Подробно я рассматриваю этот вопрос в статье 'Природные катастрофы и антропный принцип' [Турчин 2007b]. Суть угрозы состоит в том, что разумная жизнь на Земле, вероятнее всего, сформировалась в конце периода устойчивости необходимых для её поддержания природных факторов. Или, говоря кратко, будущее не похоже на прошлое, потому что прошлое мы видим через эффект наблюдательной селекции. Пример: некий человек выиграл три раза подряд в рулетку, ставя на одно число. В силу этого он, используя индуктивную логику, приходит к ложному выводу, что будет выигрывать и дальше. Однако если бы он знал, что в игре, помимо него, участвовало 30 000 человек, и все они отсеялись, то он мог бы придти к более верному выводу, что и он с шансами 35 к 36 проиграет в следующем туре. Иначе говоря, для него период устойчивости, заключавшийся в серии из трёх выигрышей, закончился.
  Для формирования разумной жизни на Земле должно было сложиться уникальное сочетание условий, которые действовали в течение длительного времени (равномерная светимость Солнца, отсутствие близких сверхновых, отсутствие столкновений с очень большими астероидами и т. д.). Однако из этого вовсе не следует, что они будут продолжать действовать вечно. Соответственно, в будущем мы можем ожидать, что постепенно эти условия исчезнут. Скорость этого процесса зависит от того, насколько невероятным и уникальным было сочетание условий, позволивших сформироваться разумной жизни на Земле (как в примере с рулеткой: чем уникальнее ситуация выигрыша три раза подряд, тем с большей вероятностью игрок проиграет в четвёртом туре - то есть будь в той рулетке 100 делений на колесе, то шансы выхода в четвёртый тур упали бы до 1 к 100). Чем невероятнее такое сочетание, тем быстрее оно может закончиться. Это объясняется эффектом отсева - если в начале были, допустим, миллиарды планет у миллиардов звёзд, где могла бы начать развиваться разумная жизнь, то в результате отсева только на одной Земле образовалась разумная жизнь, а остальные планеты сошли с дистанции, как Марс и Венера. Однако нам неизвестна интенсивность этого отсева, и узнать нам это мешает эффект наблюдательной селекции - так как мы можем обнаружить себя только на той планете, где жизнь уцелела, и разум смог развиться. Но отсев продолжается с той же скоростью.
  Для внешнего наблюдателя этот процесс будет выглядеть как внезапное и беспричинное ухудшение многих жизненно важных параметров, поддерживающих жизнь на Земле. Рассматривая этот и подобные примеры, можно предположить, что данный эффект может увеличить вероятность внезапных природных катастроф, способных оборвать жизнь на Земле, но не более, чем в 10 раз. (Не более, так как затем вступают в действия ограничения, подобные описанным в статье Бострома и Тегмарка [Bostrom Tegmark 2005], которые рассматривают эту же проблему в отношении космологических катастроф. Однако реальное значение этих ограничений для геологических катастроф нуждается в более точном исследовании.) Например, если отсутствие сверхгигантских извержений вулканов на Земле, затопляющих всю поверхность, является счастливой случайностью, и в норме они должны были бы происходить раз в 500 млн. лет, то шанс Земли оказаться в её уникальном положении был бы 1 к 256, а ожидаемое время существования жизни - 500 млн. лет.
  Мы ещё вернёмся к обсуждению этого эффекта в главе о вычислении непрямых оценок вероятности глобальной катастрофы в конце книги. Важным методологическим следствием является то, что мы не можем в отношении глобальных катастроф использовать никакие рассуждения в духе: этого не будет в будущем, потому что этого не было в прошлом. С другой стороны, ухудшение в 10 раз шансов природных катастроф уменьшает ожидаемое время существования условий для жизни на Земле с миллиарда до ста миллионов, что даёт очень малый вклад в вероятность вымирания в XXI веке.
  Пугающим подтверждением гипотезы о том, что мы, скорее всего, живём в конце периода устойчивости природных процессов, является статья Р. Рода и Р. Мюллера в Nature [Rohde, Muller 2005] об обнаружении цикла вымираний живых существ с периодом 62 (+/- 3 млн.лет) - поскольку от последнего вымирания прошло как раз 65 млн.лет. То есть время очередного циклического события вымирания уже давно настало. Отметим также, что если предлагаемая гипотеза о роли наблюдательной селекции в недооценки частоты глобальных катастроф верна, то она означает, что разумная жизнь на Земле - крайне редкое явление во Вселенной, и мы - одни в наблюдаемой Вселенной с большой вероятностью. В этом случае мы можем не опасаться инопланетного вторжения, а также не можем делать никаких выводов о частоте самоуничтожения продвинутых цивилизаций в связи с парадоксом Ферми (молчание космоса). В результате нетто вклад данной гипотезы в нашу оценку вероятности человеческого выживания может быть положительным.
  М. Чиркович написал статью на эту же тему ('Эволюционные катастрофы и проблема точной настройки параметров обитаемой планеты') [Cirkoviс 2007], в которой подчёркивает, что определённая частота природных катастроф была необходима в прошлом, чтобы пришпоривать эволюционное развитие. Тот факт, что возможно, существуют 'тёмные кометы' и мы живём как раз в период интенсивной кометной бомбардировки, может иметь объяснение как раз в этом: эта кометная бомбардировка в последние несколько десятков тысяч лет способствовала частой смене климата и создавала эволюционное давление, при котором становился выгоден универсальный разум, а не конкретные адаптации. В силу этого неудивительно, что универсальный разум обнаруживает себя в период повышенной частоты катастроф.
  14.2 Ослабление устойчивости природных процессов и человеческие вмешательства
  Вклад вероятностного сдвига из-за прекращения действия защиты, даваемой антропным принципом в суммарную вероятность вымирания в XXI веке, казалось бы, мал. А именно, если Солнце будет поддерживать комфортную температуру на Земле не 4 млрд. лет, а только 400 млн., то в XXI веке это всё равно даёт десятитысячные доли процента вероятности катастрофы, если мы равномерно распределим вероятность 'отказа' Солнца по времени, что тоже сомнительно (0,0004 %). Однако ослабление устойчивости, которую нам давал антропный принцип, означает, во-первых, что сами процессы станут менее устойчивыми и более склонными к колебаниям (что вполне известно относительно Солнца, которое будет гореть, по мере исчерпания водорода, всё более ярко и неравномерно), а во-вторых, что кажется более важным, - они станут более чувствительными к возможным малым человеческим воздействиям. То есть одно дело дёргать за висящую резинку, а другое - за резинку, натянутую до предела.
  Например, если некое извержение сверхвулкана назрело, то могут пройти ещё многие тысячи лет, пока оно произойдёт, но достаточно скважины в несколько километров глубиной, чтобы нарушить устойчивость крышки магматической камеры. Поскольку масштабы человеческой деятельности растут во всех направлениях, возрастают шансы наткнуться на такую неустойчивость. Это может быть и неустойчивость вакуума, и земной литосферы, и чего-то ещё, о чём мы даже не думаем.
  Глава 15. Глобальное потепление
  Глобальное потепление связано как с рядом естественных природных процессов, так и с 'суммой технологий', созданных человеком, поэтому к чисто природным рискам его можно отнести только условно. Глобальное потепление можно также назвать классическим примером опасного процесса, в отношении которого действует множество факторов, делающих его 'непостижимым'.
  Ограниченное глобальное потепление на несколько градусов не приведёт к вымиранию человечества, поскольку даже таяние ледников в прошлом не привело к гибели всех людей. Поэтому призывы к экономии электричества как к способу спасения мира являются определённой натяжкой, которая только подрывает доверие к самой идее об опасности потепления.
  Не общепризнанной, но принимаемой несколькими исследователями возможностью глобальной катастрофы является парниковая катастрофа, называемая по-английски 'неограниченно растущий парниковый эффект' (runaway greenhouse effect). О нём пишет А. В. Карнаухов в статьях 'К вопросу об устойчивости химического баланса атмосферы и теплового баланса Земли' [Карнаухов 1994], 'Парниковая катастрофа' , Иващенко О. В. 'Изменение климата и изменение циклов обращения парниковых газов в системе атмосфера-литосфера-гидросфера - обратные связи могут значительно усилить парниковый эффект' и А. Ваганов 'Сценарии парниковой катастрофы' . Из зарубежных учёных можно отметить Дж. Атченсона, который утверждает, что за счёт цепной реакции дегазации газовых гидратов температура может вырасти на несколько градусов в ближайшие годы, а не за сто лет .
  В отличие от продвигаемой средствами массовой информации концепции парникового эффекта, которая утверждает, что при худшем сценарии температура Земли возрастёт на 2-6 градусов и уровень океана повысится на несколько метров, эти исследователи утверждают, что парниковый эффект находится на пороге необратимости, пройдя который, он войдёт в фазу положительной обратной связи, и температура Земли возрастёт на десятки или сотни градусов, делая жизнь на Земле невозможной. Это связано, в частности, с тем, что водяной пар (не в форме облаков, а растворённый в воздухе) является сильнейшим парниковым газом, а запасы готовой испаряться воды на Земле огромны. Кроме того, постепенное увеличение светимости Солнца (в сравнении с предыдущими эпохами глобальных потеплений), увеличение длины земных суток, накопление углекислого газа и снижение растворимости углекислого газа в океанах с ростом температуры работают на то, чтобы сделать парниковый эффект более сильным. Но ещё один фактор чреват резким увеличением парникового эффекта - разрушение огромных запасов газовых гидратов на дне моря, которое приведёт к выделению в атмосферу больших количеств метана - сильнейшего парникового газа . Разрушение газовых гидратов может принять характер цепной реакции, что уже однажды произошло 55 миллионов лет назад, когда температура Земли повысилась на период времени в несколько тысяч лет примерно на 10 градусов (позднепалеоценовый термальный максимум). Однако тогда гидратов было гораздо меньше. Возможно, что понимание рисков необратимой катастрофы уже в этом веке стоит за усилиями правительств по снижению выбросов парниковых газов. Этот сценарий можно назвать Венерианским, потому что именно благодаря парниковому эффекту на поверхности Венеры температура составляет более 400 С, при том, что в силу высокого альбедо - ярко белые облака - она получает меньше солнечной энергии, чем Земля. Глобальное потепление является системным риском, поскольку в нём увязано множество разных факторов: Солнце, земные недра, океаны, человек, политика, вулканизм.
  Парниковая катастрофа может состоять из трёх этапов:
  1. Нагрев на 1-2 градуса за счёт избытка углекислого газа в атмосфере антропогенного происхождения, прохождение точки 'спускового крючка', подобного порогу срабатывания у нейрона. Только на этом этапе борьба с выбросами углекислого газа имеет смысл. Возможно, пороговый уровень уже пройден, как утверждает профессор Лавлок .
  2. Нагрев на 10-20 градусов за счёт метана из газовых гидратов и сибирских болот и углекислого газа, растворённого в океанах. Скорость этого самоусиливающегося процесса ограничена тепловой инерцией океана, и он займёт не менее 10 лет. Этому процессу можно противостоять только резкими высокотехнологичными вмешательствами, вроде искусственной ядерной зимы и/или взрыва многих вулканов.
  3. Включение в процесс парникового эффекта от водяного пара и от разрушения карбонатосодержащих пород в земной коре. Подъём температуры до точки кипения воды.
  Исследование необратимого глобального потепления находится под сильным давлением наблюдательной селекции, то есть мы не можем заключать из того, что его не было в прошлом, то, что оно маловероятно в будущем, поскольку мы могли выжить только в том мире, где оно не произошло. Чем менее вероятно состояние атмосферы нашей планеты, тем больше шансов, что оно находится 'на грани' и достаточно его легко подтолкнуть, чтобы оно переместилось в некое более устойчивое состояние. С другой стороны, ИИ даст мощный вклад в решение проблемы глобального потепления. Во-первых, он сможет вычислить, какая из моделей изменения климата наиболее реальна, и убедить людей в реальности опасности парниковой катастрофы, если он её обнаружит. Во-вторых, он сможет предложить наиболее безболезненный и дешёвый путь предотвращения парниковой катастрофы. Например, он может придумать, как развернуть тонкие экраны в космосе, которые ограничат поток солнечной радиации. Производить эти экраны будут роботы на Луне из местного титана. Или можно распылить в точке Лагранжа между Землёй и Солнцем некое количество космической пыли, например, взорвав астероид, которая будет рассевать долю процента солнечного излучения и способствовать охлаждению Земли. Поскольку эффект полномасштабной ядерной зимы создаёт всего на всего 150 млн. тонн сажи в тропосфере, то масштаб вмешательства может быть небольшим. Может быть, достаточно будет распылять с самолётов один миллион тонн сажи в год, чтобы удерживать температуру ниже критической на пару градусов. Это потребовало бы только 300 гружёных сажей транспортников в день. Разумеется, ИИ мог бы предложить и способы удалять излишки углекислоты из атмосферы, например, с помощью генетически модифицированных растений и нанороботов.
  В природе есть ряд механизмов обратной связи, которые могут сделать необратимое глобальное потепление невозможным: это в первую очередь рост растительности в ответ на рост концентрации двуокиси углерода в атмосфере, а, во вторых, включение углеродно-силикатного цикла, который приведёт к связыванию и избытков углекислоты.
  Однако возможны и более рискованные способы предотвращения глобального потепления: это попытки устроить искусственную ядерную зиму или взрывать вулканы. Очевидно, что люди применят эти способы, если ситуация резко пойдёт вразнос, и не будет времени и сил, чтобы сделать нечто более аккуратное. Здесь есть риск, что непродуманные действия приведут к только временному облегчению, но потом усилят процесс потепления. Или, наоборот, взрывы вулканов с целью охлаждения приведут к слишком сильному охлаждению и начнётся вулканическая зима.
  Мы можем заключить, что развитая цивилизация легко сможет противостоять изменениям климата, например, распыляя разные порошки в верхних слоях атмосферы или развёртывая космические экраны, чтобы охладить её или подогреть. Наихудший сценарий подразумевает ситуацию, когда процесс необратимого нагрева атмосферы начался (при этом сам подъём температуры ещё может быть невелик, главное - формирование цепочек положительной обратной связи), а затем цивилизация утратила по каким-то свои внутренним причинам способность к высокотехнологическому регулированию климата и откатилась к более раннему уровню. Тогда она может быть окончательно повержена необратимым нагревом атмосферы, который произойдёт через десятки лет после технического коллапса.
  Полное удаление углекислого газа из атмосферы привело бы к гибели растений, а затем и к исчезновению кислорода из атмосферы Земли. Эта перспектива вымирания является гораздо более реальной, чем увеличение светимости Солнца, и может сработать через несколько десятков миллионов лет за счёт естественных процессов захоронения углерода.
  В значительной мере проблема глобального потепления - это вопрос о способности общества адекватно реагировать на слабые сигналы. И судя по нынешнему изобилию 'климат-гейтов', общество стремится игнорировать слабые сигналы, сводя их ценность к нулю за счёт теорий заговора. Особый вред споры о глобальном потеплении наносят будущим попыткам предсказать другие глобальные катастрофы, так как срабатывает эффект 'Волк, волк'. Целью должно быть не предотвращение изменений климата, а способность к управлению климатом с большой скоростью реакции. Во втором случае не нужно на основании очень слабых сигналов пытаться спрогнозировать климат на 30 лет вперёд. А достаточно реагировать на текущие изменения климата. Это даст возможность корректировать ошибочные выводы, а также реагировать на непредвиденные обстоятельства - извержения вулканов, изменение числа пятен на Солнце, ядерную зиму.
  Глава 16. Антропогенные риски, не связанные с новыми технологиями
  16.1 Исчерпание ресурсов
  Проблема исчерпания ресурсов, роста населения и загрязнения среды является системной, и в этом качестве мы рассмотрим её далее. Здесь же мы рассмотрим только, может ли каждый из этих факторов по отдельности привести к вымиранию человечества.
  Широко распространено мнение о том, что техногенная цивилизация обречена из-за исчерпания легкодоступных углеводородов. В любом случае, это само по себе не приведёт к вымиранию всего человечества, поскольку раньше люди жили без нефти. Однако возникнут существенные проблемы, если нефть закончится раньше, чем общество успеет к этому адаптироваться - то есть закончится быстро. Однако запасы каменного угля значительны, а технология производства жидкого топлива из него активно применялась ещё в гитлеровской Германии. Огромные запасы гидрата метана находятся на морском дне, и эффективные роботы могли бы его добывать. И существующих технологий ветроэнергетики, преобразования солнечной энергии и подобных в целом достаточно, чтобы сохранить развитие цивилизации, хотя возможно определённое снижение жизненного уровня, а худшем случае - и значительное снижение популяции, но не полное вымирание.
  Иначе говоря, Солнце и ветер содержат энергию, которая в тысячи раз превосходит потребности человечества, и мы в целом понимаем, как её извлекать. Вопрос не в том, хватит ли нам энергии, а в том, успеем ли мы ввести в строй необходимые мощности по её извлечению до того, как нехватка энергии подорвёт технологические возможности цивилизации при неблагоприятном сценарии.
  Читателю может показаться, что я недооцениваю проблему исчерпания ресурсов, которой посвящено множество книг (Медоуз, Пархоменко), исследований и интернет сайтов (в духе www.theoildrum.com). В действительности, я не согласен со многими из этих авторов, так как они исходят из предпосылки, что технический прогресс прекратится. Обратим внимание на последние исследования в области обеспечения энергоресурсами: В 2007 году в США начался промышленный выпуск солнечных батарей стоимостью меньше чем 1 доллар за ватт, что в два раза меньше, чем стоимость энергии на угольной электростанции, не считая топлива . Количество ветроэнергии, которую можно извлекать с океанского мелководья в США составляет 900 гигаватт, что покрывает все потребности США в электроэнергии . Такая система давала бы равномерный, не зависящий от локальных изменений ветра, поток энергии за счёт своих больших размеров. Проблема накопления излишков электроэнергии решена за счёт применения обратной закачки воды в гидроэлектростанции и развития мощных аккумуляторов и их широкого распространения, например, в электромобилях. Массу энергии можно извлекать из морских течений, особенно Гольфстрима , и из подводных залежей метангидратов . И есть много других перспективных источников энергии. Вопрос не в том, что нет энергии, или технологий по её добыче - вопрос в том, успеем ли мы вовремя развернуть необходимые электростанции.
  Кроме того, завершение исчерпания ресурсов находится за горизонтом прогноза, который устанавливается темпом научно-технического прогресса. (Но момент изменения тенденции - Peak Oil - находится внутри этого горизонта.) Только предположив полную остановку прогресса в области робототехники и нанотехнологий, можно строить точные прогнозы о том, когда и какие ресурсы будут исчерпаны. Вопрос в том, может ли начало исчерпания ресурсов и сопутствующий кризис настолько подорвать развитие технологий - и этот вопрос мы обсудим в главе о системном кризисе.
  Ещё один вариант глобальной катастрофы - это отравление продуктами своей же жизнедеятельности. Например, дрожжи в бутылке с вином растут по экспоненте, а потом отравляются продуктами своего распада и все до одной погибнут. Этот процесс имеет место и в отношении людей, но неизвестно, могут ли они настолько загрязнить и истощить свою среду обитания, чтобы одно только это привело к их окончательному вымиранию. Помимо энергии, людям нужны следующие ресурсы:
   Материалы для производства - металлы, редкоземельные вещества и т д. Многие важные руды могут закончиться к 2050 году. Однако материалы, в отличие от энергии, не исчезают, и при развитии нанотехнологии станет возможной полная переработка отходов, добыча нужных материалов из морской воды, где растворено огромное количество, например, урана, и даже транспортировка нужных веществ из космоса.
   Пища. По некоторым данным, пик производства пищевых продуктов уже пройден: почвы выветриваются, урбанизация захватывает плодородные земли, население растёт, рыба заканчивается, окружающая среда загрязняется отходами и ядами, воды не хватает, вредители распространяются. С другой стороны, возможен переход на принципиально новый промышленный тип производства пищевых растений, основанный на гидропонике - то есть выращивание растений в воде, без почвы в замкнутых теплицах, что защищает от загрязнения и паразитов и может быть полностью автоматизировано. (См. статью Дмитрия Верхотурова и Ильи Кирилловского 'Агротехнологии будущего: от пашни к заводу' ). Наконец, маргарин, как, вероятно, и многие другие необходимые составляющие продуктов питания, можно вырабатывать из нефти на химических предприятиях.
   Вода. Питьевую воду можно обеспечить за счёт опреснения морской воды, сегодня это стоит около доллара на тонну, но основная масса воды идёт на выращивание урожая - до тысячи тонн воды на тонну пшеницы, что делает невыгодным опреснение. Но при переходе на гидропонику резко снизятся потери воды на испарение, и опреснение может стать рентабельным.
   Место для жизни. Несмотря на быстрые темпы прироста количества населения на Земле, до теоретического предела ещё далеко.
   Чистый воздух. Уже сейчас есть кондиционеры, очищающие воздух от пыли и повышающие в нём содержание кислорода. Проблемы, связанные с возможным исчерпанием кислорода в земной атмосфере, описаны в разделе о химическом оружии.
  16.2 Перенаселение
  Очевидно, что перенаселение само не может никого истребить, но может создать условия, при которых будет наблюдаться нехватка любых ресурсов и обострятся любые конфликты. В 1798 году Мальтус обозначил перенаселение как главный источник войн, которые должны регулировать его численность. При этом надо учитывать не только людей, но и их машины и уровень жизни. Автомобиль потребляет кислород и биотопливо и также нагружает биосферу, как несколько человек. Поэтому даже приостановка роста населения людей не будет означать окончание проблемы перенаселения, так как по мере развития технологий у каждого появятся свои машины, дома, домашние роботы и т д. Теоретически существует проблема, состоящая в том, что рост населения рано или поздно перекроет любые ресурсы, даже если человечество заселит всю галактику (за несколько тысяч лет при сохранении теперешней скорости роста населения), а значит, должна наступить некая точка, за которой неограниченная материальная экспансия прекратится. С. П. Капица [Капица 2004] вывел формулу, из которой следует гиперболический рост населения с уходом в бесконечность в районе 2027 года. (Хотя он и полагает, что действие этой формулы прекратилось.) И хотя реальный рост населения отстаёт от этого графика, мы можем приблизиться к нему снова, если добавим к населению число установленных компьютеров. (В той мере, в какой компьютеры тоже можно считать жителями Земли - но ведь рост населения Земли - это не просто рост числа представителей некоторого вида млекопитающих, а в первую очередь рост числа взаимодействующих интеллектуальных единиц, обеспечивающих за счёт своего взаимодействия прирост знаний и производительных сил. И в эту классификацию компьютеры вполне попадают.)
  Технологическая революция обуславливает следующие факторы в росте населения:
   Увеличение числа существ, которым мы приписываем права, равные человеческим: обезьяны, дельфины, кошки, собаки.
   Упрощение рождения и воспитания детей. Возможности репродуктивного клонирования, создание искусственных матерей, роботов-помощников по домашнему хозяйству и т.д.
   Появление новых механизмов, претендующих на человеческие права и/или потребляющих ресурсы: машин, роботов, систем ИИ.
   Возможности продления жизни и даже воскрешения умерших (например, путём клонирования по сохранившейся ДНК).
   Рост 'нормального' уровня потребления.
  Кроме того, рост человеческого населения увеличивает вероятность самозарождения опасных инфекционных заболеваний, - а также число людей, которые решат стать террористами. Для уничтожения цивилизации важно не относительное, а абсолютное число террористов. С другой стороны, чем больше население, тем больше шанс, что кто-то выживет в ходе огромной катастрофы. Кроме того, чем больше население, тем больше темп технического прогресса, так как всё большее число людей готовы стать учёными, и всё большую прибыль можно получить, продав некую инновацию большому числу людей, за счёт того, что цена нововведения разделится на большее число потребителей.
  Самое главное, что даёт нам кривая роста населения - это понимание того, что так вечно продолжаться не может, а значит должна быть некая точка перегиба или перелома, за которой следует та или иная стабилизация. Это может быть и качественный переход на уровень сверхцивилизации, и стабилизация на текущем уровне, и откат в некое стабильное прошлое состояние, и полное уничтожение.
  16.3 Крах биосферы
  Если люди овладеют генетическими технологиями, то это может позволить как устроить крах биосферы невероятных масштабов, так и найти ресурсы для её защиты и 'ремонта'. Можно представить себе сценарий, при котором вся биосфера настолько заражена радиацией, генетически модифицированными организмами и токсинами, что она будет не способна восполнять потребности человечества в продовольствии. Если это произойдёт внезапно, это поставит цивилизацию на грань экономического краха. Однако достаточно продвинутая цивилизация сможет наладить производство продуктов питания в некой искусственной биосфере, вроде теплиц. Следовательно, крах биосферы опасен только при последующем откате цивилизации на предыдущую ступень - или если сам крах биосферы вызывает этот откат.
  При этом биосфера - очень сложная система, в которой возможна самоорганизованная критичность и внезапный коллапс. Хрестоматийный пример - истребление воробьёв в Китае и последующие проблемы с продовольствием из-за нашествия вредителей. Или, например, сейчас по всему миру гибнут кораллы, потому что сточные воды выносят бактерию, которая их поражает.
  16.4 Социально-экономический кризис. Война
  Более подробно этот вопрос будет рассмотрен далее, в главе о различных системных кризисах, поскольку в современном обществе такой кризис не может не опираться на разные новые технологии. Без таких технологий война или общественно-политический кризис не могут происходить одновременно на всей территории Земли и, таким образом, создавать глобальный риск.
  16.5 Генетическая деградация и ослабление фертильности (способности к размножению)
  Распространение мутагенов, накопление генетических дефектов в результате прекращения генетического отбора, нарушение моделей полового отбора может привести к быстрому и неконтролируемому накоплению дефектов в ДНК человека, в результате чего люди могли бы выродится и вымереть в течение нескольких поколений. Опыты на дрозофилах показали, что при определённом давлении мутагенов естественный отбор не успевает компенсировать накопление генетических мутаций, в результате чего популяция полностью вымирает. При современном уровне развития медицины можно было бы этому противостоять с помощью клонирования, хранения замороженной спермы, создания искусственных маток, однако после некой большой, но не окончательной катастрофы такое вымирание становится возможным.
  Кроме того, генетическая деградация означает плавное размывание того, что мы считаем человеком и разумом.
  В статье Л. В. Полищука 'Скорость размножения и угроза вымирания вида' [Полищук 2003] показано, что те виды, которые склонны к быстрым колебания численности (например, лемминги), гораздо менее подвержены вымираниям, чем те виды, чья численность находится на относительно устойчивом уровне (мамонты). Этот на первый взгляд парадоксальный вывод следует из того, что виды, у которых численность быстро колеблется, имеют мощные механизмы быстрого увеличения численности, тогда как виды, привыкшие к поддержанию одного уровня численности, гораздо менее способны быстро ее восстановить после внезапного падения. Раньше люди были видом, относительно быстро восстанавливавшим свою численность, так как в семьях было много детей; теперь же эта традиция сломлена и поэтому люди могут быть более подвержены вымиранию.
  С другой стороны, если давление мутагенов будет невелико, то человечество может пройти через бутылочной горлышко и резко очистить популяцию от дефектных генов и выработать новые качества. Даже естественная эволюция людей в течение десятков тысяч лет приведёт к значительному изменению человеческой природы, как это было и в прошлом.
  Если экстраполировать модель 'одна семья - один ребёнок', то она приведёт к полному вымиранию человечества менее чем за 1000 лет, что выходит за рассматриваемый промежуток времени (и достаточно уязвимо для критики, так как здесь был бы отбор в сторону наиболее плодовитых семейств). Однако если бы некий вирус привёл к тотальному бесплодию человечества, и при этом технический прогресс бы остановился, то люди бы вымерли к XXII веку. Опять же, это мало вероятно, так как уже почти готовы технологии репродуктивного клонирования.
  Интересно исследовать те способы, которые были придуманы людьми для полного уничтожения враждебных видов, например, паразитов. Некоторые из них вполне традиционны: это отстрел или привитие болезни. Однако любое давление на вид приводит к его адаптации. Альтернативный способ состоит в том, чтобы направить адаптацию вида в направлении, в котором он затем станет неприспособленным и либо вымрет, либо утратит свои важные качества. Например, если непрерывно подкармливать чаек хлебом, то они перестанут ловить рыбу, и их способность к ловли рыбы будет ослабляться за счёт накопления вредных мутаций, тогда как способность бороться за хлеб - увеличиваться. Затем, если их внезапно прекратить кормить хлебом, то они окажутся уже не приспособленными к жизни во внешней среде. Вполне возможно, что большинство людей уже утратили те генетические качества, которые позволяли охотникам собирателям выживать в природе несколько десятков тысяч лет назад (но зато обрели, например, способность переваривать молоко). Похожий способ был предложен для борьбы с вирусом ВИЧ, который состоит в том, что в кровь будут запускаться клетки-мишени, которые будут привлекательным объектом для атаки вирусом, но нейтральны для человека. В результате вирус будет адаптироваться к тому, чтобы атаковать эти клетки, а не лимфоциты человека. Другой способ был предложен для борьбы с малярийным комаром и состоял в том, что в естественную популяцию запускается в больших количествах генетически модифицированный вид комара, который привлекателен как половой партнёр для опасных для человека комаров, но не может иметь с ним полноценного потомства. В результате происходит коллапс популяции малярийного комара.
  Вывод: названные факторы не угрожают выживанию человечества в рассматриваемый период.
  16.6 Старение вида
  Есть концепция, что виды могут стареть. Майкл Фут и др. в статье 'Взлет и падение видов: новые данные подтверждают старую идею 'эволюционного цикла' [Foote et al 2007] пишут: 'После появления вида его 'распространенность' (площадь ареала и частота встречаемости) постепенно растет в течение нескольких миллионов лет, ненадолго достигает максимума и затем постепенно снижается. Виды редко вымирают внезапно, находясь на пике численности; вымиранию обычно предшествует длительный период упадка... Это значит, что палеонтологическая история вида позволяет судить о вероятности его вымирания в наши дни: наибольшей опасности подвергаются те виды, которые уже миновали пик своего развития и находятся в фазе упадка. Полученные данные противоречат также распространенному мнению о том, что в эволюции должны чередоваться короткие периоды 'становления' и долгие периоды 'стазиса'. В действительности виды, по-видимому, почти не задерживаются на максимальном достигнутом уровне и практически сразу переходят от роста к упадку'.
  Стареть могут также государства и культуры, делаясь всё более застывшими и зарегламентированными, и, в конечном счёте, - хрупкими. Возможно, могут стареть и цивилизации планетарного масштаба, постепенно утрачивая интерес к жизни. Всё же вряд ли это угрожает Земле на нынешнем этапе. С другой стороны, рост числа пенсионеров и 'бессмертных', если таковые будут когда-нибудь созданы, может когда-нибудь актуализировать эту проблему.
  16.7 Вытеснение другим биологическим видом
  Многие виды животных кончили тем, что были вытеснены более эффективными видами, или мутировали в них. Возникновение такого вида путём естественной эволюции в ближайшие 100 лет невозможно. Даже рост и сокращение численности разных рас и народов не являются процессами, которые успеют завершиться в XXI веке. Кроме того, изменение этнического состава не является угрозой выживанию человечества как вида, хотя эта тема вызывает очень много эмоций, и этнические конфликты могут стать глобальными рисками второго рода - то есть ситуациями, снижающими выживаемость человечества.
  Вытеснение другим видом возможно как частный случай генетических экспериментов или развития симбиоза человек-компьютер. Однако чтобы вытеснить человека, новый вид, вероятно, должен быть умнее. Здесь можно вспомнить много фантастических сюжетов о создании химер из людей и животных и о войне между двумя видами.
  В качестве экстремально маловероятного сценария можно назвать случайное совпадение моментов смерти всех людей (допустим, в течение года). Для современного человечества вероятность такого события исчислялась бы дробью с миллиардами нулей после запятой, однако для небольшого племени статистическая аномалия, приводящая к вымиранию, является возможной.
  16.8 Неизвестные нам сейчас причины катастроф
  Можно сформулировать своего рода 'Закон Мура' в отношении глобальных катастроф. Каждые N лет (примерно оцениваемое мной в 30 лет) удваивается известное нам число природных катастроф, которые могут угрожать человечеству. Каждые M лет (примерно оцениваемое мной в 15 лет) технические возможности по организации глобальной катастрофы - то есть способности человечества к саморазрушению тоже удваиваются. Цифры эти взяты, конечно, с потолка, но суть в том, что в середине ХХ века идеи глобальной катастрофы практически ещё не было, а теперь мы легко можем назвать десятки искусственных способов истребить род людской.
  И это позволят нам оценить объём неведомого в смысле глобальных катастроф. Мы можем сказать, что через 50 лет не только созреют некие понятные нам технологии, но могут появиться принципиально новые идеи о том, какие возможны новые угрозы существованию. По мере овладения разными всё более мощными источниками энергии, всё более точными знаниями о мире и способами управлять материей, по мере открытия всё новых физических законов и всё новых идей, - появляется всё больше возможностей создать абсолютное оружие. Поэтому мы ни в каком случае не должны считать приведённый здесь список исчерпанным.
  Более того, большинство случившихся в последнее время катастроф были неожиданными. Не в том смысле, что никто никогда не предсказывал ничего подобного - всегда можно найти апостериори книжку, где какой-нибудь фантаст описал что-либо подобное. А в том, что большинство населения и руководителей вообще не знали о возможности такого сценария, и в связи с этим ничего не предпринималось. Чернобыль, события 11 сентября в США, сход ледника Колка в Северной Осетии, цунами в Индийском океане, болезнь пчёл CCD, сель в Долине Гейзеров - вот некоторые примеры.
  Даже некоторые комбинации известных факторов, которые могут привести к глобальной катастрофе, не очевидны - например, мне понадобился почти год, чтобы предположить, что пассивное SETI содержит в себе глобальный риск, хотя я располагал всеми необходимыми данными. Соответственно, мы можем заключить, что если даже к обычным катастрофам мы не готовы, и список известных их возможностей далеко не исчерпан, то тем более наш список глобальных катастроф несовершенен. Более того, неизвестные риски представляют большую опасность, чем известные, так как мы не можем их измерить, не можем к ним подготовится, и они всегда застают нас врасплох.
  Глава 17. Способы обнаружения однофакторных сценариев глобальной катастрофы
  Проанализировав множество разных сценариев глобальных катастроф, мы можем выделить общие признаки таких сценариев, которые помогут нам в будущем обнаруживать или 'конструировать' новые опасные сценарии.
  17.1 Общие признаки любого опасного агента
  По определению, в однофакторных сценариях всегда присутствует некий один фактор, который воздействует на всех людей. Об этом факторе можно сказать следующее: он зарождается в некой точке, распространяется по всей поверхности Земли и действует на каждого человека. Соответственно, различия могут быть в том, как он в этой точке возник, как он её покинул, как распространялся по Земле и как действовал на каждого человека. В каждом из этих пунктов есть несколько вариантов, в достаточной мере независимых друг от друга, что позволяет 'конструировать сценарии', набирая разные цепочки из этих вариантов и приписывая им разную вероятность. Этот набор качеств может служить своего рода картой при проверке на безопасность каждой новой технологии или природного явления. А именно, мы должны проверять следующий набор свойств:
  1. Может ли новая технология применяться для уничтожения людей или приводить к ней?
  2. Если да, то каким образом она может выйти из-под контроля?
  3. Может ли она распространиться по всей планете таким образом, чтобы воздействовать на каждого человека?
  4. Может ли это произойти настолько быстро, что мы не успеем этому противостоять?
  5. Как она может взаимодействовать с другими технологиями, усиливая при этом свой риск?
  6. Насколько легко будет построить защиту от опасностей этой технологии?
  7. Насколько точными и достоверными могут быть наши предсказания о рисках этой технологии?
  8. Также особое внимание надо уделять закону, по которому распределена частота катастроф данного типа в зависимости от их силы. Если это степенное распределение с тяжёлым хвостом, то есть с показателем степени меньше 1 в формуле, то такие типы катастроф заслуживают пристального внимания. См. [Hanson 2008].
  17.2 Способы возникновения
  Опасный фактор, способный создать угрозу глобальной катастрофы, может возникнуть следующим образом:
  1) Случайное природное возникновение. Например, подлёт астероида или извержение сверхвулканов.
  2) Создание человеком. В этом случае, скорее всего, речь идёт о некой исследовательской лаборатории. Это создание может быть или случайным, или сознательным. Возможна и комбинация того и другого - когда нечто, что должно было иметь ограниченный радиус поражения (или вообще рассматривалось как безопасное и полезное), приобрело всемирный радиус поражения. (Примеры: африканские пчёлы-убийцы были выпущены на свободу в Южной Америке, по всей видимости, нарочно одним сотрудником лаборатории, но с ограниченными локальными целями; тем не менее эти пчёлы распространились по обоим Америкам и привели ко множеству смертей, что вряд ли входило в его планы . Изначально ядерное оружие рассматривалось как оружие локального действия, однако потом возникли представления, что оно может угрожать всей земной цивилизации; ИИ, который запрограммирован быть дружественным и любить людей, может проявить такую 'Дружественность', как 'медвежья услуга'.) Другой вариант состоит в том, что фактор постепенно создаётся в ходе деятельности всего человечества, как, например, накопление парниковых газов в атмосфере.
  17.3 Выход из точки и начало распространения
  Очевидно, что это происходит или по команде некого человека, или случайно. Сразу следует сказать, что возможно совмещение этих сценариев: человек отдаёт некую команду, полный смысл которой не понимает, или она выполняется неправильно. Или некий человек со стороны совершает террористический акт, приводящий к разрушению лаборатории, в которой находится супервирус. Точка, в которой находится опасное изделие - это или лаборатория, где его создали, и тогда речь скорее идёт о случайном инциденте, или стартовая площадка, если эта технология превращена в некое изделии, которое стало оружием. Так же эта точка может быть где-то на пространственно-временном пути от лаборатории до стартовой площадки - на полигоне, на транспорте, на производстве. При этом важно отметить существенную разницу между мотивами того, кто создавал оружие судного дня, и того, кто затем решил его применить. Например, атомную бомбу создавали для защиты от иностранного агрессора, а террористы могут её захватить для требования отделения неких территорий. Такой двухфазовый целевой сценарий может быть вероятнее однофазового. Виды выхода из точки:
  1. Утечка. Утечка начинается тихо и незаметно, без чьей-либо воли. Это относится к ситуациям, вроде утечки опасного вируса, которую нельзя заметить до того, как будут заболевшие снаружи. Утечка опасного химического вещества или ядерных материалов будет сразу заметна, и, скорее всего, будет сопровождаться взрывом.
  2. Прорыв. Это силовой прорыв чего-то, что было заперто, но хотело вырваться наружу. Может относиться только к ИИ или генетически модифицированным живым существам с зачатками интеллекта.
  3. Взрыв - катастрофический сценарий происходит в самой точке, распространяются его последствия. Скорее всего, это относится к опасным физическим экспериментам.
  4. Запуск - кто-то принимает решение о распространении опасного агента или применении оружия судного дня.
  5. Постепенное накопление. Как в случае генетической деградации, снижения биоразнообразия, исчерпания ресурсов.
  Очевидно, что возможны некоторые комбинации этих базовых сценариев. Например, взрыв лаборатории, приводящий к утечке опасного вируса.
  17.4 Распространение важнее разрушения
  Анализируя любое явление или изобретение в качестве возможного фактора глобального риска, нам следует уделять больше внимания тому, может ли этот фактор за конечное время воздействовать на абсолютно всех людей, чем тому, может ли он убивать людей или нет. Для того чтобы некоторый фактор стал глобальным риском, есть два необходимых условия:
  1) этот фактор убивает каждого человека, на которого воздействует;
  2) он действует на всех людей на Земле за конечное время (за время, меньшее, чем способность людей к самовоспроизводству).
  Однако если выполнения первого условия достичь относительно легко, так как существует бесконечное число способов причинения смерти, и они всё время на кого-то действуют, то второе условие - гораздо более редкое. Поэтому, как только мы обнаруживаем даже безобидный фактор, способный действовать на всех без исключения людей, это должно нас обеспокоить больше, чем обнаружение некого крайне опасного фактора, который действует только на некоторых. Потому что любой универсальный фактор может стать носителем для некого опасного воздействия. Например, как только мы осознаём, что Солнце освещает каждого человека на Земле, мы можем задаться вопросом - а не может ли с Солнцем случиться чего-то такого, что будет воздействовать на каждого? Это же касается атмосферы Земли, её коры, и особенно космоса, который окружает всю Землю, а также глобальных информационных сетей.
  17.5 Способ распространения
  Именно способность к всемирному распространению делает оружие сверхоружием. Эта всемирность означает не только всю поверхность земного шара, но и способность проникать через все укрытия и средства защиты, а также скорость этого процесса, которая делает невозможным противостоять ему с помощью новых открытий. (Скажем, оледенение может быть всемирным, но, скорее всего, будет достаточно медленным, чтобы к нему можно было приспособиться.) Способы и факторы, влияющие на способность агента к распространению таковы:
  1) Ветер в атмосфере; отдельно надо выделять быстрое движение верхних слоёв атмосферы (где скорости могут быть 100 м/с, а значит, время всемирного распространения - несколько дней), а также склонность вещества выпадать в необратимые осадки, что уменьшает его количество.
  2) Агенты, распространяющиеся своим ходом - бактерии, самонацеливающие нанороботы, самонаводящиеся ракеты.
  3) От человека к человеку - вирусы.
  4) С помощью специальных распылителей. Например, можно представить себе следующий катастрофический сценарий: на низкой полярной орбите летает спутник и непрерывно сбрасывает капсулы с радиоактивным веществом или другим опасным реагентом. За несколько дней он может пройти над всеми точками земного шара.
  5) Взрыв - сам создаёт огромное движение. Ударная волна помогает протолкнуть агент во все щели.
  6) Сетевое распространение. Так мог бы распространяться ИИ по Интернету.
  7) Смешанные способы. Например, на начальном этапе взрыв бомбы распыляет радиоактивные вещества, а потом их разносит ветром. Или некую плесень переносит ветер, а на местах она размножается. Понятно, что смешанные способы распространения гораздо опаснее.
  8) Агенты, обладающие элементами разума, чтобы обходить препятствия (компьютерные вирусы, ИИ, микророботы, агрессивные животные).
  9) Внезапность и скрытность распространения помогает агенту проникнуть повсюду.
  10) Высокая способность к переносу, 'липучесть' и мелкодисперсность (как у лунной пыли).
  11) Способность саморазмножаться, как в природе, так и на человеке или на промежуточных носителях, а также способность воспроизводить себя, как например, при наведённой радиоактивности.
  12) Многофакторность - если имеется достаточно много разнородных агентов, например, при мультипандемии.
  13) Концентрация, как фактор распространения. Чем выше градиент концентрации, тем больше способность реагента проникать 'во все щели'. Иначе говоря, если концентрация в атмосфере составляет 1 смертельный уровень, то всегда найдутся участки, где из-за разных флюктуаций этот уровень будет значительно ниже, и люди там выживут, даже без всяких бункеров. Но если концентрация очень велика, то помогут только полностью герметичные, заранее оборудованные бункеры. Концентрация также увеличивает скорость распространения.
  14) Длительность действия агента. Кратковременно действующий агент (гамма-всплеск) может опалить значительную часть биосферы, но всегда найдутся убежища, на которые он не подействовал. Однако длительное заражение, например, кобальтом-60, делает невозможным выживание в небольших убежищах.
  15) Лёгкость фильтрации и дезактивации - чем легче фильтрация воздуха и дезактивация выходивших на поверхность людей, тем безопаснее агент. Биологические агенты можно было легко стерилизовать в системах вентиляции, но выходы на поверхность были бы исключены, так как человека не стерилизуешь.
  17.6 Способ причинения смерти
  Основной элемент глобальной катастрофы, который мы называем 'агент', может вообще не убивать людей, а только разъединять их и лишать способности к размножению, как например, супернаркотик, или вирус, стерилизующий всех людей. Или загнать их всех в бункеры, где они обречены на деградацию.
  Агент может быть однофакторным в смысле способа воздействия на человека - например, это может быть некая инфекция или радиация. При этом есть разница между мгновенной смертью и продолжительным умиранием.
  Агент может обладать многофакторным поражающим воздействием, как атомная бомба. Однако должен быть главный фактор, обладающий универсальным действием на весь мир, или достаточная плотность разных факторов.
  Агент может вызвать также не прямое действие, а равномерное разрушение всей среды обитания. (Астероид, разрушение биосферы.)
  Вымирание может также принять форму медленного вытеснения во второсортные экологические ниши (варианты: 'зоопарк', тотальная безработица в духе статьи Билла Джоя 'Почему мы не нужны будущему?' [Joy 2000]).
  Разрушающий агент может вызвать появление новых агентов, каждый из которых действует по-своему. Например, распространение машины для программирования вирусов - био-синтезаторов (плюс вируса, или идеи-мема, вызывающего у некоторых людей желание уничтожить весь мир) могло бы стать таким суперагентом, вызывающих к жизни много разных агентов в разных частях Земли. В каком-то смысле сам научно-технический прогресс является таким суперагентом.
  Агент может быть интеллектуальным, чтобы в каждом конкретном случае пользоваться разными способами: враждебный ИИ, эсхатологическая секта.
  17.7 Типичные виды разрушающего воздействия
  Чем бы ни был вызван 'конец света', он будет воздействовать на людей и их бункеры, скорее всего, одним из нескольких перечисленных способов. Эти способы в основном совпадают с обычными поражающими факторами ядерного взрыва. Любой процесс, который способен одновременно создать хотя бы один из этих факторов на всей территории Земли, должен быть отнесён к 'оружию судного дня':
   Ударная волна - способна непосредственно причинять смерть, разрушать бункеры и все другие созданные человеком объекты.
   Высокая температура - от длительного воздействия высокой температуры почти нет защиты, так как любой бункер рано или поздно прогреется. Глубоко в землю зарыться не удастся, так как температура в шахтах быстро растёт, порядка 30 градусов на километр глубины.
   Холод. Ему противостоять проще, чем высокой температуре.
   Высокое давление.
   Летучее вещество.
   Излучение и радиация.
   Колебания земной поверхности.
   Утрата жизненно важного ресурса - кислорода, еды, воды.
   Поражение саморазмножающимся агентом (в каком-то смысле огонь тоже обладает способностью саморазмножаться).
   Сверхзвуковая ударная волна - возможно, при достаточно сильном ударе, она могла бы охватить значительную часть земной коры (хотя вязкость бы её поглощала).
  Разница между очень большой катастрофой и окончательной глобальной катастрофой может быть в том, что в первом случае уцелеют хотя бы доли процентов людей и территорий. Поэтому важным признаком настоящей глобальной катастрофы является то, что она покрывает всю территорию Земли без исключений. За счёт чего это происходит:
   Очень высокий уровень избыточности разрушающего воздействия.
   Разрушающий агент обладает своего рода 'сверхтекучестью' по своей природе. Например, мелкодисперсная пыль, поверхностно активное вещество или насекомые, склонные заползать в любые щели.
   'Интеллект' той силы, которая направляет этот агент.
  17.8 Временная структура события
  Вне зависимости от того, как сложились предыдущие факторы, можно обозначить следующую последовательность событий во времени для однофакторной глобальной катастрофы:
  1. Фаза назревания. Она включает в себя изобретение, создание, подготовку к применению и возникновение плана по применению. Если речь идёт о природном явлении, то речь идёт о накоплении энергии в камере супервулкана или о подлёте астероида. Сюда также входят накопление ошибок из-за халатности при исполнении инструкций и ошибки в составлении инструкций.
  2. Момент спускового события. Это - одно событие в пространстве-времени, которое определяет начало всего процесса, который затем необратимо разворачивается в своём собственном темпе. Это может быть решение о ядерном ударе, трещина в крышке вулканической камеры и т д. Спусковое событие запускает цепочку событий, следующих друг за другом со значительной вероятностью в определённом временном графике. При этом если бы спусковое событие не произошло, то весь процесс мог бы отложиться на неопределённое долгое время. Однако само спусковое событие может быть внешне безобидным и никем не осознаваемым в качестве такового. Например, выстрел Гаврилы Принципа в Сараево.
  3. На этом этапе цепочка событий приводит к высвобождению опасного агента из точки его расположения. В этот пункт входят четыре варианта выхода 'из точки', которые мы обсуждали выше: утечка, прорыв, взрыв, запуск.
  4. На этой фазе происходит распространение агента по всей поверхности Земли (а также в ближний космос, если уже есть самостоятельные космические поселения). Это распространение может быть: а) скрытным, б) сопровождающимся самим процессом разрушения. Скрытное может быть опаснее, так как не остаётся областей, которые успевают подготовиться.
  5. Фаза уничтожающего процесса. Затем развивается сам процесс, охватывающий всю поверхность Земли. Эпидемия или ударная волна.
  6. Точка необратимости. Процесс распространения обладает той или иной степенью неопределённости. Если процесс не мгновенный, то имеет место борьба людей с ним. Тот момент, когда люди проигрывают эту борьбу и вымирание становится неизбежно, и есть точка необратимости. Хотя она может не осознаваться в качестве таковой. Точка необратимости - это момент, когда факторы истребления превышают технологические возможности цивилизации, в том числе и потенции по улучшению этих технологий. Зависит как от концентрации факторов истребления, так и от уровня цивилизации. Если в результате крупной катастрофы уровень цивилизации упал ниже некой точки, а уровень факторов истребления поднялся выше неё, то дальше вымирание необратимо. С определённой вероятностью, разумеется.
  7. Смерть последнего человека. После точки необратимости следует вымирание уцелевших людей. Этот процесс может растянуться во времени даже на многие годы за счёт бункеров. Он может представлять даже очень длительное состояние прозябания уцелевшего племени на неком острове. (Но у такого племени может быть шанс восстановить цивилизацию.)
  8. Процессы 'после'. После смерти последнего человека процессы на Земле не завершатся. Возможно, начнут развиваться новые виды, возможно, Земля будет заселена роботами, нанороботами и ИИ. Есть также надежда, что новый разумный вид воскресит человека по уцелевшей ДНК.
  17.9 Предаварийные ситуации
  Есть также разные типы общественных ситуаций, когда случайное или нарочное применение средства всеобщего уничтожения становится более вероятным.
  1) Война за объединение планеты.
  2) Борьба всех против всех за ресурсы в условиях их исчерпания.
  3) Нарастающая структурная деградация, по типу распада СССР.
  4) Техническая авария, утечка.
  5) Диверсия с целью уничтожения всех людей.
  6) Случайная война.
  7) Шантаж машиной судного дня.
  8) Неудачный эксперимент.
  9) Мятеж с целью установления власти на Земле.
  17.10 Намеренная и случайная глобальная катастрофа
  Любые глобальные катастрофы можно различить по тому признаку, организованы ли они некой разумной силой, которая стремится устроить именно глобальную катастрофу, или это некий случайный процесс, у которого нет никаких целей. К первому варианту относятся глобальные катастрофы:
  1) устроенные людьми;
  2) связанные с ИИ;
  3) происходящие по причине столкновения с иными нечеловеческими разумными силами.
  Ко второму варианту: аварии, утечки, природные катастрофы, системные кризисы.
  Интеграция первого и второго сценариев: возможен также сценарий, когда первая фаза катастрофы задумана людьми с определенными целями, однако затем процесс вырывается из-под контроля. Например, террористы могут сознательно спровоцировать ядерную войну, но не представлять себе её масштабов. Или некоторая буддистская секта может сознательно заразить всех людей вирусом счастья, но не учесть того, что такие люди будут в дальнейшем недееспособны. (Далай Лама недавно высказался в том духе, что неплохо было бы с помощью генетических манипуляций убрать у людей негативные эмоции.)
  С другой стороны, победа разумной силы над людьми означает, что некоторая разумная сила в природе остаётся (если только она не кончает с собой после того), а, следовательно, окончательного исчезновения разума на Земле не происходит. И раз некий разум, причём превосходящий человеческий, остаётся, то он может и вернуть людей к жизни. Однако есть разумные силы, принципиально отличные от человеческого сознания, например, эволюция. Эволюция гораздо 'умнее' человека (которого она породила), но бесконечно проигрывает по скорости. (Но не везде, например естественный отбор микроорганизмов, устойчивых к антибиотикам, происходит со скоростью, сопоставимой с разработкой новых антибиотиков.) Если один из вариантов будущего ИИ будет использовать принципы эволюции, но гораздо быстрее, то он может достичь 'победы' над людьми как более эффективный решатель любых задач, однако при этом не быть сознающим существом в нашем понимании. Разработки такого ИИ небезуспешно ведутся в направлении, называемом 'генетические алгоритмы'.
  17.11 Машина судного дня
  Соберём в отдельную категорию все варианты 'машины судного дня', которую может создать наиболее злонамеренная группа людей. Термин 'машина судного дня' восходит к работам Германа Кана 'О термоядерной войне' и к фильму С. Кубрика 'Доктор Стрейнджлав'. Сюжет его вкратце таков: 'Русские' создают 'Машину судного дня', которая взрывает множество кобальтовых бомб, достаточное для полного заражения всего мира, в случае нападения на СССР. В ходе внутреннего конфликта в США мятежный сумасшедший генерал наносит удар по СССР, не зная о машине судного дня, в результате нападения машина запускается. Комментируя ситуацию, русский посол говорит: 'И эту машину отключить нельзя, иначе бы в ней не было смысла'. Др. Стрейнджлав задает логичный вопрос: 'Но какой смысл было держать эту машину в секрете?' Русский посол отвечает: 'Мы собирались объявить о ней в ближайший понедельник'. То есть машина, которая должна была резко снизить риск какой-либо войны на Земле, в действительности приводит к её началу. Интересно, что Дж. Лесли пишет в своей книге 'Конец света. Наука и этика человеческого вымирания', что на самом деле было бы неплохо такую машину иметь, так как если бы она правильно применялась, то могла бы снизить риск ядерной войны - примерно как сейчас это делает доктрина взаимного гарантированного уничтожения. Хотя основная идея машины состоит в той форме шантажа, которая подразумевает, что машина судного дня никогда не будет применена, сам факт её создания создаёт вероятность её применения. Такое устройство направленно не только против текущего противника в ядерной войне, но и против всех остальных стран, которые могли бы воспользоваться разрушением в ходе войны двух главных соперников и вырваться вперёд.
  Кроме того, имеются исторические примеры бессмысленного истребления людей - обстрел гитлеровцами Лондона ракетами Фау-2, затопление ими же метрополитена в Берлине вместе со своими же гражданами, поджигание нефтяных скважин в Кувейте. Психологический пример - подрыв себя гранатой при взятии в плен.
  Отнюдь не любой вариант глобальной катастрофы годится как машина судного дня. Это должен быть процесс, который по решению некой группы людей может быть запущен в строго определённый момент времени и вести к глобальной катастрофе со значительной вероятностью, близкой к 100 %, по крайней мере, с точки зрения разработчиков устройства. Машина судного дня также должна быть неуязвима по отношению к попыткам предотвратить её применение, к несанкционированному применению и должна существовать возможность продемонстрировать реалистичность её применения, что нужно шантажистам. (Сейчас в качестве машины судного дня функционально выступает обладание хоть каким-то ядерным оружием, хотя одна атомная бомба весь мир не уничтожит. Например, такова сейчас роль ядерной бомбы в руках Северной Кореи - она хорошо спрятана, но наличие её продемонстрировано.) Вот, вероятно неполный, список возможных машин судного дня:
   Взрыв водородной бомбы
  А) в супервулкане;
  Б) в каменноугольном пласте;
  В) в ядерном реакторе;
  Г) в слое газовых гидратов в океане, с расчётом на цепную реакцию дегазации.
   Создание водородной сверхбомбы стационарного типа.
   Взрыв кобальтовых зарядов, запуск реактора-чёртовой трубки, производящего значительный выброс радиоактивных веществ без взрыва.
   Сведение астероида с орбиты.
   Накопление массы антиматерии.
   Проплавление коры Земли с помощью жидкого ядерного реактора по типу капли.
   Распыление спор антракса в атмосфере, высвобождение большого количества разных вирусов.
   Слив диоксина в океан.
   Выпускание генетически модифицированных производителей токсинов и вирусов ('диоксиновая' плесень, чумная вошь).
   Распространение сотен миллиардов микророботов, атакующих всё живое.
   Уничтожение озонового слоя с помощью некоего катализатора.
   Сочетание всех этих факторов.
  Глава 18. Многофакторные сценарии
  Выше мы составили насколько возможно полный список однофакторных сценариев глобальной катастрофы. Есть и другие варианты этого списка, например, в статье Н. Бострома и в книге Дж. Лесли, с незначительными отличиями. (Однако, представленный мною список является наиболее полным из доступных на сегодняшний день.) Теперь мы должны задаться вопросом, возможны ли сценарии, в которых человечество гибнет не по какой-то одной причине, а от некоторого сочетания факторов, и если да, то какова их вероятность и каковы эти факторы. Скажем, может ли быть так, что один континент истребят супервирусы, другой - нанороботы, а третий вымрет от голода?
  18.1 Интеграция различных технологий, создающих ситуации риска
  Сам факт быстрого развития сильных технологий создаёт особую зону риска. Технологии имеют тенденцию содействовать друг другу в развитии. Скажем, развитие компьютеров помогает рассчитывать свойства новых материалов, а новые материалы позволяют создавать ещё более производительные процессоры для компьютеров. В современной технологии это известно под названием NBIC-конвергенция, что расшифровывается как nano-bio-info-cogno [Медведев 2008] и означает процесс слияния нанотехнологий, биотехнологий, компьютерных технологий и исследований человеческого мозга. Это слияние происходит за счёт обмена методами и результатами, а также реализации проектов, объединяющих элементы этих технологий, например, когда оболочки вирусов используются в качестве элементов для нанороботов [Olson et al 2007], или с помощью генной инженерии выводятся мыши с флуоресцентными маркерами [Ledford 2007] в нейронах мозга для изучения процессов мышления. Конвергенция технологий нарастает по ходу прогресса и происходит выделение быстро развивающегося ядра технологий (NBIC), которые способны каждая помогать каждой. При этом они могут вносить вклад и в ядерные, и в космические технологии, но не получить от них обратного вклада, а в силу этого не получается кольца положительной обратной связи - и эти технологии отстают от мэйнстрима технологического прогресса. Базой для NBIC технологий является миниатюризация. Конвергенция NBIC технологий ведёт к некому пику, которым, вероятно, является сильный искусственный интеллект.
  Подобная интеграция неоднократно имела место в прошлом при создании оружия. Здесь технологии не помогали в развитии друг друга, но создавали принципиально новые агрегаты. Например, самолёт с пулемётом, фотоаппаратом и радиосвязью - в качестве разведчика и истребителя в первую мировую войну. Или межконтинентальная баллистическая ракета, в которой были объединены достижения в области ядерного оружия, ракетной техники и компьютеров, каждое из которых по отдельности было бы в тысячу раз безопаснее. То есть атомная бомба без средств доставки, или ракета с обычной боеголовкой, или ракета без систем наведения. (При этом хочется отметить, что нынешнее сокращение ядерных арсеналов компенсируется ростом их точности, что повышает их поражающую силу.)
  Часто имеющиеся прогнозы будущего и фантастика описывают будущее как настоящее плюс одна какая-то новая черта. Тем же грешат и прогнозы глобальных рисков: они описывают появление в мире какой-то одной опасной технологии и затем рассматривают последствия этого события. Например, как изменится мир, если в нём появятся развитые нанотехнологии. Очевидно, что этот подход несостоятелен, так как будущие технологии, за счёт их совместного развития, будут появляться одновременно и вступать друг с другом в сложные взаимодействия.
  При этом имеет место и последовательная, и параллельная конвергенция. Параллельная конвергенция имеет место, когда несколько новых технологий объединяются, чтобы создать качественно новый продукт, например, межконтинентальную ракету с ядерным зарядом. Последовательная относится к цепочке событий, в которой одни факторы запускают другие, например: теракт - экономический кризис - война - применение биологического оружия.
  18.2 Парные сценарии
  Рассмотрим для начала гипотетические парные сценарии глобальной катастрофы, иначе говоря, разные варианты взаимоусиления основных факторов, взятых парами. При этом понятно, что в реальности они будут действовать все вместе, но эти пары могут стать 'кирпичиками' (или, скорее, связями в графе) для более сложного прогнозирования. Дадим эскизное описание такого рода взаимодействия, фактически, в порядке мозгового штурма. Здесь каждый парный сценарий не следует воспринимать как окончательный прогноз - но не потому, что он слишком фантастичен, а потому, что он не учитывает влияния ещё ряда факторов.
  ИИ и биотехнологии
  Последовательная конвергенция (цепочка событий):
  1. Генетически модифицированные сверхлюди будут обладать сверхинтеллектом, который позволит им создать настоящий компьютерный ИИ.
  2. ИИ создаст сверх-вирус как оружие.
  3. Люди вымрут от вируса, и придётся вводить вместо них роботов.
  Параллельная конвергенция: возникновение новых продуктов на базе обеих технологий:
  4. Биологическая сборка сверхплотных чипов резко ускорит рост ИИ.
  5. Специальные вирусы будут устанавливать созданные самим ИИ программы в мозг людям.
  6. ИИ будут создавать непосредственно из биоматериалов - нейронов, ДНК.
  ИИ и сверхнаркотик
  Последовательные сценарии:
  1. Например, ИИ захочет обрадовать людей и создаст такой наркотик. Или сам ИИ и будет таким наркотиком (см. виртуальная реальность, интернет, управляемые сны).
  2. По мере гибели людей от сверхнаркотика придётся заменять их на роботов.
  3. Или наоборот, придётся придумать некое сверх-телевидение, чтобы успокоить людей, которые остались без работы из-за ИИ.
  4. Сверхнаркотик будет оружием враждебного ИИ против людей.
  Параллельная конвергенция:
  5. ИИ придумает сложную комбинацию магнитных полей, создающую точный наркотический эффект в мозгу.
  6. Связь ИИ и человеческого мозга через нейрошунт принципиально усилит возможности и того, и другого. ИИ получит доступ к человеческой интуиции, а человек - к неограниченной памяти и скорости мысли.
  Сверхнаркотик и биотехнологии
  1. Производство опасных наркотиков станет таким же простым делом, как выращивание чайного гриба.
  2. Потребность людей в наркотиках приведёт к расцвету чёрного рынка биотехнологий, который попутно сделает доступным и изготовление биооружия массового поражения.
  3. Чтобы отучить людей от сверхнаркотика, будет распылено особое биооружие, поражающее мозг.
  4. Некая заразная болезнь одним из своих симптомов будет иметь эйфорию и стремление распространять эту болезнь.
  Сверхнаркотик и нанотехнологии
  Ещё более сильный эффект даст прямое раздражение областей мозга микророботами. Нанороботы создадут системы, которые будут выводить информацию из мозга наружу (нейрошунты), что позволит создавать ещё более мощные средства развлечений. (Интересно, что в программе развития нанотехнологий в России утверждается, что рынок таких устройств к 2025 году достигнет миллиардов долларов .) Однако в целом здесь действуют те же сценарии, что и с биотехнологиями.
  ИИ и нанотехнологии
  1. Нанороботы позволят прочесть детали устройства человеческого мозга, что ускорит развитие ИИ.
  2. ИИ поможет разработать и выпустить сверхэффективных нанороботов.
  3. Прогресс в нанотехнологиях поддержит закон Мура достаточно долго, чтобы компьютеры достигли производительности, многократной превосходящей производительность человеческого мозга при крайне низкой цене.
  4. Нанороботы и будут реальными носителями ИИ - получится нечто среднее между разумным океаном в духе лемовского Соляриса и сценарием Серой слизи.
  5. Враждебный ИИ использует нанороботов как оружие для установления своей власти на Земле.
  ИИ и ядерное оружие
  1. ИИ придумает, как сделать ядерное оружие (ЯО) проще, быстрее и дешевле.
  2. Сценарий, в духе предложенного в фильме 'Терминатор': ИИ использует ЯО, чтобы избавится от людей.
  3. Люди используют ЯО, чтобы попытаться остановить вышедший из-под контроля ИИ.
  Нано и биотехнологии
  1. Живые клетки будут собирать детали нанороботов (синтезировать в особых рибосомах).
  2. Появятся 'аниматы' - искусственная жизнь, содержащая элементы как живого, так и нанороботов.
  3. Только нанороботы дадут окончательную защиту от биологического оружия.
  Нанотехнологии и ядерное оружие.
  1. Нанотехнологии позволят упростить разделение изотопов и конструирование ЯО.
  2. Попытки бороться со стаями нанороботов с помощью ядерных ударов приведут к дополнительному разрушению и заражению Земли.
  Ядерное оружие и биотехнологии
  1. Ядерное оружие может применяться для уничтожения опасных лабораторий и стерилизации заражённых пространств.
  2. Биоразработки могут применяться для добычи урана из морской воды и для его обогащения, а также для выделения плутония из отработанного топлива, или для дезактивации территории.
  3. Ядерная война происходит в сильно заражённом биологическими агентами мире. Война делает невозможным адекватный темп производства вакцин и прочих щитов, и одновременно приводит к интенсивной миграции людей. Ресурсы, которые могли бы пойти на защиту от микробов, брошены на защиту от радиационного облучения. Многие люди ослаблены.
  ЯО и супервулканы
  С помощью водородной бомбы можно спровоцировать взрыв супервулкана или сильное землетрясение. Или наоборот, направить его энергию по обводному каналу.
  ЯО и астероиды.
  1. С помощью ЯО можно отклонить астероид от Земли, или наоборот направить его на Землю.
  2. Падение астероида может быть воспринято как ядерный удар и привести к случайному началу атомной войны.
  3. Астероид может также разрушить атомную станцию и вызвать заражение.
  ИИ и системный кризис
  1.Применение сверхкомпьютеров создаст некий новый тип нестабильности - быстрой и непонятной (в военной сфере, в экономике, в области прогностики-футурологии).
  2. Война или угроза войны приведёт к гонке вооружений, в результате которой будет создан самый разрушительный и опасный ИИ.
  3. Весь мир оказывается зависим от глобальной компьютерной системы управления, которая затем разрушается хакерами. Или в неё отдаётся команда о саморазрушении.
  ЯО и системный кризис
  1. Любой взрыв атомной бомбы в городе может обрушить мировые финансовые рынки.
  2. Наоборот, обвал рынков и финансовый кризис может привести к фрагментации мира и усилению соблазнов силовых решений.
  ЯО и климат
  1. Можно нарочно вызвать ядерную зиму, взорвав мощный ядерный заряд в каменноугольном пласте, что гарантировано выбросит в атмосферу огромное количество сажи. Если теория о 'ядерной зиме' в результате атак на города верна, то такое действие будет в десятки или сотни раз эффективнее по выходу сажи.
  2. Можно, вероятно, спровоцировать и необратимое глобальное потепление с помощью правильно выбранных мест для ядерной атаки. Например, известно, что после ядерной зимы возможно ядерное лето, когда сажа осядет на ледники и вызовет их нагрев и таяние. Взрыв бомб в массивах газовых гидратов под дном океана тоже может вызывать цепную реакцию их высвобождения.
  3. Наоборот, можно регулировать климат, провоцируя выброс серы и пепла вулканами с помощью ядерных зарядов (но это уже цепочкам из трёх элементов).
  18.3 Изучение глобальных катастроф с помощью моделей и аналогий
  Глобальная катастрофа технологической цивилизации, ведущая к человеческому вымиранию - уникальное явление, которого никогда не было в истории, что затрудняет её исследование. Однако мы можем попробовать подобрать ряд других событий, которые будут аналогичны глобальной катастрофе в некоторых своих аспектах, и собрать, таким образом, ряд моделей. Выборка такого рода достаточно субъективна. Предлагаю взять в качестве аналогий масштабные, сложные, обстоятельно изученные и известные события. Это:
   Вымирание динозавров
   Вымирание неандертальцев
   Крах Римской империи
   Распад СССР
   Кризис на острове Пасхи
   Крах индейских цивилизаций Америки после открытия её Колумбом
   Взрыв в Чернобыле
   Гибель 'Титаника'
   Взрыв сверхновой звезды
   Возникновение человечества с точки зрения биосферы
   Начало Первой Мировой войны
   Рак как болезнь.
  Эти события могут быть уподоблены глобальной катастрофе в разных аспектах. В одних из них участвуют разумные существа, в других необратимо вымирают целые виды, в третьих к краху подходят сложноорганизованные системы, в четвёртых участвуют сложные технологии. По каждой из названных тем много литературы, и она достаточно противоречива. В каждом случае есть множество гипотез, которые объясняют всё через какую-то одну причину - но поскольку таких гипотез много, то ни одна причина не является действительно единственной. Скорее наоборот, общим во всех названных вариантах является то, что не было какой-то одной причины: чем больше мы вникаем в детали, тем более различимо множество факторов, которые привели к концу, и которые взаимодействовали сложным образом. Про каждую из этих катастроф написаны книги, и разброс мнений значителен, поэтому я не буду пытаться пересказать все возможные представления о причинах всех этих катастроф, а отсылаю читателя к соответствующей литературе, среди которой можно выделить недавнюю книгу 'Коллапс' Даймонда [Diamond 2004]. О вымирании динозавров стоит посмотреть соответствующую главу в книге К. Еськова 'История Земли и жизни на ней' [Еськов 2004].
  Общим во всех этих случаях является то, что присутствовал сложный комплекс причин как внешнего, так и внутреннего характера. Именно комплексность этих причин создаёт проблемы, в тех случаях, когда мы пытаемся ответить на вопросы в духе 'Почему распалась Римская империя?' И это самый главный урок. Если мы столкнёмся с катастрофой, которая погубит человеческую цивилизацию, то, скорее всего, она произойдёт не по какой-то одной причине, а в силу сложного взаимодействия разных причин на разных уровнях. Следовательно, мы должны пытаться создать модели такого же уровня сложности, как те, которые используются для описания уже случившихся крупных катастроф.
  Во-первых, важно отметить, что решающую роль в вымираниях и катастрофах играли факторы, составляющие основополагающие свойства системы. (Например, динозавры вымерли не от внешне случайной причины - астероида, а от самого их определяющего свойства - что они были огромные и яйцекладущие, а значит, были уязвимы к мелким хищным млекопитающим. Астероид был только поводом, открывшим окно уязвимости, и более устойчивые виды пережили его, например, крокодилы. Человек заболевает раком, не потому что у него произошла неправильная мутация, а потому что он по своей природе состоит из клеток, способных к делению. Если бы не специфика индейской культуры без колеса, лошадей и прогресса, то не Колумб бы приплыл к ним, а они - к Колумбу.)
  Идея о том, что определяющие свойства системы задают тот тип катастроф, которые с ней могут случиться, заставляет задуматься, каковы определяющие свойства человеческого вида и современной цивилизации. Например, то, что самолёт по определению летает, - задаёт наиболее типичную катастрофу для него - падение. А для корабля наиболее типичным риском будет утонуть. Но гораздо реже корабли разбиваются, а самолёты тонут.
  Итак, исходя из того, что ни одна из этих катастроф не была вызвана каким-то одним простым внешним фактором, а имела причины в определяющих свойствах самой системы (которые были, соответственно, 'размазаны' по всему объему системы), мы можем сделать важный вывод: однофакторные сценарии глобальной катастрофы не настолько опасны, насколько опасны 'определяющие свойства систем' и связанные с ними системные кризисы. Особенность системного кризиса состоит ещё и в том, что он автоматически вовлекает в себя всю популяцию и ему не нужны универсальные 'средства доставки'.
  С другой стороны, мы можем сказать, что все эти факторы неважны, так как все империи рано или поздно всё равно рушатся, виды вымирают, а существа гибнут. Но эти сведения для нас бесполезны, так как ничего не говорят, как сделать так, чтобы это произошло 'поздно', а не 'рано'.
  Во-вторых, хотя внутренние противоречия системы могли очень долго назревать, нужны были внешние и достаточно случайные факторы, чтобы подтолкнуть её к гибели. Например, хотя экологическая ниша динозавров устойчиво сокращалась по самой логике этого процесса, падение астероида и извержения вулканов могло ещё более подтолкнуть этот процесс. Или оледенение, которое подтолкнуло неандертальцев к вымиранию, одновременно с давлением со стороны сапиенсов. Или Чернобыльская авария, которая подорвала СССР в период наибольшей уязвимости. И если бы этих внешних случайных факторов не было, то система могла бы и не перейти в другое русло своего развития.
  В-третьих, во всех случаях, когда речь шла о разумном управлении, оно оказывалось, так или иначе, не очень разумным. Т.е. совершало решающие ошибки, ведущие к катастрофе. Кроме того, часто катастрофа связана с одновременным 'случайным' совпадением большого числа разнородных факторов, которые по отдельности не вели к катастрофе. Наконец, катастрофическому процессу может быть свойственна патологическая самоорганизация, когда разрушительный процесс усиливается на каждом этапе своего развития.
  Интересно изучить также и насколько успешно было человечество в создании систем, которые никогда не терпели катастроф, то есть при конструировании которых не использовался метод проб и ошибок. Увы, мы вынуждены исключить множество систем, которые создавались как безаварийные, но в результате привели к катастрофам. Можно вспомнить о ядерных реакторах, космических кораблях 'Шаттл', сверхзвуковых 'Конкордах'. Лучше всего выглядит обеспечение безопасности ядерного оружия, но и здесь было несколько инцидентов, когда ситуация была, что называется, на грани. Представляется продуктивным дальнейшее изучение аналогов и моделей глобальных катастроф на совокупности примеров.
  18.4 Неизбежность достижения устойчивого состояния
  Можно сформулировать следующее правдоподобное высказывание: скорее всего, скоро человечество перейдёт в такое состояние, когда вероятность глобальных катастроф будет очень мала. Это произойдёт в следующих случаях:
  1) Мы поймём, что ни одна из глобальных катастроф не имеет высокой вероятности ни при каких условиях.
  2) Мы найдём способ контролировать все риски.
  3) Катастрофа всё-таки произойдёт, и гибнуть больше будет некому.
  4) Мы смиримся с неизбежностью глобальной катастрофы как частью естественного жизненного процесса (так, например, последние две тысячи лет христиане ждали Конца Света, и даже радовались его близости).
  Однако, пока мы наблюдаем противоположное явление - возможности людей по созданию средств разрушения, а значит и погодовая вероятность глобальной катастрофы, постоянно растёт. Причём растёт быстрее, чем население и средства защиты. Если мы посчитаем эту кривую роста, то она тоже будет иметь некий пик. Можно взять для сравнения масштаб жертв от первой и второй мировой войн. Мы увидим, что за 25 лет число жертв максимального реализованного разрушения выросло примерно в 3,6 раза (если брать оценки в 15 и 55 млн. жертв соответственно). Это опережает рост населения. Однако с развитием ядерного оружия это ускорение пошло ещё быстрее, и уже к 1960-70 годам реально можно было уничтожить сотни миллионов людей (в реальной войне погибло бы не всё население Земли, так как цель истребить всех не ставилась). Итак, если взять темп ускорения силы разрушения в 3,6 в 25 лет, то получим ускорение в 167 раз за сто лет. Это означает, что к 2045 году война будет способна уничтожить 9 миллиардов людей - что сопоставимо с ожидаемым на этот момент общим количеством населения Земли. Эта цифра близка к ожидаемой Технологической Сингулярности в районе 2030 года, хотя получена совсем другим способом и с использованием данных только первой половины ХХ века.
  Поэтому мы можем переформулировать наш тезис: вечно рост вероятности факторов риска продолжаться не может. Можно сформулировать его и иначе: средства сохранения стабильности должны превосходить средства саморазрушения. Если же средства разрушения окажутся более мощными, то система опустится на такой уровень, где силы упорядочивания будут достаточны. Даже если это будет выжженная пустыня. С учётом временнóго фактора можно сказать, что средства поддержания стабильности должны расти быстрее, чем средства саморазрушения. И только в этом случае погодовая вероятность вымирания будет падать, и интеграл её во времени не будет стремиться к единице, что означает возможность бесконечного существования человечества, то есть реализации задачи его неуничтожимости.
  18.5 Рекуррентные риски
  Любой глобальный риск, который был нами перечислен в первой половине этого текста, становится значительно более опасным, если он возникает многократно. Есть большая разница между однократной утечкой опасного вируса, и тысячами утечек разных вирусов, происходящих одновременно. Если утечёт и распространится один вирус с летальностью в 50 %, мы потеряем до половины населения Земли, но это не прервёт развития человеческой цивилизации. Если в течение жизни одного поколения будет 30 таких утечек, то в живых останется - вероятнее всего - только один человек. Если их будут тысячи, то гарантированно не выживет никто, даже если летальность каждого отдельного вируса будет только 10-20 % (при условии что все эти вирусы распространятся по всей планете, а не осядут в ареалах). То же самое можно сказать и про падение астероидов. Бомбардировка длительной серией из десятков астероидов среднего размера будет гораздо летальнее для человечества, чем падение одного большого.
  Разумеется, надо учесть способность человечества приспособиться к какой-то одной угрозе. Например, можно преуспеть в противостоянии абсолютно всем биологическим угрозам - если это будет единственный класс угроз. Однако возможности создания универсальной защиты от глобальных рисков ограничены. После 11 сентября в США стали составлять список уязвимых объектов и быстро поняли, что невозможно охранять все объекты.
  Поскольку развитие технологий идёт совместно, мы не можем рассчитывать, что какие-то одни ключевые технологии возникнут, тогда как все остальные останутся на том же уровне, как сейчас. (Хотя обычно именно такой образ создают фантастические романы и фильмы. Это пример 'предвзятости мышления, обусловленного хорошей историей'.)
  18.6 Глобальные риски и проблема темпа их нарастания
  Глобальные риски являются игрой на опережение. Каждое новое технологическое свершение создаёт новые глобальные риски и уменьшает прежние. Освоение космоса уменьшило риск случайного столкновения с астероидом, но создало возможность организовать его нарочно. Распространение нанороботов уменьшит угрозы от генетически модифицированных организмов, но создаст ещё более опасное оружие. Искусственный интеллект решит проблемы контроля над другими опасными технологиями, но создаст такую систему контроля, любой сбой в работе которой может быть смертельно опасен. Развитие биотехнологий даст нам в руки возможность победить все бывшие прежде болезни - и создать новые.
  В зависимости от того, какие технологии возникнут раньше или позже, возможны разные развилки на пути дальнейшего развития цивилизации технологического типа. Кроме того, важно, будут ли новые технологии успевать решать задачи, созданные на предыдущих этапах развития, в первую очередь - проблемы исчерпанности тех ресурсов, которые были истощены в ходе развития предыдущих технологий, а также устранения рисков, созданных прошлыми технологиями.
  Раньше с человечеством происходило множество всех возможных ситуаций на неком этапе его исторического развития, например, всё множество взаимодействий большого государства с кочевниками. Теперь мы оказываемся, по-видимому, в ситуации появления реальной исторической альтернативы - если будет что-то одно, то чего-то другого совсем не будет. Или будет создан мощный, контролирующий всё ИИ, или всё съест серая слизь. Или мы станем космической цивилизацией, или вернёмся в каменный век.
  Глобальный риск возникает в силу скорости создающего его процесса. С медленным процессом распространения чего-то можно успеть справиться, приготовить правильные бомбоубежища, вырастить вакцину. Следовательно, отличить настоящий глобальный риск можно по темпу его развития (Солженицын: 'революция определяется темпом' [Солженицын 1983].) Темп этот будет в случае глобального риска ошеломительным, потому что люди не могут успеть понять, что происходит и правильно приготовиться. Однако для разных классов событий ошеломляющими будут разные скорости. Чем невероятнее событие, тем меньшая его скорость будет ошеломляющей. СССР казался чем-то настолько вечным и незыблемым, что даже растянутый на многие годы кризис и крах советской системы казался ошеломляющим. Системный кризис, в котором точка максимальной катастрофичности постоянно сдвигается (как пожар, перекидываясь с одного объекта на другой), обладает гораздо большим ошеломляющим потенциалом.
  При этом под шоковым восприятием системного кризиса следует понимать способность событий создавать неправильное о себе впечатление, возможно, в форме 'шока будущего'. И соответственно вызывать неправильную на них реакцию, ещё более их усиливающую (Пример чему - недавние ошибки американских властей, допустивших банкротство банка 'Леманн Бразерс', что привело к несравнимо большему финансовому ущербу, чем если бы банк был спасён .) Конечно, некоторые сразу поймут суть происходящего, но ошеломлённость означает распад единой картинки происходящего в обществе, особенно у властей. Поэтому произойдёт ослепление и голоса 'Кассандр' не будут услышаны - или будут понятны неверно. Более быстрые процессы будут вытеснять более медленные, но не всегда внимание будет успевать на них переключиться.
  18.7 Сравнительная сила разных опасных технологий
  Далее, мы можем составить список 'силы' разрушительного воздействия технологий, в которой каждая следующая технология даёт больший темп угроз и затмевает угрозы, создаваемые на предыдущем этапе. Временной фактор указывает здесь на длительность возможного процесса вымирания (а не время до созревания технологии).
  1. Исчерпание ресурсов - десятилетия или столетия.
  2. Масштабная ядерная война с применением кобальтовых бомб - с учётом медленного последующего вымирания - годы и десятилетия.
  3. Биотехнологии - годы или десятки лет.
  4. Нанороботы - от нескольких дней до нескольких лет.
  5. Искусственный интеллект - от часов до нескольких лет
  6. Взрыв на ускорителе - со скоростью света.
  Важно отметить, что быстрые процессы 'побеждают' медленные. Соответственно, сценарии глобальной катастрофы будут с гораздо большей вероятностью переходить с первых позиций этого списка на последние, иначе говоря, если в середине процесса исчерпания ресурсов вдруг начнётся многофакторная биологическая война, то процесс исчерпания ресурсов будет настолько медленным по сравнению с ней, что его можно не принимать во внимание. При этом наличие каждой более продвинутой технологии будет позволять минимизировать последствия катастрофы от более слабой. Например, развитые биотехнологии помогут добывать ресурсы и очистить мир от радиоактивного заражения. Нанороботы смогут защитить от любых биологических опасностей.
  18.8 Последовательность возникновения различных технологий во времени
  Приведённый выше список 'силы' технологий в целом похож на ожидаемую временнýю последовательность возникновения технологий в реальности, поскольку мы можем ожидать, что по ходу прогресса будут возникать всё более сильные и потенциально разрушительные технологии, но на самом деле не обязательно соответствует этой последовательности.
  Последовательность возникновения различных технологий во времени является важнейшим фактором в определении того, какое нас ждёт будущее. Хотя благодаря NBIC-конвергенции успехи в одной технологии сказываются на других, для нас моментом созревания технологии является тот момент, когда с её помощью становится возможным создать глобальный риск. И даже небольшое опережение здесь может играть решающее значение. Вообще, любая технология позволяет создавать щит и меч. По времени, щит обычно отстает, хотя, в конечном счёте, он может оказаться сильнее меча. Кроме того, более сильная технология создаёт щит от более слабой.
  Обычно ожидается следующая последовательность созревания технологий: био - нано - ИИ. Сильный искусственный интеллект является своеобразным 'джокером', который может возникнуть и завтра, и через десять лет, и через 50 или вообще никогда. Биотехнологии развиваются достаточно поступательно в соответствии со своим 'законом Мура', и мы в целом можем предсказать время, когда они созреют до той точки, где можно будет производить каких угодно вирусов где угодно и как угодно дёшево. Это точно будет возможно через 10-30 лет, если некая катастрофа не прервёт развитие этих технологий. Опасный физический эксперимент может произойти почти мгновенно и независимо от других технологий - пока имеется высокий уровень технологий вообще. Приход к власти мощного ИИ значительно сократит вероятность такого события (но даже ИИ может ставить некие эксперименты).
  Нанотехнологии находятся в значительно более зачаточной форме, чем биотехнологии и даже технологии ИИ. Первые опасные эксперименты с биотехнологиями были ещё в 1970-е годы (раковая кишечная палочка), а до ближайших опасных нанотехнологических экспериментов - ещё 10 лет как минимум, если не произойдёт какого-то технологического прорыва. То есть, нанотехнологии отстают от биотехнологий почти на 50 лет. Внезапный прорыв может произойти или со стороны ИИ - уж он придумает как легко и быстро создать нанотехнологии или со стороны биотехнологий -на пути создания синтетических организмов.
  18.9 Сопоставление различных технологических рисков
  Для каждой сверхтехнологии можно ввести фактор опасности Y=a*b, который отражает как вероятность возникновения этой технологии (a), так и вероятность её злонамеренного применения (b).
  Например, ядерные технологии уже существуют (a=1), но контроль над их значительным применением (полномасштабной войной или сверхбомбой) достаточно высок, поэтому вторая величина произведения мала. Для биотехнологий высока как вероятность их развития, так и вероятность их злонамеренного применения. Для ИИ эти величины нам неизвестны. Для нанотехнологий тоже неизвестна ни вероятность их создания (однако не видно принципиальных трудностей), а вероятность их злонамеренного применения аналогична вероятности для биологического оружия.
  Кроме того, можно добавить фактор скорости развития технологии, который показывает, насколько она близка по времени. Линейное умножение здесь не вполне корректно, так как не учитывает тот факт, что опоздавшая технология полностью отменяется другими, а также нелинейный характер прогресса каждой технологии (как минимум экспонента). Чем дальше от нас технология, тем она безопаснее, так как больше шанс на то, что мы найдём способ безопасным образом управлять прогрессом и применением его плодов.
  Обобщая, можно сделать вывод, что биотехнологии получают самые высокие баллы по этой шкале - эти технологии наверняка возможны, вредоносное их применение почти неизбежно и по времени они весьма близки к нам.
  Нанотехнологии получают неожиданно низкий уровень угрозы. Неизвестно, возможны ли они, при этом они могут оказаться вполне безопасными и до момента их естественного созревания ещё довольно много времени. Если же они созревают неестественно, - благодаря прогрессу в создании ИИ или биотехнологий, - они оказываются в тени силы этих технологий: в тени угроз от биотехнологий, которые к тому моменту они могут создавать, и в тени способностей ИИ к контролю, который сможет проконтролировать все случайные утечки нанотехнологий.
  ИИ, будучи 'двухсторонним джокером', может и предотвратить любые другие риски, и легко погубить человечество. Сам момент возникновения ИИ является моментом полифуркации - в этот момент ему могут быть заданы цели, которые потом будет изменить невозможно. Медленное и более позднее возникновение ИИ связано с возможным плавным перерастанием государства в гигантский всё-контролирующий компьютер. Более быстрое и раннее возникновение, скорее, связано с внезапным изобретением в некоей лаборатории машины, способной к самосовершенствованию, и нацеливанием её на захват власти на Земле. В этом случае она, скорее, создаст некие принципиально новые структуры связи и управления, а распространение её будет взрывным и революционным. Однако чем позже люди создадут ИИ, тем больше шанс, что они будут понимать, как правильно его запрограммировать, чтобы он на самом деле приносил благо людям. Однако, с другой стороны, чем позже он возникнет, тем вероятнее, что это сделает некий 'хакер', так как сложность задачи с каждым годом упрощается. Е. Юдковски (в статье в приложении к этой книге) метафорически так выражает эту мысль: Закон Мура в отношении ИИ гласит, что с каждым годом IQ человека-конструктора, необходимый для создания ИИ, падает на одну единицу.
  Основной развилкой, на мой взгляд, является то, удастся ли создать мощный ИИ до того, как сработает совместный эффект 'добивания', вызванный системным кризисом, биотехнологиями, ядерной войной и другими факторами. Или же все эти события настолько ослабят человечество, что почти все учёные-специалисты по ИИ погибнут, или станут беженцами, и работы в этой области встанут. Ослабить исследования может даже простое разрушение Интернета, которое уменьшит информационный обмен и взрывной рост технологий. Эта развилка относится к событиям, которые я назвал 'глобальные риски третьего рода'.
  Чем быстрее ускоряется развитие технологий, чем больше скорости обмена, тем быстрее становятся все процессы внутри человеческой цивилизации, в том числе тем быстрее работают все виртуальные симуляции реальности. Это означает, что за год объективного времени цивилизация может пройти сотни и тысячи лет 'субъективного' времени, если считать по её внутренним часам. В силу этого, вероятности любых внутренних рисков возрастают, и даже самые маловероятные события внутреннего характера могут успеть произойти. Поэтому для внешнего наблюдателя цивилизация становится крайне неустойчивой. Зато ускорение внутреннего времени делает цивилизацию гораздо более независимой от внешних рисков - с точки зрения внутреннего наблюдателя.
  Вопрос в том, является ли человечество внешним или внутренним наблюдателем процессов ускорения. Определённо, значительная часть людей не участвует в мировых процессах - треть людей в мире никогда не пользовалась телефоном. Тем не менее, они могут в равной мере с остальными людьми пострадать, если что-то пойдёт не так. Однако сейчас люди из 'золотого миллиарда' в целом поспевают за прогрессом. Но в будущем возможна ситуация, когда прогресс оторвётся и от этих людей. Возможно, в него будет вовлечена группа ведущих учёных, а может, он полностью будет зависеть от компьютеров. Естественная человеческая инерция считается хорошим предохранителем от темпов прогресса. Трудно заставить людей менять компьютеры чаще, чем раз в несколько лет (хотя японцы приучены менять сотовые телефоны и одежду каждые три месяца), правда экономическое давление очень велико и создаёт социальное давление - например, рекламный образ нового, ещё более крутого телефона. Однако в случае вооружённого противостояния, гонка вооружения ничем не ограничена по темпу - побеждает более быстрый.
  18.10 Цели создания оружия судного дня
  Опасный фактор глобальной катастрофы может возникнуть или случайно, или быть создан намеренно. (Однако возможна и комбинация этих двух моментов: случайным фактором могут воспользоваться намеренно, например, скрыв приближение опасного астероида, или наоборот, нечто, замышлявшееся как игра с низким риском глобальной катастрофы, выйдет из-под контроля.)
  Часто в дискуссиях возникает мнение, что никто не захочет реализовывать некий дьявольский план, и поэтому можно его не рассматривать. Это неверно. Во-первых, здесь применим статистический подход - рано или поздно нужные условия сложатся. Во-вторых, на Земле действительно есть группы людей и отдельные личности, которые хотят 'конца света'. Однако в целом это не относится к исламским террористам, потому что они хотят создать Всемирный Халифат, а не радиоактивную пустыню. (Но они могут быть готовы рискнуть по принципу 'всё или ничего', например, создав 'машину судного дня' и грозить её применить, если все страны мира одновременно не примут ислам. Но если другая секта одновременно создаст 'машину судного дня' с требованием всем принять некую особенную форму буддизма, то ситуация действительно станет патовой, поскольку оба этих требования нельзя удовлетворить одновременно.) Важно отметить, что группа людей может гораздо дольше удерживать себя в состоянии настройки на некую идею, чем один человек, но зато группы реже формируются. Рассмотрим разные группы людей, которые потенциально могут стремиться к уничтожению человечества.
  1) Эсхатологические секты. Пример: Аум Синрикё. Эта организация не только верила в близость наступления конца света, но и работала над его приближением, собиралась информация о ядерном оружии, вирусах и химических веществах. (Впрочем, есть разные предположения о том, что именно делала и хотела Аум Синрикё, и выяснить окончательную правду не представляется возможным.) Теоретически опасны любые религиозные фанатики, выбирающие смерть. Например, старообрядцы часто предпочитали смерть новой вере. Такие фанатики полагают благом потусторонний мир или воспринимают Конец света как 'обряд очищения'. При этом возможна психологическая подмена, когда длительное ожидание чего-либо превращается в желание этого. Собственно, логическая цепь, приводящая от мирной медитации к разрушительной деятельности (за 10 лет примерно в случае Аум Синрикё) такова: сначала осознаётся наличие иного мира. Затем осознаётся, что потусторонний мир важнее нашего, и главные цели лежат в нём. Из этого следует, что наш мир вторичен, создан высшим миром, а, следовательно, мал, конечен и неважен. Более того, наш мир полон препятствий, мешающих чистому течению медитации. Поскольку высший мир первичен, то он рано или поздно прекратит существование нашего мира. Поскольку наша секта является богоизбранной, то она получает особо точные знания о том, когда именно случится завершение этого мира. И, удивительное совпадение, есть знаки, что это произойдёт очень скоро. Более того, уничтожив мир, наша секта выполнит волю бога. Это обладание сверхважным секретным знанием, естественно, обостряет чувство собственной важности членов секты, и используется для укрепления руководства в ней. Конец нашего мира будет означать соединение всех хороших людей с высшим миром. Знание близости неизбежного конца, осознание позитивности этого события и своей исключительной роли в этом важном событии приводит к осознанию, что секта должна не только знать и проповедовать о конце света, но и приближать это событие. (Психологически происходит замена долгого ожидания на стремление.) Кроме того, попутно можно расправиться со своими врагами и чувствовать себя победителями старого мира. (Я не хочу сказать, что точно знаю, что Аум Синрикё действительно рассуждала подобным образом. Однако элементы этого рассуждения можно обнаружить у самых разных групп с эсхатологическим мировоззрением, от христианских до революционных. И вовсе не все люди и группы, которые говорят о конце света, собираются его организовывать. Среди известных сект, ожидающих конца света, - свидетели Иеговы и мормоны.)
  2) Радикальные экологи. Примеры: Движение за добровольное вымирание человечества. (The Voluntary Human Extinction Movement - они считают полезным вымирание человечества, однако предлагают осуществить это путём отказа от размножения.) Такие группы считают благом мир природы и животных и полагают человечество - не без оснований - раковой опухолью на теле Земли, ведущей вымиранию всего живого. Также можно вспомнить радикальных вегетарианцев - 'веганов', для которых жизнь животных не менее (а под час и более) важна, чем человеческая.
  3) Нео-луддиты. Например, террорист Унабомбер (Теодор Качинский), который считал единственным выходом для цивилизации - остановку технологического прогресса и возвращение к природе, и рассылал по почте бомбы ведущим учёным-кибернетикам. Три человека погибли и многие были ранены в результате его действий. Сейчас он отбывает срок в американской тюрьме.
  4) Озлобленные люди, движимые местью. Те, кто сейчас, например, расстреливают из автомата одноклассников. Но такие проекты всё же готовятся не годами, а обычно несколько дней. Хотя можно представить себе человека, который сошёл с ума, сконцентрировавшись на идее отомстить миру или Богу.
  5) Бессознательное деструктивное поведение. Это может быть или неожиданный всплеск (разбить пробирку с ядом), или некая более тонкая ошибка в оценке собственных целей. Например, многие виды наркомании и экстремального поведения являются, по мнению психологов, скрытыми формами медленного 'самоубийства' (саморазрушительное поведение). Потребность в самоубийстве, возможно, записана у человека на генетическом уровне и вызывается в ответ на отвержение его обществом (например: сепуко самураев; собака, умирающая от одиночества; алкоголизм от одиночества).
  6) 'Геростраты'. Понятно, что не перед кем будет прославиться, если разрушить весь мир, но, уничтожая его, можно на секунду почувствовать себя 'великим человеком'. Фактически, это будет извращённое проявление стремления к власти.
  7) Шантажисты, создавшие 'машину судного дня'. Это могут быть люди, выдвигающие какие угодно политические или экономические требования под угрозой полного уничтожения всего мира. Поэтому их может быть особенно трудно поймать, так как их 'машина' может находиться в любом месте.
  8) Универсальное оборонительное оружие последнего выбора. Вместо того чтобы создавать ядерный щит из ракет, некая страна может создать одну сверхмощную ядерную бомбу с кобальтовой оболочкой и угрожать её взорвать в случае вооружённой агрессии. Это немногим менее рационально, чем концепция 'взаимного гарантированного уничтожения', ради которой созданы стратегические ядерные силы. И это похоже на поведение человека, который подрывает себя гранатой вместе с неприятелем - а ведь правители тоже пока люди. Тем более что такое оружие создаётся не для того, чтобы его применять, а чтобы угрожать им. Концептуально это близко идее 'глобального шантажа'.
  9) Рискованное поведение, дающее большой выигрыш или проигрыш. Например, это может быть некий физический или биологический эксперимент. Это может быть отягчено нежеланием и неспособностью людей оценить масштабы и вероятность проигрыша в наихудшем случае. Пример: внешняя политика Рейгана в противостоянии с СССР.
  10) Потребность в риске для сильных переживаний, азарт. Люди проигрывали поместья в карты не для того, чтобы изменить своё имущественное положение, а потому что испытывали потребность в острых переживаниях риска. Сейчас это проявляется в экстремальных видах спорта.
  11) Сторонники вытеснения людей более совершенным искусственным интеллектом. В Интернете есть люди, продвигающие эту идею. Радикальные трансгуманисты тоже могут, даже против своей воли, попасть в это число.
  12) Люди, полагающие смерть лучшей альтернативой чему-либо. Один американский генерал во Вьетнаме сказал про убитых жителей одной деревни: 'Чтобы спасти их, нам пришлось их уничтожить'.
  13) Самоубийцы. Если человек нашёл достаточные основания, чтобы убить себя, он может не пожалеть и остальной мир. Пример: Итальянский пилот, который врезался в башню Пирелли в Милане на частном самолёте 12 марта 2002 года. Клиническая депрессия может проявляться в том, что человек начинает испытывать интерес к проблемам конца света, а затем желать, чтобы он скорее наступил. Отсюда один шаг до активной помощи в этом процессе.
  14) Шизофреники, охваченные навязчивыми идеями. Бред при шизофрении заставляет человека обнаруживать не существующие в природе взаимосвязи. Шизофреники часто слышат голоса, которые подчиняют их себе. Мы не можем предсказать, какого рода бред приведёт к выводу о том, что Землю надо уничтожить. При этом интеллектуальные способности при шизофрении не снижаются настолько, чтобы сделать невозможной реализацию долгосрочных эффективных стратегий. Хотя специальные тесты могут доказать наличие шизофрении, внешне она не всегда очевидна. Более того, в отличие от невроза, она не осознаётся самим человеком. Утрата способности сомневаться - одно из наиболее серьёзных проявлений шизофрении. Шизофрения может быть 'заразной' в виде религиозных сект, тиражирующих некие бредовые идеи.
  15) Борцы за мир. В истории неоднократно сверхоружие создавалось с той мыслью, что теперь оно сделает войны невозможными. С такой целью был создан динамит, с этой же идеей была придумана кобальтовая бомба.
  16) Дети. Уже сейчас хакеры подросткового возраста стали одним из основных источников разрушительной активности в Интернете. При этом их интеллекта достаточно, чтобы освоить какую-то одну отрасль знания и написать вирус или сделать 'бомбочку', но не достаточно ещё, чтобы осознать всю полноту последствий своих действий, и свою ответственность за них.
  17) Перверсия сексуальной модели поведения человека, побуждающая его распространять 'себя' экзотическими способами. В главе 'Опасности молекулярного производства' отчёта Центра ответственных нанотехнологий мы можем прочесть: 'Другим возможным источником серой слизи могут быть безответственные любители, для которых это будет хобби. Люди определённого психологического типа, по-видимому, не могут избежать искушения возможностью создавать и выпускать на волю самореплицирующиеся образования, что нам доказывает большое количество существующих компьютерных вирусов' [CRN 2003].
  18) Спецслужбы и антитеррористические организации, стремящиеся повысить своё влияние в обществе. 29 июля 2008 года покончил с собой основной подозреваемый в осуществлении атак сибирской язвой в США осенью 2001 года Брюс Айвинс (Bruce Ivins). В течение 36 лет до этого он был одним из главных специалистов по биозащите и вакцинации от сибирской язвы в США. Он был женат, усыновил двоих детей, написал 44 статьи, играл на синтезаторе в местной церкви. В результате бактериологической атаки 2001 года был нанесён ущерб более, чем на миллиард долларов, а на средства биозащиты было выделено порядка 50 миллиардов долларов . В том числе планировалась (но не состоялась) закупка разработанной Айвинсом вакцины от сибирской язвы на 800 млн. долларов, из которых он должен был получить десятки тысяч долларов роялти. В результате атаки и принятых мер, число людей, работающих по программам биозащиты и имеющих доступ к опасным препаратам, возросло в десятки раз, а значит, возросли и шансы на то, что среди них опять найдётся кто-то, кто совершит новую атаку. (Впрочем, есть и убедительные альтернативные теории о том, кто был организатором атаки .)
  Человеком всегда движет несколько побуждений, только часть из которых осознается и вполне рациональна. Я не исключаю, что часто до 10 разных желаний и целей должны были объединиться, чтобы я принял некое решение - то есть, чтобы сформировался достаточный всплеск мотивации. При этом специальные психологические процедуры для выявления скрытых целей применяются редко, и большинству людей неизвестны. Поэтому легко ожидать, что перечисленные мотивации могут действовать совместно, скрытно, нелинейно интерферируя и давая неожиданный громадный всплеск, 'волну-убийцу'.
  18.11 Социальные группы, готовые рискнуть судьбой планеты
  Вероятно, надо отдельно выделить список социальных групп и организаций, которые стремятся к крушению и смене мирового порядка. И ради этого или готовы пойти на риск всеобщего уничтожения, или могут его создать, не осознавая этого. Например, Рональд Рейган объявил 'Крестовый поход' против СССР, но он понимал, что в процессе этого противостояния риск катастрофически опасной войны возрастает.
  1) Мировые державы, борющиеся за господство в мире. Это могут быть или первые державы, теряющие власть и вынужденные 'атаковать под угрозой утраты преимущества', или державы-претенденты на мировое господство, выбирающие радикальные и рискованные методы достижения своих целей. Психология этих процессов остаётся на уровне борьбы за место альфа-самца в обезьяньей стае, которая, однако, довольно жёстко детерминирована природой естественного отбора.
  2) Утопические социальные движения, стремящиеся к великим целям, например, радикальные коммунисты или религиозные организации.
  3) Различные национальные, экономические, политические силы, которые не получают 'своей доли' в нынешнем мироустройстве или ожидают утраты своих позиций в будущем.
  4) Можно назвать также разных сторонников 'поэзии апокалипсиса', любителей компьютерных игр в духе Fallout, которых привлекает эта идея, и значит, бессознательно - а иногда и сознательно - они этого и хотят.
  5) Люди, живущие по принципу 'после нас хоть потоп', то есть не то, что бы желающие глобальной катастрофы прямо, а предпочитающие действия, которые приносят благо в краткосрочной перспективе, но несут колоссальный вред в долгосрочной. Это состояние может особенно обостряться в связи с осознанием неизбежности собственной смерти, присутствующим у каждого человека, и сильнее всего проявляющимся в периоды риска и старости. (Модель поведения: седина в бороду - бес в ребро.)
  6). Отдельно можно выделить всё то непонимание природы и вероятности глобальных катастроф, которое мы будем обсуждать во второй части книги.
  Рост безработицы в связи с автоматизацией производства приведёт к тому, что всё большее число людей пойдут 'в политику' и в результате возрастёт число потенциальных террористов. Этому же будет способствовать рост образования и доступности знаний через системы удалённого обучения, а также применение ноотропиков, реально повышающих IQ и способности к обучению. Грубо говоря, миллион крестьян в далёкой полупустыне - это не тоже самое, что миллион умных, но недовольных инженеров с мощными средствами связи.
  18.12 Обобщающий коэффициент, связанный с человеческим фактором
  Чтобы учесть разнообразие человеческих мотиваций, можно ввести некий обобщённый вероятностный коэффициент k. Этот коэффициент означает, грубо говоря, шансы на то, что пилот самолёта направит свой самолёт на таран, или, говоря в общем случае, долю людей, которые решат применить доступную им технику для уничтожения себя и других людей. Мы также не учитываем здесь различие между заранее подготовленными и спонтанными действиями. Например, если в некой стране у каждого в доме есть оружие, то будет некое среднее число его незаконных применений. Это число крайне мало. Допустим (далее идут чисто предположительные оценки, с точностью до порядка), этот коэффициент может составлять для США (где 35 миллионов стволов на руках и высокий уровень преступности) одну миллионную в день, а для Швейцарии, если взять единственный случай расстрела парламента в Цуге - одну миллиардную. Для авиации мы получим, если поделить примерное число всех совершённых вылетов пассажирских авиалайнеров (порядка миллиарда) на число самолётов, захваченных террористами для атак 11 сентября (4) - 1/250 миллионную. При уровне самоубийств в 1 процент этот коэффициент в пересчёте на человека на день будет равен примерно одной миллионной. В мире около миллиарда компьютеров, и каждый день выходят десятки новых вирусов, что даёт k = 1/10 000 000, то есть только один из десятков миллионов пользователей производит бессмысленные и опасные вирусы (но коммерческое нелегальное spyware могут производить и большее число людей).
  Мы видим, что при разных условиях k в пересчёте на один 'проект' на один день колеблется между одной миллионной и одной миллиардной. Верхней безопасной оценкой будет одна миллионная, тогда как наиболее реальной оценкой, может быть, одна сто миллионная.
  Не следует думать, что если мы раздадим ключи от запуска ракет нескольким людям, то мы понизим шансы опасного сумасшествия в миллион миллионов раз, поскольку бредовые идеи бывают заразными. Кроме того, дежурные одной из станций запуска ракет в США признались, что они от скуки придумали систему из ножниц и верёвочки, позволяющих повернуть одному человеку два ключа запуска одновременно [Blair 1993]. То есть системы запуска можно обойти хитростью.
  Кроме того, сумасшествие может носить тонкий и неочевидный характер, и плавно переходить из области психиатрии в область просто неверных или неадекватных решений. Оно не обязательно означает, что человек вдруг нажмёт 'красную кнопку'. В случае паранойи это может быть обосновано совокупностью весьма логичных и убедительных построений, способных убеждать других людей в необходимости предпринимать немного более рискованные действия, чтобы защитится от мнимых угроз. 'Сумасшествие' может проявляться и в отказе от действий в решительный момент. Это может быть излишнее упорство в некоторых заблуждениях, которые приведут к цепочке неверных решений.
  Сэр Мартин Рис отмечает [Rees 2003] следующее противоречие: в будущем станет возможно управлять поведением, и даже характером людей и их личностью с помощью высокоточных лекарств, генетических манипуляций и прочих воздействий, делая людей всё более нормальными и безопасными. Однако это будет снижать естественное разнообразие человеческого поведения, убивая человеческое в человеке.
  Вывод: всегда найдутся люди, которые будут хотеть уничтожить мир, и поэтому нужно рассматривать всерьёз все сценарии, где кто-то может долго и упорно работать, чтобы этого достичь.
  18.13 Принятие решения о ядерном ударе
  Важным является вопрос, может ли сумасшествие одного человека привести к 'нажатию красной кнопки'. Этот вопрос относительно изучен в отношении применения ядерного оружия, но аналогичным образом он будет возникать при появлении любых других видов опасного оружия, технологий и машин судного дня. При этом важно знать, в чьих руках находится 'красная кнопка' - только ли высшего руководства или в руках определённой группы исполнителей: понятно, что чем шире круг операторов, которые имеют доступ к применению оружия, тем риск выше.
  Существует следующее противоречие, связанное с эффективностью и безопасностью ядерного оружия: или у нас есть абсолютно устойчивая система защиты от непреднамеренного запуска, которая делает запуск невозможным ни по команде президента, ни по решению командира подлодки. Или у нас есть система, способная в течение 8 минут в условиях интенсивного противодействия вероятного противника и нарушения всех систем связи нанести ответный удар. Реальные системы, устройство которых - в настоящий момент - является величайшей тайной, должны находить баланс между этими противоречивыми требованиями. Однако в прошлом эффективность часто предпочиталась безопасности. Например, в 60-70 годы в США запуск ракет поставили на пароль из 14 цифр, который должен был сообщаться из центра. Однако значение этого пароля установили 00000000000000, и все это знали (военные считали пароль глупостью, которая помешает им нанести удар вовремя). Только потом пришла независимая комиссия и потребовала создать реальный пароль.
  Вряд ли может возникнуть ситуация, когда президент ночью сойдёт с ума, потребует принести ему ядерный чемоданчик и нажмёт на кнопку. Однако возможны более тонкие варианты, когда непродуманное и иррациональное поведение, обусловленное аффектами, усталостью и неверным пониманием, приведёт к цепочке действий, ведущих к войне. Например, Гитлер, напав на Польшу, никак не ожидал, что Англия вступит в войну. Или американцы, планируя атаковать Кубу в 1962 году, не знали, что там уже есть советское тактическое ядерное оружие, и войска имеют право его применять.
  Важным моментом в принятии решений о ядерном ударе является взаимодействие оператора с инструкцией. Инструкция тоже создаётся людьми, и описываемые в ней ситуации воспринимаются гипотетически, а не как реальные решения о применении оружия. Выполняя инструкцию, оператор также не несёт никакой ответственности, ибо делает, что написано. В результате ответственность размывается, и становятся возможными решения, которые ни один человек бы сам по себе не принял. Характерен пример с ракетчиком С. Е. Петровым, которого позже ООН наградило медалью за спасение человечества. Обнаружив в 1983 году, вскоре после того, как сбили южнокорейский Боинг, старт ядерных ракет с территории США, он решил не давать команду об ответном нападении, так как посчитал эту тревогу ложной. Однако Петров не был рядовым дежурным смены, он был разработчиком инструкции по принятию решений, который оказался в этой смене случайно. И поэтому он сам отменил составленную им же инструкцию. Однако рядовой дежурный должен был бы её выполнить.
  18.14 Цена вопроса
  Мы можем также измерить вероятность апокалипсического сценария, определив количество денег, времени и прочих ресурсов, которые для него потребуются, - и сравнив их с общем количеством доступных ресурсов. Если для 'конца света' нужно Х тонн некоего вещества, то при наличии его на Земле в размере 1,5Х он маловероятен, а если его есть триллион доступных Х, то почти неизбежен. Мы можем также пытаться определить минимальное количество людей, которые должны объединиться, чтобы создать то или иное оружие судного дня. Очевидно, что дешевле 'адскую машинку' захватить. Например, чеченские террористы планировали захватить атомную подводную лодку и шантажировать РФ, но вряд ли бы они могли создать сами такой арсенал ракет.
  Понятно, что важен также фактор времени. Если некоторый проект очень дёшев, но требует 10 лет усилий, то его скорее разоблачат, или человек в нём разочаруется. Наоборот, если проект быстр (разбить пробирку с ядом), то человек его может реализовать под влиянием минутного настроения.
  Десятки стран в настоящий момент могут создавать ядерное оружие, но эти проекты потребуют для своей реализации многих лет. В то же время тысячи биолабораторий в мире могут работать над генетически модифицированными вирусами, и проекты эти могут быть реализованы гораздо быстрее. По мере накопления знаний и стандартизации оборудования, это число растёт, а время на разработку сокращается. Для создания опасного вируса требуется сейчас бюджет от тысяч до миллиона долларов, в то время как ядерные проекты начинаются с миллиардов. Кроме того, цена разработок в биотехнологиях падает гораздо быстрее, так как не требует больших капитальных вложений и скорее зависит от доступности информации.
  Можно ввести фактор риска A, прямо пропорциональный количеству L мест на Земле, где опасный проект может осуществляться и обратно пропорциональный ожидаемому среднему времени T на завершение проекта с ожидаемой эффективностью в 50 %.
  
  Тогда для проектов по созданию ядерной сверхбомбы он будет приблизительно равен 40/10=4, а для проектов биологического оружия в настоящий момент - 1000/1=1000. При этом, скорее всего, зависимость реального риска от А нелинейная. Чем дешевле проект, тем вероятнее, что его смогут создать маргиналы. Кроме того, маленький и дешёвый проект гораздо проще скрыть или замаскировать, или продублировать. Чем больше проектов в мире, тем вероятнее, что умножение этого числа на k ('доля сумасшедших') из предыдущего раздела даст значительную величину. Например, в мире около 100 действующих ядерных подводных лодок. При допущении, что для них k = одной миллионной, это даст одно событие раз в 10000 дней или примерно в 30 лет. При этом уровень безопасности на атомных подлодках настолько высок, что, вероятно, что там k гораздо меньше приближается к миллиардной. (Однако из-за специфики систем безопасности там есть риски не сколько намеренного захвата, сколько случайного применения из-за нарушения систем связи, ложных срабатываний - например, я читал в мемуарах, что 1982 году советский подводный флот на всякий случай был переведён в полную боевую готовность после смерти Брежнева - то есть были введены коды, вставлены ключи запуска, занята позиция для удара.)
  Однако число лабораторий, способных проводить генетические манипуляции, сейчас, вероятно, исчисляется тысячами, и уровень безопасности там ниже, чем на подводных лодках. Более того, создание биологического ассемблера, то есть живого существа, способного переводить сигналы с компьютера в ДНК и обратно, радикально упростит эти технологии. Благодаря этому число существующих лабораторий может возрасти до миллионов. (Можно также сказать, что чем дешевле проект, тем больше для него k, так как в дешёвых проектах меньше расходы на безопасность.) В этом случае мы можем ожидать появления смертельно опасных вирусов каждый день.
  Итак, каждое средство разрушения характеризуется суммой денег и временем, необходимыми для его создания. Эти параметры не единственные, но позволяют сравнить разные средства. Далее, надо учесть вероятностный фактор в отношении того, сработает ли (в смысле достижения полного вымирания) данное оружие. Даже очень дешёвый проект может дать вероятность в 0,0001, а очень дорогой - только 0,60. Можно условно считать, что мы нормируем все проекты 'конца света' на 50 процентную вероятность. Ни один из них не может гарантировать 100 процентной эффективности, что утешает. Однако в сумме дешёвые, но не очень опасные проекты могут создать большую вероятность глобальной катастрофы за те же деньги, чем один большой проект. (Тысяча вирусов против одной сверхбомбы.)
  Немаловажный вопрос - каков минимальный размер организации, которая могла бы уничтожить человечество, если бы хотела. Думаю, что сейчас страна-изгой средних размеров могла бы. Хотя раньше это могли только две сверхдержавы. Кроме того, современные корпорации обладают сравнимыми ресурсами. Следующая фаза - крупные террористические организации, потом небольшие группы и отдельные люди.
  18.15 Универсальные причины вымирания цивилизаций
  Парадокс Ферми и ряд других соображений - см далее про Doomsday Argument - заставляют предположить, что есть некоторые универсальные причины вымирания цивилизаций, которые могут действовать на все цивилизации во всех мирах без исключений, не зависимо от конкретных технологических достижений и природных особенностей планет и других миров.
  1) Старение цивилизации - в смысле накопления ошибок. При крайне быстром росте тоже происходит быстрое накопление ошибок, поскольку отсутствует корректирующая обратная связь между результатом роста и его дальнейшим направлением.
  2) Любая цивилизация формируется благодаря естественному отбору из 'обезьян', а естественный обор способствует тому, что выживают более рисковые индивиды, которые оставляют больше потомства, а не самые 'безопасные' индивиды. В результате любая цивилизация недооценивает риск вымирания.
  3) Цивилизации возникают так редко, что они могут возникнуть только на грани устойчивости параметров природных систем, которые их поддерживают. Рост цивилизации неизбежно разрушает это равновесие (пример: глобальное потепление).
  4) Цивилизации растут экспоненциально, и таким образом рано или поздно исчерпывают любой доступный им ресурс, после чего либо терпят экологический коллапс, либо начинают войну за ресурсы. (Порог Роба у Ефремова). Нанотехнологии не решают эту проблему, так как при нынешних темпах роста все материалы солнечной системы будут израсходованы за несколько сот лет.
  5) Развитие оружия всегда опережает развитие средств защиты. Любая цивилизация всегда создаёт оружие, которое может ее уничтожить, и в больших количествах. После этого вероятность самоуничтожения цивилизации становится ненулевой, что означает, что она самоуничтожится в течение конечного времени, или найдёт способ свести эту вероятность к нулю.
  6) Чем сложнее система, тем она более склонна к 'нормальным авариям' и неожиданным переходам. По мере роста сложности эти переходы становятся всё чаще. При определённом уровне сложности система сразу срывается в неуправляемый хаотический режим.
  7) Любая цивилизация рано или поздно порождает ИИ, который быстро экспоненциально растёт, а затем разрушается за счёт неизвестных нам противоречий. Например, принципиальная неразрешимость задачи дружественности - в более общей ее форме - задачи неуничтожимости самого ИИ.
  8) Цивилизация всегда состоит из конкурирующих военных и экономических агентов, что приводит к 'естественному отбору' тех из них, которые умеют побеждать в краткосрочных противостояниях, в ущерб тем, кто отказывается от краткосрочных преимуществ ради будущего цивилизации.
  9) Цивилизация рано или поздно научается заменять реальное достижение результата созданием его признаков (в духе супернаркотика), и в силу этого прекращает всяческую внешнюю активность.
  10) В свойствах нашей Вселенной есть некая особенность, в результате которой все цивилизации, ставящие некий физический эксперимент (например, запускающие адронный коллайдер), погибают. Однако это не совсем универсальный аргумент, так как возможны другие вселенные.
  11) Интеллектуальный уровень разумных существ растёт линейно, а для самоуничтожения нужен меньший уровень интеллекта, чем для создания универсальной защиты от глобальных рисков. Поэтому все цивилизации раньше достигают уровня на котором они умеют самоуничтожаться, чем уровня, на котором они обладают достаточной сознательностью, чтобы предотвращать глобальные риски.
  Нетрудно отметить, что в современной цивилизации присутствуют почти все перечисленные здесь универсальные кризисы, и этот список может быть не полным.
  
  18.16 От финансового кризиса к глобальной катастрофе
  
  Проявившийся в 2008 году финансовый кризис (а начался он значительно раньше) вызвал оживление в алармистских кругах - не является ли этот кризис началом окончательного заката человечества. В этой статье мы не будем рассматривать точку зрения о том, что кризис вдруг рассосётся и всё вернётся на круги своя как тривиальную и, по моему мнению, ложную. В отношении перехода кризиса в глобальную катастрофу обозначились следующие точки зрения:
  1) Кризис является началом Долгого спуска (long slump - термин Юдковски), который постепенно приведёт человечество к новому средневековью. Этой точки зрения придерживаются сторонники теории Пика нефти, которые полагают, что недавно был пройден пик добычи жидкого топлива, и начиная с этого момента количество добываемой нефти начнёт спадать на несколько процентов каждый год, по колоколообразной кривой, и что ископаемое топливо является необходимым ресурсом для существования современной цивилизации, которая не сможет перейти на альтернативные источники энергии. Нынешний финансовый кризис они рассматривают как прямое следствие высоких цен на нефть, которые подкосили неумеренное потребление. Продолжением это точки зрения является теория 'Пик всего', которая показывает, что не только нефть, но и половина других необходимых современной цивилизации ресурсов будет исчерпана в ближайшие четверть века. (Отметим, что возможность замещать одни ресурсы другими приводит к тому, что точки пика всех ресурсов стягиваются к одному моменту во времени.) Наконец, есть теория о 'пике спроса' - а именно о том, что в условиях, когда товаров произведено больше, чем есть на него платёжеспособного спроса, производство вообще становится не нужным, что включает дефляционную спираль, которая может продолжаться неограниченно долго.
  2) Другая точка зрения состоит в том, что финансовый кризис неизбежно приведёт к геополитическому кризису, а затем к ядерной войне. Этой точки зрения придерживаются отчасти группа европейских аналитиков leap2020, известный в Интернете деятель avanturist и др. Этот взгляд можно подкрепить аналогией между Великой депрессий и нынешними временами. Великая депрессия закончилась с началом второй мировой войны. Но эта точка зрения рассматривает ядерную войну как неизбежный конец существования человечества,, что не обязательно верно.
  3) В книге 'Кризис планетарного цикла Универсальной истории' (http://spkurdyumov.narod.ru/Panov.htm ) А.Д. Панов показал, что кризисы в истории человечества идут всё чаще. Каждый такой кризис связан как с разрушением некой прежней политической системы, так и с принципиальными технологическими инновациями на выходе из него. Предпоследний такой кризис имел место в 1945 году, когда произошёл крах фашизма и возникли компьютеры, ракеты и атомная бомба, сформировался двухполюсный мир. Последний такой кризис имел место в районе 1991 года, когда распался СССР и начал победное шествие Интернет. Важной особенностью этих кризисов является то, что они с незапамятных времён следовали по простому закону: а именно каждый следующий кризис отделялся от предыдущего промежутком времени в 2.42 меньшим. Вместе график кризисов ложится на гиперболу, которая приходит к Сингулярности в районе 2025 года. Если эта тенденция продолжает действовать, то следующий кризис должен наступить через 19 лет, в 2010 году, а очередной - ещё через 8 лет, в 2018, а потом в 2021 и так далее. Естественно возникает желание сопоставить прогноз Панова и текущий финансовый кризис, но об этом далее.
  Начало нынешнего экономического кризиса сопровождается разговорами о необходимости реформирования современной политической системы одно направление этих идей состоит в том, что эту систему надо сделать более глобальной (идея выпуска всемирных денег) и более 'социалистической' (то есть с более высоким уровнем государственного контроля, заботы о неимущих и ограничения свободного рынка).
  Другая тенденция состоит в ползучем росте протекционизма и враждебности всех стран ко всем, и в утрате США роли единственной сверхдержавы. В результате может возникнуть 'многополярный мир', где все против всех, нет единого центра, в качестве валюты используется золото, а есть неустойчивые блоки разношерстных государств, каждое из которых претендует на то, чтобы его включили в клуб 'полюсов' (и разрабатывает соответствующие атрибуты - ядерное оружие: Иран и т. д.) Есть мнение, что так мир выглядел перед Первой мировой войной.
  Наконец, есть образ мира, в котором взаимодействует не государственные, а сетевые структуры. Таким образом, видны три будущих мировых устройства: всемирно социалистический, всемирно анархический (многополярный) и сетевой. Можно также предположить, что если один из них реализуется сейчас, то другой - в 2018 году или наоборот.
  Я уже высказывал точку зрения о том, что выход из текущего кризиса возможен только за счёт рост каких-то новых технологий и сфер потребления. Нет смысла в Америке возрождать строительство и автоиндустрию - построенных домов и выпущенных машин хватит на 10 лет вперёд, даже если полностью остановить производство. Именно поэтому старую экономику перезапустить невозможно.
  Новые технологии означаю новые сферы потребления, то есть спроса, начнём с них: это должно быть нечто, в чём есть реальная необходимость и производством чего можно занять всю промышленность. В первую очередь, здесь следует назвать рынок медицинских имплантов (например, полностью автономных сердец abiocor) и медицины вообще - здоровье и жизнь необходимы людям и в этой области есть огромный неудовлетворённый спрос. Необходимые медицинские технологии уже созрели, но искусственно сдерживаются долгими сроками одобрения новых устройств и аппаратов и отсутствием рекламы.
  Другой возможный рынок - это рынок домашних роботов слуг - однако он всё же более отдалён, так как системы ИИ, необходимые для управления такими роботами, ещё не совсем созрели.
  Третий рынок - это рынок вооружений. В случае обострения ситуации в мире, особенно при переходу к многополярному миру, потребность в оружии резко возрастёт. Наконец, новые технологии производства энергии. Их развитие зависит от воли Обамы и цен на нефть.
  С точки зрения принципиально новых технологий, которые позволят осуществиться этому технологическому прорыву я ожидаю от кризиса 2010 года следующего: появление предпорогового искусственного интеллекта. Эти системы не будут способны ни к саморазвитию, ни к прохождения теста Тюринга, но они смогут понимать большую часть человеческой речи и ориентироваться во внешнем мире. Предвестником таких систем является Вольфрам альфа, система Лаура от Микрософт и т. д. В области нанотехнологий я ожидаю создания микророботов, выполненных с помощью классических технологий изготовления микросхем (литографии) - но не способных к саморепликации, с размером порядка долей миллиметров. В области медицины можно ожидать мощнейшие системы диагностики крови на чипе, снабжённые мощным компьютерным анализом, которые смогут давать точные диагнозы независимо от личности врача, дешёвое чтение геномов, примитивную искусственную жизнь, автономные искусственные органы. Возможны прорывы в нетрадиционном термоядерном синтезе.
  Более важным является вопрос, что из этого станет ключевой технологией, которая станет знаменем эпохи, а что будет естественно развиваться - как стал интернет знаменем эпохи 90х и нулевых. Это должно быть нечто, что способно поразить воображение людей и открыть принципиально новые возможности. Одним из таких возможных открытий может стать технология записывание снов из мозга, которая будет иметь огромное значение как в индустрии развлечений, так и в исследовании человеческой психики (например, можно будет практически исследовать различные религиозные видения - что может иметь значительные политические последствия). Другой вариант возможного огромного открытия - подтверждение контактов с НЛО, или взрывной рост квантовых компьютеров, подтверждение способностей человека и животных к телепатии.
  Итак, если следовать модели Панова, то нынешний экономический кризис должен смениться новой фазой роста (впрочем, в номинальных терминах ВВП, цена домов - спад может продолжаться) и даже относительно устойчивым плато на котором цивилизация пробудет примерно 8 лет.
  Новый рост возможен в двух случаях - если кризис мирно достигнет своего дна, то, что должно разрушится, сгорит, а новые потребности и технологии создадут новую экономику на руинах старой. Это, разумеется, наилучший сценарий. Ему, вероятно соответствует создание 'всемирного социализма' (правда, без настоящего всемирного государства), а только со всемирной регуляций экономики. Однако этот социализм как раз препятствует быстрому сгоранию кризиса, так как не даёт разориться заведомо убыточным предприятия.
  Другой сценарий роста я называю 'лихорадочным ростом'. Он не является здоровым выздоровлением, как не означает рост температуры 'оживления' больного. Он связан с ростом военного заказа в условиях быстрого ухудшения внешнеполитической ситуации. Крупный теракт или внезапная случайная война, например в Корее или в Иране, может перекинуть мир в эту сторону развития. Рост разногласий по поводу того, кто виноват в кризисе экономическом и кто кому должен платить в случае крупных дефолтов, ослабление мировой торговли, обострение борьбы за роль мирового лидера при явном ослаблении текущего лидера, и стремление управлять финансовыми потоками за счёт разжигания войн в чужих краях - всё это может привести к тому, что резко усилится гонка вооружений.
  При этом я сразу хочу откинуть сценарии мирного всемирного угасания. Даже если все ресурсы исчерпаются, у кого-то их останется больше, чем у другого, и это будет несправедливо. Итак, даже исчерпание ресурсов должно привести к гонке вооружений. И эта гонка потребит те ресурсы, которые можно было бы потратить на создание возобновляемых источников энергии.
  Возможно даже, что кризис приведёт к мировой войне и даже к ядерной. Однако я полагаю, что не это может быть тем, что проложит путь от финансового кризиса к глобальной катастрофе, главным источником опасности будет сама гонка вооружений. Дело в том, что гонка вооружений всегда обгоняет поставленные перед ней в начале цели. Никто в начале не стремится создать оружие судного дня. Однако создание атомной бомбы открыло путь к водородной, а затем стала ясна возможность создания и кобальтовой бомбы, способный заражать целые континенты и даже привести к полному заражению земли. От начала кризиса в 1929 году до создания Царь-бомбы в России в 1961 прошло 32 года.
  Точно также и сейчас успехи в создании военных нанотехнологий - то есть боевых микророботов - поставят мир на грань устойчивости, поскольку гонка вооружений с их использованием принципиально неустойчива: в ней начавший первым получает всё, а удар может быть анонимен. Это отличает нано-гонку от ядерной гонке, где был фактор гарантированного взаимного уничтожения (MAD).
  Единственный вариант реализации доктрины MAD в новую эпоху - это создание Doomsday machine - универсального оборонительного оружия, способного уничтожить всю планету, техническая реализация которого возможна на разных принципах. На страну, обладающую таким оружием, никто не нападёт, и более того, она сможет диктовать условия остальным странам при наличии некоторой воли к риску. Но это создаёт условия для неразрешимых коллизий, когда несколько сторон будут обладать Doomsday machine и выдвигать взимопротиворечивые требования.
  Другой вариант развития событий, который может привести к катастрофе, состоит в том, что гонка вооружений или даже гражданский прогресс сделает оружие массового поражения доступным для небольших террористических групп.
  Нам следует опасаться не истощения ресурсов и не новой мировой войны, а непредвиденных последствий разворачивания новой гонки вооружений в мире быстро развивающихся технологий.
  Глава 19. События, изменяющие вероятность глобальной катастрофы
  19.1 Определение и общие соображения
  Будем называть глобальным риском второго рода любое событие, которое значительно повышает вероятность вымирания человечества. Сочетание таких событий создаёт окно уязвимости. Исторически известно, что вымерло 99 % видов живых существ, живших на Земле, и сейчас каждый день продолжают вымирать виды. Очевидно, что вымирание этих видов произошло без применения сверхтехнологий. Наиболее знамениты вымирания динозавров и неандертальцев. Среди причин вымирания, по мнению палеонтологов, в первую очередь стоят изменения экологической ситуации - то есть разрушение пищевых цепочек и появление конкурентов, тогда как природные катаклизмы выступают только спусковым событием, добивающим ослабшие виды. От астероида вымерли именно динозавры, ибо именно на них давили мелкие хищники-млекопитающие, питающиеся молодняком и яйцами. От последнего оледенения вымерли именно неандертальцы, так как им противостояли более организованные Homo Sapiens. Всё же трудно использовать гипотезы о прошлых вымираниях для обоснования последующих, так как тут много неясного. Однако в качестве более достоверного примера можно взять случаи гибели традиционных обществ и культур. Например, русское крестьянство как особая социокультурная общность, каковой оно было в XIX веке, исчезло целиком и безвозвратно (если не сказать вымерло) в процессе урбанизации и коллективизации - притом что исторически оно могло противостоять и войнам, и эпидемиям. Но его погубили новые возможности, которые дала городская цивилизация и новая экономическая ситуация. Аналогична судьба австралийских аборигенов и других сообществ, столкнувшихся с более технически оснащённой и развитой цивилизацией. То есть отдельные люди живы, они могут сохранять воспоминания, а от культуры остались только фольклорные ансамбли. Это можно описать и на примере отдельного существа. Когда организм болеет, уязвимость его к любым внешним толчкам (или обострениям самой болезни) возрастает. Таким образом, мы можем представить себе следующий двухфазный сценарий:
  1. Вначале из-за крупной катастрофы население Земли резко сократилось, производство и наука деградировали. Назовём это пространство 'постапокалиптическим миром'. В кино или литературе такой мир описывается обычно как возникающий после ядерной войны (фаза гибели цивилизации, но не людей).
  2. Уцелевшие люди, оставшиеся в этом мире, оказываются гораздо уязвимее к любым рискам, вроде падения небольшого астероида, исчерпания ресурсов, извержения вулканов. Более того, они вынуждены бороться с последствиями цивилизационной катастрофы и опасными остатками от цивилизации - заражением, исчерпанием ресурсов, утратой навыков, генетической деградацией, наличием опасного оружия или опасных процессов, начавшихся при цивилизации (необратимое потепление).
  Из этого следует несколько выводов:
  А) Двухфазные сценарии заставляют нас рассматривать как опасные те риски, которые мы ранее отбросили, как не могущие погубить цивилизацию.
  Б) В некотором смысле двухфазный сценарий подобен нелинейной интерференции, но здесь стыковка происходит во времени, причём важен порядок событий.
  В) Двухфазный сценарий может стать и трёх- и более фазным, где каждая следующая фаза деградации делает человечество уязвимым к следующим формам риска.
  Г) При этом может и не быть прямой связи между первой и второй катастрофами. Например, попасть в постапокалиптический мир люди могут в силу ядерной войны, а вымереть - от извержения супервулкана. Но точно также они могли бы попасть в это состояние уязвимости к супервулкану из-за эпидемии или экономического спада.
  Д) Рассмотрение многофазных сценариев носит принципиально вероятностный характер. Эпоху слабости человечества, когда оно уязвимо, можно назвать окном уязвимости, которое характеризуется плотностью вероятности и продолжительностью. Это означает то, что такое окно уязвимости конечно во времени. Сейчас мы живём в эпоху окна уязвимости к сверхтехнологиям.
  19.2 События, которые могут открыть окно уязвимости
  К этому классу относятся два типа событий. Первые - это события, которые неизбежно наступят в XXI веке, исходя из общепринятых представлений о развитии потребления и технологий. Вопрос в том только, когда это произойдёт (каждое из этих мнений разделяется не всеми специалистами, однако опирается на предположение, что никаких принципиально новых технологий не возникнет):
  1. Исчерпание нефти.
  2. Исчерпание продовольствия, вызванное потеплением, засухами, перенаселением, опустыниванием, переходом автомобилей на биотопливо.
  3. Исчерпание водных ресурсов.
  4. Крах мировой финансовой пирамиды долгов и обязательств.
  5. Любые другие факторы, постепенно, но необратимо делающие среду непригодной для обитания (глобальное потепление, оледенение, загрязнение).
  Ко второму типу относятся события, которые могут произойти, а могут и не произойти с определённой вероятностью. Это не делает их более безопасными, поскольку любая погодовая вероятность означает 'период полураспада' - то есть время, за которое это событие скорее всего случится, и это время может быть меньше, чем время созревания неизбежных событий, вроде исчерпания некоторых ресурсов.
  1. Крупный теракт, масштаба взрыва атомной бомбы в большом городе.
  2. Крупная природная или техногенная катастрофа, способная затронуть значительную часть населения земного шара, - пока таких катастроф не происходило. Самый близкий пример - авария на Чернобыльской АЭС, которая привела к отказу от строительства атомных станций в мире и к энергетическому голоду сейчас, а также была важным фактором краха СССР.
  3. Любой из пунктов, которые мы перечислили в качестве возможной причины глобальной катастрофы, но взятый в ослабленном масштабе. Например, эпидемия искусственного вируса, падение астероида, радиоактивное заражение и т. д.
  Следующие фазы разрастания окна уязвимости включают в себя мировую войну, разработку и применение оружия судного дня.
  19.3 Системные кризисы
  Возможно ли, чтобы глобальная катастрофа произошла не по той довольно очевидной схеме, которую мы описали выше? То есть не зародившись в одной точке в конкретный момент времени и обойдя из неё весь мир? Да, такое возможно в случае системного кризиса. Обычно системный кризис не может истребить всё население, но, безусловно, он может быть глобальной катастрофой второго рода. Тем не менее есть модели, где системный кризис истребляет всю популяцию.
  Простейшей такой моделью является экологическая система хищник-жертва, например, волки и лоси на неком острове. В такой системе, в том случае, если число хищников превысило некое критическое значение X, они съедают всех лосей до конца, после этого они обречены на вымирание, в процессе которого они будут питаться только друг другом. В природе есть защита от таких ситуаций на уровне разнообразных обратных связей в системах биоценозов. Известные примеры - олени и трава на канадском острове - на остров выпустили оленей, они расплодились, за десятилетия съели всю траву и стали вымирать. Похожая, но более сложная ситуация сложилась на острове Пасхи с участием людей. Полинезийцы, появившиеся на острове примерно в VIII веке н.э., создали развитое общество, которое, однако, постепенно сводило леса, используя, в частности, деревья для транспортировки знаменитых статуй. Утрата леса приводила к снижению доступного количества продовольствия. В конечном счёте, леса были сведены полностью, а общество значительно деградировало, численность его сократилась с 20 000 до 2 000 человек (но всё же не вымерло). Именно в этот момент остров был открыт европейцами. Наиболее чистый пример - размножение дрожжей в закупоренной бутылке, которое происходит по экспоненте, а затем все они до единого вымирают из-за отравления продуктом собственной жизнедеятельности - спиртом. Или, например, коллапс ядра сверхновой звезды: он происходит не зависимо от поведения любого одного атома или даже большей части звезды, а в зависимости только от суммарной массы.
  Итак, иногда системный кризис способен 'провести популяцию через ноль', то есть убить всех особей. При этом системный кризис не начинается в какой-то момент и в какой-то точке. Нельзя сказать, что если бы какого-то одного волка не было или на одного лося было бы больше, то что-либо изменилось. То есть системный кризис не зависит от поведения никакого одного конкретного элемента. Точно также трудно сказать, когда системный кризис стал необратимым. Соответственно, поэтому трудно ему противостоять, так как некуда приложить свои усилия.
  Разработка современных технологий также не происходит в одной точке. Ни один человек не может существенно её ускорить или замедлить.
  Система подходит к системному кризису вся целиком. Интересно оценить, каковы шансы сохранения элементов при распаде их системы, иначе говоря, выживания людей при гибели цивилизации. Можно показать, что чем сильнее взаимосвязи в системе, тем вероятнее, что крах системы будет означать гибель всех её элементов без исключения. Если истребить 99,999 % культуры бактерий, то оставшихся нескольких экземпляров хватит, чтобы целиком восстановить численность и свойства этой бактериальной культуры. Если срубить дерево, то из пня вырастут побеги, и оно целиком, в конечном счёте, восстановит свою функциональность. Но если повредить даже небольшую часть жизненноважных органов человека, особенно его мозг, то он умрёт весь разом и навсегда до самой последней клетки, коих сотни триллионов - трудно уничтожить штамм бактерий с такой эффективностью. Также и технологическая цивилизация - достигнув определённого уровня сложности, она потом не может безболезненно регрессировать на предыдущий уровень, просто сократив технологии и население, а имеет шанс обрушиться целиком, в ноль. (Теперь для нас становится событием отключение электричества на несколько часов, при этом могут погибнуть люди. А немногим более ста лет назад электричество применялось только в редких экспериментах. Многие современные сооружения не могут существовать без непрерывного подвода энергии: шахты могут быть затоплены, ажурные конструкции торговых центров могут разрушиться без уборки снега и отопления и т д.)
  Чем системнее некая структура, тем в большей степени её свойства определяются характером взаимного расположения и взаимодействия элементов, а не самими элементами. И тем большую роль в ней играет управление по сравнению с физической силой. Если бы вдруг всех людей в мире 'перетасовать' в пространстве, закинув каждого на другой континент, то это означало бы гибель современной цивилизации, хотя каждый отдельный человек был бы жив. Также если разрезать тонким ножом некое животное на несколько частей, то почти все отдельные клетки будут ещё живы, а животное в целом - мертво.
  Чем сложнее система, тем сильнее в ней долгосрочные последствия катастрофы по сравнению с краткосрочными. То есть система обладает свойством усиления малых событий - конечно, не всех, а тех, которые попали в 'фокус её внимания'. Достаточно крупные катастрофы обычно попадают в этот 'фокус внимания', поскольку перехлёстывают через порог устойчивости системы. Например, в случае Чернобыльской аварии наиболее долгосрочными последствиями стали распад СССР и долгий период застоя в атомной энергетике, в результате чего мир сейчас испытывает энергетический голод. В ходе терактов 11 сентября были разрушены здания исходной стоимостью в 1-3 миллиарда долларов, но ущерб экономике составил 100 млрд. Эти теракты привели к надуванию пузыря на рынке недвижимости (за счёт низкой ставки для стимулирования экономики) в триллионы долларов и к войне в Ираке, на которую потратили около 1,4 триллионов долларов. Более того, основной ущерб ещё впереди, так как вывод войск из Ирака и кризис на рынке недвижимости нанесут имиджевый, политический и экономический ущерб на многие триллионы долларов. (Плюс, например, то, что раненных из Ирака придётся лечить десятилетиями, и на это надо выделять триллионы долларов.) Похожую логику событий и их последствий описал Л.Н. Толстой в романе 'Война и мир', проследив, как последствия ущерба, который потерпела французская армия под Бородино, нарастали в последующей цепочке событий - пожар в Москве, потеря армии на Березине, крах империи. При этом информационные, то есть связанные с организацией взаимодействия и управления, составляющие ущерба во всех этих случаях превышали физическую. Эти события спровоцировали цепочку неправильных решений и разрушили структуру управления - то есть структуру будущего. Можно сказать и иначе: достаточно большое событие может перекинуть систему в другое русло, которое медленно, но необратимо расходится с прежним.
  Обсудим теперь различные виды системных кризисов, которые бывают в природе, чтобы посмотреть, какие из них могут иметь отношение к современной цивилизации.
  1. Избыток хищников - этот пример мы уже обсуждали выше на примере волков и лосей.
  2. Пример из экономики - Великая депрессия. Замкнутый цикл сокращения производства - увольнений - падения спроса - сокращения производства. Цикл, который сам по себе устроен так, что должен пройти через ноль, и только внеэкономические события, вроде войны и экспроприации золота, смогли его разорвать.
  3. Другим примером самовоспроизводящейся цивилизационной структуры является гонка вооружений. Она побуждает создавать всё большие арсеналы всё более опасного оружия и держать их в высокой степени боеготовности. Кроме того, она втягивает в себя всё новые государства и стимулирует разработки опасных технологий. Иначе говоря, есть определённые структурные ситуации в самой цивилизации, которые опаснее оружия массового поражения. Эти структуры характеризуются тем, что воспроизводят себя на каждом этапе в увеличивающемся объёме и продолжают действовать при любом истощении ресурсов цивилизации.
  4. Стратегическая нестабильность: кто ударит первым, тот выигрывает. Плюс ситуации, когда имеющий преимущество должен атаковать перед угрозой его утраты.
  5. Эскалация раскола в обществе, которая приводит ко всё более открытой и напряжённой борьбе, всё большей поляризации социума, члены которого вынуждены выбирать, на чьей они стороне. (Например, противостояние ФАТХ и ХАМАС в Палестине.)
  6. Структурный кризис информационной прозрачности, возникающий, когда все всё знают. (Как в фильме 'Особое мнение', где способность экстрасенсов предсказывать будущее приводит к возникновению войны.) В одной книге по военной стратегии описывалась следующая ситуация: если один из двух противников не знает, в каком состоянии другой, он находятся в покое. А если один знает, что другой начал выдвигать войска, это провоцирует его начать делать то же самое; если он знает, что противник не выдвигает войска, это также провоцирует его напасть первым. Другими словами информационная прозрачность бесконечно ускоряет обратные связи между противоборствующими сторонами, в результате чего становятся возможны быстрые процессы с положительной обратной связью. А шпионские нанороботы сделают мир информационно прозрачным - и с большой скоростью.
  7. Структурный кризис взаимного недоверия, например, в духе борьбы с врагами народа, когда все начинают видеть друг в друге врагов и истреблять кажущихся врагов, что приводит к самоусилению поиска врагов и мести за ложные обвинения. Кстати, кровная месть - тоже структурный кризис, который может разрушать сообщества. Кризис взаимного недоверия бывает и в экономике, приводя к бегству клиентов из банков, росту ставок по кредитам, и тоже является самоусиливающимся процессом. Кредитный кризис, начавшийся в мире в августе 2007 года в значительной степени связан с утратой доверия всех банков и финансовых институтов друг к другу в связи с неизвестными запасами плохих ипотечных бумаг, потери от которых 'всплывали как трупы в реке' в самых неожиданных местах, по словам американского экономиста Н. Рубини.
  8. Модель поведения, состоящая в уничтожении других с целью решить проблему. (Например: условные 'американцы' хотят уничтожить всех 'террористов', а 'террористы' - всех 'американцев'.) Но это только путь к разрастанию конфликта - и к распространению этой модели. Это как дилемма заключённого. Если обе стороны решатся на мир, то обе выиграют, но если только одна, то более 'добрая' проиграет. Иначе говоря, патологическая самоорганизация может происходить даже тогда, когда большинство против неё. Например, в начале гонки вооружений уже было понятно, что это такое, и прогноз её развития был опубликован, однако не помешал самому процессу.
  9. Экономический кризис, связанный с эффектом обратной связи между предсказаниями и поведением объекта наблюдения, который делает этот объект абсолютно непредсказуемым, - что имеет место при спекуляциях на рынке [Сорос 1999]. Эта непредсказуемость отражается в появлении самых невероятных трендов, среди которых могут быть и катастрофические. Создаётся впечатление, что тренды выискивают новые катастрофические режимы, чтобы их нельзя было предсказать. (Доказывается это так: если бы рынки были предсказуемы, каждый бы мог на них наживаться. Но все не могут получить прибыль от спекуляций, так как это игра с нулевой суммой. Следовательно, поведение рынков будет сложнее, чем системы предсказания их. Иначе говоря, возникает ситуация 'динамического хаоса'.) В военном противостоянии вести себя непредсказуемым образом тоже оказывается иногда более выгодным, чем вести себя наиболее эффективным образом, ибо эффективный путь легко просчитывается.
  10. Другой вариант экономического структурного кризиса - бесконечное откладывание рецессии путём накачки экономики деньгами - может пройти точку необратимости, когда мягко выйти из этого процесса невозможно. Это описывается в теории кредитных циклов Х. Мински [Розмаинский 2009]. Мински делит должников на три категории: добросовестных; на тех, кто может зарабатывать на выплату процентов, но не основной массы долга и поэтому вынуждены растягивать его навечно; и на тех, кто вынужден занимать новые кредиты, чтобы выплачивать по старым, что похоже на финансовую пирамиду (схема Ponzi или МММ). Первая категория заёмщиков свободна, и может целиком выплатить долг. Вторая группа заёмщиков вынуждена выплачивать долг вечно и не может выйти из этого состояния, но способна обслуживать свой долг. Третья категория вынуждена непрерывно расширять свои операции и всё равно обанкротится в течение конечного промежутка времени.
  Мински показывает, что возникновение всех трёх типов заёмщиков и постепенное увеличение доли заёмщиков третьего типа является естественным процессом в капиталистической экономике периода бума. Современная экономика, во главе со своим локомотивом - США, находится где-то между вторым и третьим типом. Объём разного вида долгов, созданных только внутри США, имеет, по некоторым оценкам, порядок 100 триллионов долларов (сюда входит 7 трлн. государственного долга, 14 трлн. по ипотеке, долги населения за кредитные карты, образование, машины, долговые обязательства корпораций, а также обязательства правительства США по медицинскому обслуживанию пенсионеров (Medicare). При этом объём ВВП США - порядка 13 трлн. долларов в год. Понятно, что все эти деньги нужно выплатить не завтра, а они распределены по ближайшим 30 годам и между разными субъектами, которые сложным образом собираются использовать поступления по одним долгам для оплаты других.) Сам по себе долг не есть дьявол - он, скорее, описывает, кто, что и когда будет делать и получать. Иначе говоря, это финансовая машина планирования будущего. Однако когда она переходит на третий режим, она включает механизм саморазрушения, которое тем сильнее, чем оно позже происходит.
  Мнения о том, действительно ли мировая экономика развивается благодаря всемирной финансовой пирамиде, или нет, разнятся. Миллиардер Уоррен Баффет назвал дериваты (многоступенчатые долги) финансовым оружием массового поражения. Опасная тенденция состоит также в том, что можно подумать, что эта системная проблема с долгами относится только к США как к стране: на самом деле, она относится ко всей мировой экономике. Ущерб от Великой депрессии 1929 года вдвое превышал ущерб США от Второй мировой войны и распространился, как вирус 'испанки' 10 годами ранее, по всем континентам, ударив по Европе сильнее, чем по Штатам. Великий кризис 1929 года был крупнейшим мировым системным кризисом вплоть до распада СССР. Основная его сложность была в том, что люди не понимали, что происходит. Почему, если есть люди, желающие работать, и есть голодные, требующие пищи, - еда дешевеет, а никто её купить не может, и фермеры разоряются? И власти сжигали излишки еды - не потому, что они были злодеи или идиоты, а потому что они просто не понимали, как заставить систему работать. Надо отметить, что и сейчас есть разные точки зрения о причинах Великой Депрессии и особенно о том, какие меры были бы правильными и почему она, наконец, закончилась. Тотальное самоподдерживающееся непонимание является важной частью системного кризиса. Мински предлагает увеличить роль государства как заёмщика на крайний случай, чтобы уменьшить циклические колебания капиталистической экономики. И это уже сработало в кризисах 1975, 1982 и начала 90-х годов. Но в этом заключена новая опасность, которая состоит в том, что банки, которые каждый раз выкупают, становятся всё более безрассудными в накоплении долгов, так как уверены, что государство спасёт их от банкротства и на этот раз. Кроме того, их подводят статистические модели: чем дольше не было экономической депрессии, тем дольше её и не будет по статистическим моделям, тогда как по структурным моделям, чем дольше не было спада, тем большим он будет в дальнейшим. Кредитный цикл Мински связан в первую очередь с излишним инвестированием, а закон Мура, как мы знаем, во многом опирается на избыточное инвестирование в рамках 'венчурного инвестирования'. Поэтому спад мировой экономики нанесёт сильнейший удар по закону Мура.
  11. Кризисы, связанные с непредсказуемыми процессами в сверхсложных системах. Имеет место общая тенденция к нарастанию сложности человеческой цивилизации, которая создаёт возможность для быстроразвивающихся непредсказуемых коллапсов. (Подобно тому, как самолёт в Перу разбился, потому что персонал в аэропорту заклеил датчик скорости скотчем, и он выдал ошибку, а команда решила, что это сбой компьютера, и когда компьютер выдал сигнал о близости земли, ему не поверили, и самолет упал в море.) Или ошибочного срабатывания систем оповещения о ядерном ударе. Если раньше основной причиной катастроф были 'непреодолимые силы природы' (например, буря), то к XX веку они были вытеснены в качестве основной причины - человеческим фактором (то есть вполне конкретной ошибкой на стадии проектирования, настройки или управления). Однако к концу XX века сложность технических и социальных сетей оказалась настолько велика, что сбои в их работе стали не локальными, а системными (по сценариям, обнаружение которых было невычислимо сложной задачей для проектировщиков). Примером тому является Чернобыльская катастрофа, где персонал следовал инструкции, но таким образом, каким никто из составителей не ожидал и не мог предположить. В результате каждый действовал правильно, а в сумме система не сработала. То есть причиной катастрофы стала сверхсложность системы, а не конкретная ошибка конкретного человека. Об этом же говорится в теории нормальных аварий Перроу [Perrow 1999]: катастрофы являются естественным свойством сверхсложных систем. Исследованием таких систем занимается теория хаоса. Теория хаоса предполагает, что сложная система с большим количеством решающих факторов может двигаться по странному аттрактору - то есть по пути, в котором есть внезапные переходы на катастрофический режим. Выражением этой идеи является теория 'нормальной аварии' [Perrow 1999], которая гласит, что невозможно создать абсолютно безаварийную систему, даже если нанять идеальных сотрудников, поставить абсолютно исправное оборудование и т. д. Нормальные аварии являются естественным свойством сложных систем, которые отвечают двум критериям: сложности устройства и степени взаимосвязанности частей.
  12. Классическое противоречие между производственными силами и производственными отношениями, примером чему является текущая ситуация в мире, с его основным противоречием между множеством обладающих национальными армиями стран и единством мировой экономики.
  13. Самовоспроизводящаяся дезорганизация (парад суверенитетов в истории СССР).
  14. Самоподдерживающаяся моральная деградация (крах Римской империи).
  15. Эффект домино.
  16. 'Естественный' отбор краткосрочных выгод вместо долгосрочных. (Маркс: более эффективные эксплуататоры вытесняют 'добрых'.)
  17. Тенденция к концентрации власти в руках одного человека. (Все революции кончали диктатурой.) Встав однажды на путь авторитарного правления, диктатор вынужден идти на абсолютизацию своего режима, чтобы его не свергли.
  18. Лавина реформ (Маккиавелли: малые изменения прокладывают путь к большим изменениям. Пример: эпоха перестройки).
  19. Кризис нарастающего неверия - нарастания лжи и информационного шума (выгода вместо достоверности, пиар вместо истины, шум вместо речи - кризис утраты доверия, когда чем больше некий человек не доверяет, тем больше врёт сам, зная, что от него ждут того же). Если критерий истины - эксперимент, результат эксперимента - новая технология, а её ценность - это деньги, то постепенно промежуточные ступени опускаются.
  20. Самоорганизованная критичность. Модель с кучей песка, на которой падают по одной песчинки и по которой сходят лавины, в результате чего устанавливается некоторый средний уровень наклона, является примером так называемой самоорганизованной критичности. Эту модель можно сопоставить с плотностью катастроф в какой-либо сфере человеческой деятельности. Если в ней происходит слишком много катастроф, то она привлекает больше внимания, и в эту область вкладывается больше ресурсов по обеспечению мер безопасности; в это время другие области недополучают внимание и в них риск возникновения катастроф возрастает. В результате мы получаем мир, в котором плотность катастроф распределена достаточно равномерно по всем видам деятельности. Однако математическое свойство систем с самоорганизованнной критичностью состоит в том, что в них могут возникать лавины неограниченно большой величины. Самоорганизованная критичность возникает тогда, когда концентрация неустойчивых элементов достигает некого порогового уровня, так что они начинают устанавливать связи друг с другом и создавать свою собственную подсистему, пронизывающую исходную систему. Поскольку число сценариев и сценарных факторов, которые могут привести к глобальной катастрофе, огромно, и оно постоянно растёт, то шансы подобной самоорганизации возрастают. Можно сказать и по-другому: катастрофический процесс возникает, когда оказываются исчерпанными собственные способности системы к сохранению гомеостаза. Однако сам катастрофический процесс, возникнув, тоже является своего рода системой и тоже обладает своим гомеостазом и устойчивостью, о чём хорошо пишет С.Б. Переслегин применительно к теории военной операции. Это превращает катастрофический процесс в самоподдерживающееся явление, способное переходить с одного уровня на другой. Риск цепной реакции катастрофических явлений особенно возрастает от того, что есть люди - террористы, - которые тщательно выискивают разные скрытые уязвимости и хотят их использовать.
  21. Кризис, связанный со стремлением избавиться от кризисов. (Например, чем сильнее израильтяне хотят избавиться от палестинцев, тем сильнее палестинцы хотят уничтожить израильтян.) Особенность этого кризиса связана как раз с пониманием кризисности ситуации, в отличие от предыдущих кризисов. Однако часто это не приводит к улучшению ситуации. В связи с этим можно вспомнить закон Мерфи: если долго исследовать некую проблему, то, в конце концов, обнаруживаешь, что сам являешься её частью.
  Структурные кризисы малопонятны людям, ибо их ум приучен мыслить в категориях объектов и субъектов действий. В силу этого, чем больше они думают о таком кризисе и пытаются справиться с ним, например, истребив одну из сторон конфликта, тем больше кризис разрастается. Структурные кризисы вызывают ощущение недоумения и поиски скрытого врага (который бы и стал тем объектом, который порождает кризис). Например, поэтому удобнее думать, что СССР развалило ЦРУ. Примерами системного кризиса в человеческом организме является старение и ожирение. Далее возможны более сложные структурные кризисы, которые пока неочевидны.
  19.4 Кризис кризисов
  В современном мире присутствуют все названные виды кризисов, но в целом система остаётся стабильной, потому что силы эти 'тянут в разные стороны'. (Например, свойственная авторитаризму тенденция к расколам - СССР и Китай, сунниты и шииты, Сталин и Троцкий - которая создаёт кризис типа трещины и уравновешивает однополярную кристаллизацию.) То есть отдельные процессы уравновешивают друг друга: авторитаризм - дезорганизацию и т д. Кроме того, действует гомеостаз в духе принципа Ле Шателье-Брауна. (Этот принцип устанавливает, что внешнее воздействие, выводящее систему из состояния термодинамического равновесия, в котором она находится, вызывает в системе процессы, стремящиеся ослабить эффект воздействия.)
  Опасно, однако, если все эти отдельные кризисы самоорганизуются и возникнет некий 'кризис кризисов'. Системы стремятся удерживаться в равновесии, но при достаточно сильном точке переходят в равновесное состояние движения, иначе говоря, в новую систему процесса разрушения, которая тоже обладает своей устойчивостью. Пример из обычной жизни: для того, чтобы выйти из дома, надо приложить иногда некое усилие, чтобы 'раскачаться', однако когда процесс путешествия пошёл, он уже обладает собственной динамикой, инерцией и структурой.
  В настоящий момент все кризисные проявления в человеческом развитии сорганизованы так, чтобы удерживать человечество в русле постепенного экономического, научно-технического и популяционного роста. В случае кризиса кризисов все те же факторы могут сорганизоваться так, чтобы непрерывно работать на уничтожение человеческой цивилизации.
  Свойства 'кризиса кризисов': его невозможно понять, потому что, начав о нём думать, втягиваешься в него и усиливаешь его (так работает, скажем, арабо-израильский конфликт). И потому что его понимание не имеет никакой ценности из-за плотного информационного шума. Потому что, на самом деле, он сложнее, чем может понять один человек, но имеет ряд очевидных неверных упрощённых пониманий. (Закон Мёрфи: 'любая сложная проблема имеет простое, очевидное и неверное решение'.)
  Элементами кризиса кризисов являются не события и взаимодействия в мире, а кризисы более низкого порядка, которые структурируются не без помощи человеческого интеллекта. И особенно важную роль здесь играет понимание того, что сейчас происходит кризис. Понимание, которое ведёт, по крайней мере, к двум моделям поведения - или к стремлению поскорее избавиться от кризиса, или к стремлению кризисом воспользоваться. Обе эти модели поведения могут только усиливать кризис. Хотя бы потому, что у разных сторон в конфликте - разные идеи о том, как закончить кризис и как получить выгоду от него.
  Поскольку понимание кризиса отдельными игроками - часть кризиса, то этот кризис будет сложнее любого понимания его. Даже когда он закончится, понимания того, что же с нами произошло, - не будет. Именно поэтому так много разных мнений и дискуссий о том, что же произошло в 1941 году или 'почему распался СССР'.
  Ещё одной метафорой 'кризиса кризисов' является следующее рассуждение, которое я слышал относительно финансовых рынков. Есть большая разница между кризисом на рынке и кризисом рынка. В первом случае наблюдаются резкие скачки цен и изменение торговой ситуации. Во втором - прекращается сама торговля. В этом смысле глобальная катастрофа не есть очередной кризис на пути развития, где новое побеждает старое. Она есть прекращение самого развития.
  19.5 Технологическая Сингулярность
  Одно из глубоких наблюдений в духе идеи 'кризиса кризисов' изложено в статье А. Д. Панова 'Кризис планетарного цикла Универсальной истории и возможная роль программы SETI в посткризисном развитии' [Панов 2004]. Рассматривая периодичность различных ключевых моментов с возникновения жизни на Земле, он обнаруживает закономерность, которая говорит о том, что плотность этих переходных эпох непрерывно возрастает по гиперболическому закону, а следовательно, имеет 'сингулярную точку', в которой она обращается в бесконечность. Это означает, что происходит не просто очередной кризис, а кризис всей модели, которая описывает процесс эволюции от зарождения жизни до наших дней. И если раньше каждый кризис сопровождался разрушением старого и появлением нового, то теперь модель развития через кризисы подходит к концу. И эта модель ничего не говорит о том, что будет после сингулярной точки.
  Согласно расчетам Панова, эта точка находится в районе 2027 года. Интересно, что несколько принципиально разных прогностических моделей указывают на окрестности 2030 года как на точку 'Сингулярности', где их прогностические кривые обращаются в бесконечность. (Например, M. Esfandiary взял себе имя FM-2030 в ознаменование будущих переходных процессов ещё в середине XX века, на 2030 год указывают прогнозы по созданию ИИ и по исчерпанию ресурсов.) Очевидно, что глобальные риски группируются вокруг этой точки, так как она является классическим 'режимом с обострением'. Однако они могут произойти и гораздо раньше этой точки, поскольку будут кризисы и до неё.
  В модели Панова каждый следующий кризис отделён от предыдущего промежутком времени, в 2,42 раза меньшим по протяженности. Если последний кризис приходится на начало 1990-х, а предпоследний - на вторую мировую войну, то следующий кризис (момент выхода из него) по модели Панова будет в районе 2014 год, а последующие - на 2022, 2025, 2026 годы, а дальше их плотность будет непрерывно нарастать. Конечно, точные значения этих цифр неверны, но общая закономерность в этом есть. При этом последний кризис - распад старого и появление нового - был в начале 90-х годов и состоял в распаде СССР и возникновении Интернета.
  Это значит, что в период с настоящего момента до 2014 года мы должны пережить ещё один кризис сопоставимого масштаба. Если это верно, то мы можем наблюдать его зарождение уже сейчас внутри пятилетнего горизонта предсказаний. Однако этот кризис вовсе не будет той окончательной глобальной катастрофой, о которой мы говорим, и между ним и кризисом самой модели в 2020-е годы возможен 'островок стабильности' в несколько лет.
  Несколько независимых исследователей пришли к мысли о возможности Технологической Сингулярности в районе 2030 года, экстраполируя различные тенденции - от уровня миниатюризации устройств до мощностей компьютеров, необходимых, чтобы симулировать человеческий мозг. Первым ввёл термин Технологическая Сингулярность Вернор Виндж в статье 1993 года [Vinge 1993]. Сингулярность не отличается математически от режима с обострением, то есть катастрофы, и как завершение огромной исторической эпохи она, безусловно, будет катастрофой. Однако Сингулярность может быть позитивной, если она сохранит людей и значительно расширит их потенциал, и соответственно, негативной, если в результате этого процесса люди погибнут или лишатся того большого будущего, которое у них могло бы быть. С точки зрения нашего исследования мы будем считать позитивным любой исход Сингулярности, после которого люди продолжают жить.
  Наиболее быстрым, сложным и непредсказуемым процессом, который часто отождествляется с Технологической Сингулярностью, является возникновение универсального, способного к самосовершенствованию ИИ и его гиперболический рост. (Можно показать, что само ускорение развития, которое имело место в прошлом, связано именно с ускорением и улучшением способов решения задач - от простого перебора и естественного отбора к половому отбору, появлению человека, языка, письменности, науки, компьютеров, венчурного инвестирования - каждый следующий шаг был шагом в развитии интеллекта, и возможный в будущем самосовершенствующийся ИИ только продолжит эту тенденцию.)
  В отношении Технологической Сингулярности можно сформулировать несколько кажущихся достоверными высказываний.
  Во-первых, Сингулярность формирует абсолютный горизонт прогноза. Мы точно не можем сказать, что будет после Сингулярности, поскольку речь идёт о бесконечно сложном процессе. Более того, мы не можем сказать ничего ни о самом моменте Сингулярности, ни об определённом промежутке времени перед ней. Мы можем высказывать только определённые предположения о том, когда будет Сингулярность, однако и здесь есть большой разброс. На самом деле, ничего не мешает наступить Сингулярности прямо завтра в случае неожиданного прорыва в исследовании ИИ.
  Во-вторых, с точки зрения наших современных воззрений, актуальная бесконечность не может быть достигнута. В силу этого абсолютная Сингулярность не достижима. Это можно интерпретировать так, что по мере приближения к Сингулярности в системе усиливаются различные колебательные процессы, которые разрушают её раньше достижения точки бесконечности. Если это так, то перед Сингулярностью плотность вероятности глобальных катастроф неограниченно возрастает. (Ср. с концепцией Г. Г. Малинецкого об увеличении частоты и амплитуды колебаний в системе перед катастрофой, которые являются признаками её приближения.) Или это может означать бесконечное уплотнение исторического времени, в силу которого сингулярность никогда не будет достигнута, как это имеет место в случае падения объектов в чёрную дыру.
  В-третьих, к Сингулярности вся система подходит целиком. Это значит, что не следует ожидать того, что Сингулярность не затронет кого-либо, или что будет несколько разных Сингулярностей. Хотя начаться она может в одной точке на Земле, скажем, в лаборатории по созданию ИИ, но по мере развития процесса он охватит всю Землю.
  С точки зрения нашего исследования важно отметить, что глобальная катастрофа - это не обязательно и есть сама Технологическая Сингулярность. Глобальная катастрофа может быть масштабным, но, в конечном счёте, простым процессом, вроде столкновения с астероидом. В такой глобальной катастрофе есть признаки режима с обострением, как например, резкое ускорение плотности событий в момент касания астероидом Земли (длится 1 секунду), но нет сверхинтеллекта, который по определению непостижим.
  Из сказанного следует, что если принять концепцию Технологической Сингулярности, то мы ничего не можем сделать, чтобы измерить или предотвратить риски после момента Сингулярности, но должны предотвращать эти риски до её наступления (особенно в период повышенной уязвимости перед ней) и стремиться к позитивной Сингулярности.
  Концепция Технологической Сингулярности как гипотетической точки обращения в бесконечность прогностических кривых в районе 2030 года была несколько раз независимо открыта (причём на экстраполяции разных кривых - от численности населения у Капицы до миниатюризации технологических устройств), и в настоящий момент сформировалась группа людей, призывающих стремиться к этому событию. Подробнее о Технологической Сингулярности можно почитать в статьях: Вернор Виндж 'Технологическая Сингулярность' [Vinge 1993], Юдковски 'Вглядываясь в Сингулярность' , Дэвид Брин 'Сингулярность и кошмары' [Brin 2003], Майкл Диринг 'Рассвет Сингулярности' .
  19.6 Перепотребление приводит к одновременному исчерпанию всех ресурсов
  Некоторые ресурсы могут не просто закончиться, но быть исчерпаны, так сказать, в минус. Например, сверхэксплуатация почв приводит к их быстрой и полной эрозии. Этот вопрос исследовался Медоузом в его 'Пределах роста'. Исследуя математические модели, он показал, что перепотребление некого ресурса неизбежно приводит систему на край гибели. Например, избыток хищников приводит к такому снижению числа жертв, что затем все жертвы до единой погибают, а сами хищники обречены на голод. Другой пример - когда загрязнение окружающей среды настолько велико, что оказывается поражена способность среды к самовосстановлению.
  Кредитный цикл Мински определённым образом относится не только к деньгам, но и к истощающему перепотреблению любого природного ресурса. При этом человечеству свойственно сверхисчерпывать любой ресурс, который ему стал доступен. В этом смысле неудивительно, что перепотребление многих ресурсов происходит практически одновременно - ведь перерасходование одного ресурса можно скрыть, расходуя другой. Например, исчерпание денег на выплату ипотеки можно скрыть, оплачивая её через кредитную карточку; точно также исчерпание на 30 процентов пригодных для сельского хозяйства земель со времени Второй мировой войны можно скрыть, вкладывая больше ресурсов (то есть энергии) в культивацию оставшихся земель; или исчерпание водоносных горизонтов можно скрыть, затрачивая больше энергии на добычу воды из более глубоких горизонтов. Проблемы сверхисчерпания людям всякий раз удавалось преодолеть, совершив технологический скачок, как это было в неолитическую революцию. Однако это не всегда происходило плавно, то есть иногда решение находилось, только когда полномасштабный кризис уже разверзался. Например, неолитическая революция - переход от собирательства к оседлому сельскому хозяйству - произошла только после того, как население значительно сократилось в результате сверхисчерпания ресурсов в обществе охотников-собирателей.
  В XXI веке нам угрожает одновременное исчерпание многих важных ресурсов вследствие уже сейчас происходящего перепотребления. Перечислим разные предположения об исчерпании, не обсуждая истинность или ложность каждого в отдельности. С экономической точки зрения окончательное исчерпание какого-либо ресурса невозможно, вопрос в том, сколько будет стоить получение этого ресурса и хватит ли его на всех. В связи с этим выделяют не момент исчерпания, а момент максимума добычи (пик) и затем период быстрого спада производства ресурса. Период спада может быть даже опаснее периода полного отсутствия, поскольку именно в этот момент начинается отчаянная борьба за ресурс, то есть может начаться война. Назову несколько будущих или уже пройденных пиков ресурсов.
   Пик мировой добычи рыбы - пройден в 1989 году.
   Исчерпание пригодных для земледелия земель.
   Пик производства пищи в целом.
   Пик добычи нефти - возможно, в настоящий момент.
   Пик добычи газа - позже, но после него более резкий спад.
   Выведение из эксплуатации ядерных реакторов.
   Исчерпание питьевой воды и воды для орошения.
   Исчерпания ряда цветных и редких металлов (к 2050 г.).
  Ещё раз подчеркну: в данной работе проблема исчерпания ресурсов рассматривается только с точки зрения того, может ли она привести к окончательному вымиранию человечества. Полагаю, что само по себе - не может, но обострение этих проблем способно запустить обострение международных конфликтов и привести к серьёзной войне.
  Интересно изучить следующий вопрос. Если некий хозяйствующий субъект терпит банкротство, то это означает, что у него кончаются одновременно все источники поступления денег, а если исчерпываются ресурсы технологической цивилизации, то это значит, что у неё одновременно заканчиваются все ресурсы, поскольку энергия в современных условиях выполняет функцию денег в технологической системе и позволяет добывать любой ресурс, пока энергия есть (например, качать воду из глубинных пластов). Следует ли из этого эквивалентность денег и энергии, а значит, будет ли энергетический кризис также и финансовым, и наоборот? Думаю, что да. Грубо говоря, потому что реальные деньги означают возможность купить товары. Если же экономика перейдёт в дефицитный режим, то возможность приобрести что-нибудь реально ценное за деньги исчезнет.
  Есть разные датировки возможного пика в добыче нефти и других ресурсов, но они все принадлежат промежутку от 2006 до 2050 года. За счёт того, что одни ресурсы можно заменять другими, разные пики максимальной добычи разных ресурсов будут иметь тенденцию стягиваться к одному общему пику, точно так же, как благодаря NBIC конвергенции стягиваются пики развития разных технологий. Интересно также, что пик добычи ресурсов приходится на тот же временной отрезок, на котором ожидается Технологическая Сингулярность. Если Сингулярность случится раньше, то современные ресурсы не будут иметь большого значения, поскольку будут доступны неизмеримо большие ресурсы космоса. Наоборот, если спад в общемировой добыче всех ресурсов произойдёт до Сингулярности, это может препятствовать её наступлению. Реальный процесс видимо, будет более сложен, так как не только пики развития технологий и пики добычи ресурсов стягиваются друг к другу внутри своих групп, но и пики принципиально других групп также стягиваются в районе 2030 года плюс минус 20 лет. А именно, пик числа людей по Капице, пик возможного числа жертв от войн, пик предсказаний о рисках гибели цивилизации, о чём мы говорили выше. Есть несколько интересных гипотез о причинах такого схождения, которые мы здесь обсуждать не будем.
  19.7 Системный кризис и технологические риски
  Можно рассматривать системный кризис всего современного общества без учёта тех новых возможностей и опасностей, которые создают новые технологии. Тогда этот кризис будет описываться в терминах экономического, политического или экологического кризиса. Можно назвать такой кризис социально-экономическим системным кризисом. С другой стороны, можно рассматривать пространство возможностей, создаваемое появлением и взаимодействием друг с другом многих разных новых технологий. Например, исследовать, как повлияет прогресс в биотехнологиях на наши возможности по созданию ИИ и взаимодействию с ним. Можно назвать такой процесс технологическим системным событием. То и другое направление активно исследуются, однако так, как будто речь идёт о двух разных пространствах. Например, те, кто изучает и прогнозирует Peak Oil до 2030 года, совершенно не интересуются и даже не упоминают в своих исследованиях проблематику, связанную с разработкой ИИ. И наоборот, те, кто уверен в разработке мощного ИИ к 2030 году, не упоминают тематику исчерпания нефти, как незначительную. Очевидно, что интересно рассмотреть систему более высокого порядка, где социально-экономическая и технологическая системы являются только подсистемами - и в которой возможен кризис более высокого уровня. Иначе можно сказать так:
   Малый системный кризис - вовлекает только политику, ресурсы и экономику.
   Малый системный технологический кризис - вовлекает развитие одних технологий из других и сложные технологические катастрофы.
   Большой системный кризис - в нём оба малых кризиса являются только его частями, плюс взаимодействие составляющих элементов друг с другом. Пример такого кризиса: Вторая мировая война.
  Примером рассмотрения системного кризиса являются 'Пределы роста' Медоуза. Вопреки распространённым представлениям о том, что эта модель предсказывала исчерпание ресурсов и голод в 80 и 90-е годы XX века (даже Бостром пишет об этом - и тут можно вспомнить о роли когнитивных искажений в оценки больших проблем), она предсказывает резкий спад численности населения и продуктивности экономики в середине XXI века. Самый худший прогноз этой модели - начало снижения продуктивности в 2015 году. Недавно была опубликована статья Г. Тёрнера 'Сравнение Пределов роста с реальностью: 30 лет спустя' . В ней показано, что модель в период с 1970 по 2000 год показывает плавный устойчивый рост, точно коррелирующий с тем ростом, который был в реальной экономике. Спад в экономике, начавшийся в 2008 году, можно рассматривать как результат не столько финансового кризиса, сколько высоких цен на нефть, обусловленный ее нехваткой - и как предвестник будущего глобального снижения продуктивности мировой экономики - то, что в модели Медоуза называется 'стандартный результат'.
  19.8 Системный технологический кризис - наиболее вероятный сценарий глобальной катастрофы
  Это утверждение опирается на следующие посылки, которые мы по отдельности обсудили в предыдущих главах.
   Большинство крупных технологических катастроф, начиная с катастрофы 'Титаника', носили системный характер, то есть не имели какой-то одной причины, а возникали как проявления сложности системы в виде маловероятного непредсказуемого стечения обстоятельств с разных планов: проектирования, управления, систематических нарушений инструкций, интеллектуальной слепоты и сверхуверенности, технических отказов и маловероятных стечений обстоятельств.
   За счёт NBIC-конвергенции и за счёт одновременности исчерпания взаимозаменяемых ресурсов мы получаем тот эффект, что все критические обстоятельства подтягиваются к одной дате, и дата эта - в районе 2030 года.
   Обвал технологической цивилизации, начавшись даже с небольшой катастрофы, может принять форму устойчивого процесса, где одна катастрофа запускает другую, при этом в каждый момент времени силы разрушения превосходят сохранившиеся силы созидания. Это происходит по причине того, что раньше огромное количество сил разрушения сдерживалось, а затем они все одновременно высвободятся (исчерпание ресурсов, заражение среды опасными биоагентами, глобальное потепление). Эта способность одной катастрофы запускать другую связана с высокой концентрацией разных потенциально смертельных для человечества технологий - подобно тому, как где бы ни начался пожар на корабле, на котором очень много пороха, в конечном счёте взорвётся весь корабль. Другая метафора - если человек убегает от лавины, он должен бежать со всё большей скоростью, и всё меньшая задержка требуется, чтобы он попал под лавину большей силы. Третья метафора - перекристаллизация некого вещества с несколькими фазовыми состояниями в районе фазового перехода. Эта метафора означает быструю и принципиальную перестройку всей цивилизации, связанную с возникновением мощного ИИ.
   По мере нарастания сложности нашей цивилизации нарастает вероятность внезапных непредсказуемых переходов в иное состояние (в духе 'теории хаоса'), и одновременно нарастает наша неспособность предсказывать своё будущее и предвидеть последствия своих действий.
   Чем выше уровень развития технологий, тем меньший сбой в их работе может привести к откату цивилизации.
  19.9 Криптовойна
  Важным фактором будущих глобальных рисков является появление возможности 'криптовойн' - то есть внезапных анонимных ударов, когда неизвестно, кто нападающий, а иногда даже неочевиден сам факт нападения (термин С. Лема [Лем 1990]). Когда в мировой гонке вооружений появляется больше двух противников, возникает соблазн нанесения анонимного (то есть безнаказанного) удара, призванного или ослабить одну из сторон, или нарушить равновесие. Очевидно, что сверхтехнологии дают новые возможности для организации таких атак. Если раньше это мог быть завоз радиоактивного вещества или запуск ракеты из нейтральных вод, то биологическая атака может быть гораздо более анонимной. Криптовойна не является сама по себе риском существованию человечества первого рода, но она изменит ситуацию в мире.
  Недоверие стран по отношению друг к другу возрастёт, гонка вооружений усилится, моральный запрет на анонимный и подлый удар исчезнет. В результате может разгореться мировая война всех против всех (то есть такая война, где нет двух противоборствующих сторон, а каждый старается навредить каждому) и одновременный скачок в опасных технологиях.
  Криптовойна будет во многом террористической - то есть информационное воздействие от удара будет превышать непосредственный ущерб. Но смысл этого будет не столько в возникновении страха - террора, а скорее, во всеобщем недоверии всех ко всем, которым можно манипулировать, подбрасывая разные 'гипотезы'. Многие политические убийства современности уже являются актами 'криптовойны', например, убийство Литвиненко. В отличие от теракта, за который многие хотят взять ответственность, за криптоудар никто её не берёт, но каждый хочет использовать его в свою пользу, спихнув вину на другого.
  19.10 Уязвимость к сверхмалым воздействиям
  Следующим сценарным фактором является уязвимость сверхсложных систем к бесконечно малым воздействиям - что можно использовать для организации диверсий. (За счёт нелинейного сложения несколько очень слабых событий могут иметь значительно больший эффект, чем каждое из них в отдельности, что уменьшает требования к точности выбора и реализации каждого отдельного события.) Конечно, чтобы правильно рассчитать такое воздействие, нужен сверхинтеллект, способный смоделировать сверхсложную систему. А значит, этот интеллект должен быть сложнее этой системы, и эта система не должна содержать других таких интеллектов. Такая ситуация может возникнуть на первых фазах развития искусственного интеллекта. Удар с помощью малых событий будет высшим проявлением криптовойны.
  Пример: аварии с отключением электричества в США и РФ при относительно небольших замыканиях. Такие точки уязвимости можно вычислить заранее. Более сложную уязвимость я не могу предложить, ибо не обладаю сверхинтеллектом. Однако ещё одним фактором может быть воздействие на родственников и друзей лиц, принимающих ключевые решения. Так нельзя уничтожить мир, но спровоцировать гигантский беспорядок можно - то есть перевести систему на более низкий уровень организации. В состоянии хаоса вероятность непреднамеренного применения оружия массового поражения увеличивается, а способность к разработке принципиально новых технологий уменьшается. Соответственно, если средства всемирного уничтожения уже созданы, это повышает шанс глобальной катастрофы, а если ещё нет - то, возможно, снижает. (Но это не так, если уцелели другие технологически полноценные страны, - для них такое событие станет спусковым крючком опасной гонки вооружений.)
  Примеры гипотетической точки в системе, бесконечно малое воздействие на которую приводит к бесконечно большим последствиям. Чаще всего речь идёт о принятии решения человеком, а точнее, о неком факторе, который перевешивает критический порог принятия решения. Скорее всего, речь может идти о:
   решении о начале войны (выстрел в Сараево),
   начале техногенной аварии (Чернобыль),
   биржевой панике или другом опасном слухе,
   отклонении астероида,
   убийстве правителя.
  Как вариант, возможно малое воздействие на несколько удалённых точек, дающее синергетический эффект. Среди особо опасных террористических сценариев таких воздействий, доступных уже сейчас:
   Влияние на родственников лиц, принимающих решения. Использование авиамоделей как своего рода телеуправляемых ракет, которые могут принести маленькую бомбу куда угодно.
   Убийство правителей и других выдающихся людей. По мере развития технологий всё легче будет убить не только очень много людей, но и любого заранее избранного человека. Например, с помощью небольших высокоточных изделий (типа роботов-'шмелей') или вирусов, нацеленных на генетическую систему конкретного человека.
   Сложные атаки с использованием Интернета и компьютеров. Например, создание закладки в компьютере, которая выдаёт неправильные данные только одному брокеру, заставляя его принимать неправильные решения.
   Информационная атака (дезинформация): например, пустить слух (качественно сфабрикованный), что президент враждебной страны сошёл с ума и готовит превентивный удар по 'нам' - это вызывает у 'нас' желание ударить первыми. Что, очевидно, запускает 'параноидальную' положительную обратную связь.
  19.11 Гонка вооружений
  Гонка вооружений опасна не только тем, что она может привести к созданию оружия судного дня. В условиях скоростной гонки вооружений придётся ставить опасные эксперименты с пониженными требованиями безопасности и с более высокой вероятностью утечек опасных веществ. Кроме того, сверхоружие всеобщего уничтожения может оказаться побочным результатом или частным случаем применения обычного оружия. Например, идея кобальтовой бомбы возникла после того, как необходимая для неё обычная атомная бомба была придумана и создана. Развитие технологии производства в военных целях особо опасных ядовитых насекомых позволит создать такой их вид, который может заполонить всю Землю. Наконец, применение в больших количествах какого-то одного оружия также может привести человечество к падению на более низкую стадию развития, на которой вымирание человеческой популяции представляется более вероятным.
  19.12 Моральная деградация
  Часто говорят, что моральная деградация может погубить человечество. Понятно, что моральная деградация не может быть глобальным риском первого рода, так как сама по себе она никого не убивает, да и разговоры о моральном упадке идут со времён Древней Греции. Тем не менее, моральная деградация правящей элиты считается существенным фактором падения Римской империи.
  В понятие 'моральная деградация' я не вкладываю оценки собственно моральную оценку, а имею в виду те психологические установки и модели поведения, которые делают общество менее устойчивым и более подверженным разного рода кризисам. В первую очередь, это предпочтение сугубо личных и краткосрочных целей над общественными и долгосрочными. Отметим, что если раньше культура была нацелена на пропаганду целей, способствовавших повышенной устойчивости общества, то теперь - наоборот. Однако от этого все не стали убийцами. Примером современной 'моральной деградации' являются слова президента Клинтона о том, что он 'брал сигарету с травкой, но не затягивался'. Этот тип деградации угрожает в первую очередь 'властным элитам' и в смысле глобальных рисков может проявиться в неспособности этих элит адекватно реагировать на возникающие угрозы. То есть реакция возможна, но ложь, недоверие друг к другу и отмывание денег могут подорвать любые действенные и масштабные инициативы в области глобальных рисков.
  Далее, существует критический уровень устойчивости технических и социальных систем к концентрации ненадёжных элементов. Если их достаточно мало, эти элементы не сталкиваются друг с другом и не нарушают устойчивости. Если их количество превышает некий критический уровень, они образуют собственную внутренне связную структуру. Даже небольшой прирост такой концентрации в районе критического порога может опасно увеличить степень неустойчивости системы.
  Наконец, даже небольшое снижение общего 'морального уровня' общества значительно повышает 'вес' тяжёлых хвостов распределения, то есть увеличивает число потенциальных 'геростратов'. Надо отметить, что рост образованных групп населения Земли также увеличивает число людей, которые могут сознательно желать глобальной катастрофы и обладать необходимыми для этого знаниями.
  Есть мнение, восходящее ещё к К. Марксу, что корни возможной неустойчивости общества - в самой природе общества, построенного на конкуренции. Инвестиции в долгосрочные проекты ослабляют конкурентоспособность в краткосрочных проектах, так как ресурсы уходят в дальние проекты. В результате в среднесрочной перспективе те люди, страны и организации, которые не уделяли достаточно внимания краткосрочным проектам, терпят поражение. (Это рассуждение можно сравнить с рассуждением Н. Бострома о 'хоббистах' в его статье 'Угрозы существованию', где показано, что эволюция отсеет те сообщества, которые не будут тратить все средства на выживание.) В тоже время, те группы людей, которые научились сотрудничать, оказываются в более выигрышной ситуации, чем отдельный человек, отказывающийся от сотрудничества. В любом случае, в современном обществе существует разрыв между ближайшим планированием (до выборов, до зарплаты, до окупаемости предприятия), и долгосрочным планированием, при котором вес маловероятных рисков становится велик.
  Также высказывались соображения, что реклама насилия, подобная той, что мы видим в современном кино или в играх типа Grand Theft Auto, а также эгоизма и личного героизма приводит к бессознательному обучению населения, делая его менее способным к кооперации, альтруизму и самопожертвованию, которые могу понадобиться в условиях кризиса. Наоборот, образы актов мстительного терроризма вживляются в коллективное бессознательное, и рано или поздно всплывают из него в виде актов спонтанного насилия. В истории были эпохи, когда всё искусство было нацелено на формирование 'нового человека'. Это, в первую очередь, христианское искусство и советское искусство.
  19.13 Враждебность в обществе как сценарный фактор
  Можно предположить, что острый кризис приведёт к росту враждебности на Земле. Одним из недавних ярких примеров всплеска враждебности в мире была ситуация, возникшая после терактов 11 сентября 2001 года, когда многие люди ожидали, что 'война цивилизаций' примет характер мировой войны. Всплеск враждебности может иметь следующие последствия:
  1. Поляризация общества на разные группы, которые ненавидят друг друга.
  2. Рост накала негативных эмоций (негативного эмоционального фона) и повышение числа людей, готовых к насилию и стремящихся к этому, что повышает риск терактов и инцидентов с оружием массового поражения.
  3. Утрата доверия всех ко всем и разрушение связности социальной структуры. Надо учесть, что доверие сегодня - это необходимая часть экономической системы, основанной на кредите.
  4. Рост гонки вооружений и обострение всех застарелых конфликтов.
  5. Риск начала мировой войны в той или иной форме.
  6. Ожидания неизбежности поворота событий от плохого к худшему, что может порождать самосбывающиеся пророчества.
  19.14 Месть как сценарный фактор
  Месть является продолжением враждебности, но в высшей форме. Допустим, между двумя крупными державами произошла ядерная война, и одна из держав её полностью проиграла - ей нанесли неприемлемый ущерб, тогда как другая отделалась относительно небольшими потерями. У проигравшей стороны - потеря половины населения, всех крупных городов, оборонного потенциала. Весьма вероятно, что в этом случае месть станет национальной идеей. Опыт истории показывает, что некоторые народы можно поставить на грань уничтожения, а они отвечают всё более агрессивными и опасными формами сопротивления. Например, та поддержка, которую получил Бен Ладен в Афганистане. В силу этого ядерная война не сделает мир более стабильным. Наоборот, она, возможно, создаст настолько непреодолимые противоречия, что мир станет ещё опаснее. Проигравшая сторона, вероятно, не откажется применить любую машину судного дня, потому что людям, потерявшим свои семьи, свою родину, нечего терять.
  Победившая сторона должна в этом случае решиться либо на полное уничтожение, либо на оккупацию. Современные страны западной цивилизации не могут решиться на геноцид, потому что в этом случае им придётся утратить свою цивилизационную идентичность. Режим оккупации также плохо работает, потому что может превратиться в войну без конца. Технологично, хотя пока и фантастично, выглядит идея оккупации с помощью роботов, что, однако, равносильно превращению побеждённой страны в электронный концлагерь.
  Отмечу, что сейчас мы стоим на пороге абсолютно любых возможностей будущего. Это позволяет примиряться людям с очень разными картинами будущего. Однако в какой-то момент будет пройдена точка необратимости: какие-то варианты будущего приобретут более чёткие черты, а какие-то станут невозможными. Кому-то придётся признать, что души нет и что ИИ возможен, или наоборот. Это чревато конфликтами за картину будущего. За власть над будущим.
  19.15 Война как сценарный фактор
  Войны были всю историю человечества. Сама по себе обычная война между людьми не может привести к человеческому вымиранию, поскольку всегда остаются выжившие победители. По Клаузевицу, бывают войны двух типов: на достижение уступки, и на тотальное завоевание/уничтожение. Понятно, что войны второго типа, когда одну из сторон загоняют в угол, гораздо более опасны для человеческого существования, так как создают условия для применения оружия 'судного дня' в качестве последней меры.
  При этом под войной мы имеем в виду классическое вооружённое столкновение двух населёнными людьми стран. Вооружённая борьба людей и роботов, людей и сверхлюдей, двух ИИ между собой или людей с опасным вирусом не будет классической войной. Но такая война может означать геноцид людей, в отличие от обычной войны, которая не нацелена на уничтожение всех людей.
  Кроме того, войны различаются масштабом, и среди них крупнейшими являются войны, в явной или неявной форме имеющие одной из целей установление мирового господства. При этом понятие о том, что такое 'мир' непрерывно расширяется. Я полагаю, что любая мировая война является войной за мировое господство, что можно иначе назвать 'войной за объединение планеты', и имеет своей целью установить вечный всемирный режим. Вторая мировая война, холодная война и так называемая 'борьба с Халифатом', о возможности которой говорили после терактов 11 сентября, в значительной мере подходят под это определение. Чем позже такая война произойдёт, тем сильнее будут её участники и тем хуже последствия. Возможно, нашей планете сильно не повезло в том, что она не объединилась в единое всепланетное государство сразу после Второй мировой войны.
  Рассмотрим по пунктам, как война может увеличить вероятность человеческого вымирания. (При этом мы предполагаем, что чем больше война, тем больше вероятность каждого из этих исходов, но даже маленькая война создаёт ненулевую их вероятность):
  1) Война может создать условия для применения оружия 'судного дня', а также привести к неконтролируемому применению ядерного оружия.
  2) Война может спровоцировать ещё более масштабную войну.
  3) Война может вызвать экономический кризис. Раньше войны помогали бороться с кризисами перепроизводства, но это было верно для старого мира, в котором не было мировой производственной кооперации и глобальной финансовой системы.
  4) Любая война усиливает гонку вооружений, вовлекая в неё и неучаствующие в конфликте страны. При этом любая гонка вооружений связана с прогрессом всё более автономных от человека технологических устройств и всё более смертоносных технологий. Гонка вооружений может также привести к снижению критериев безопасности ради большей эффективности в условиях катастрофической нехватки времени.
  5) Война может стать спусковым событием для некоей цепочки событий, ведущей к кризису.
  6) Война может создать благоприятные условия для крупных диверсий и криптовойн.
  7) В ходе войны могут возрасти риски глобальных катастроф по типу утечки, например, в случае разрушения хранилищ и лабораторий по производству биологического оружия, а также за счёт снижения норм безопасности при поспешных разработках.
  8) Война увеличивает количество людей, переживающих чувства отчаяния и жажду мести, и, следовательно, увеличивает вероятность создания и применения оружия 'судного дня'.
  9) Война блокирует совместные организованные усилия по предотвращению и ликвидации последствий разного рода катастроф.
  10) Война может привести к тому, что краткосрочные цели в государственном планировании заслоняют средне- и долгосрочные перспективы. Другими словами, в ходе войны могут быть упущены из виду глобальные угрозы, которые не связаны с войной, или долгосрочные последствия действий, которые необходимы для выживания сегодня.
  11) Война может способствовать развитию транснациональных террористических сетей.
  12) Война приводит к расколу общества на 'красных и белых' даже в неучаствующих странах, что может породить эффект самовоспроизведения войны. Например, в XX веке во многих странах возникали коммунистические партии, которые в ряде случаев начинали вооружённую борьбу.
  13) Война может привести к краху мировой экономики и переходу мира на 'постапокалиптическую' стадию. Это может произойти, даже если война не будет ядерной. Но для этого она должна быть всемирной. Сетевая террористическая война более склонна к тому, чтобы быть всемирной. В сетевой войне почти не будет тыловых территорий.
  14) Война содержит гораздо больший элемент непредсказуемости, чем политика в мирное время. Война также служит ускорителем темпа исторического времени и особенно темпа технологического прогресса. Поскольку ряд прогнозов говорит нам о неминуемом ускорении прогресса в первой трети XXI века (Технологическая сингулярность), то можно связать это с возможностью войны. Однако прогресс возможен только при сохранении в безопасности тыловых территорий, в том числе и от диверсий. Следовательно, всемирная опустошающая война, ядерная или сетевая, наоборот, приведёт к остановке или откату назад технического прогресса.
  15) Современная война не обходится без попыток приобрести оружие массового поражения (или хотя бы подозрений и дискуссий на эту тему) слабой стороной или пресечь это - со стороны сильной. Поэтому даже небольшой локальный конфликт будет способствовать росту незаконной торговли опасными ядерными и био материалами и формированию международных сетей по их производству и распространению.
  Основной вывод состоит в том, что даже самая небольшая война обладает мощнейшим потенциалом в усилении глобальных рисков.
  19.16 Деградация биосферы
  В отличие от человека, животный и растительный мир не может уйти в бункеры сам. В случае необратимого повреждения биологических систем на Земле и особенно среды обитания люди уже никогда не смогут вернуться на доисторический уровень существования. (Если, конечно, они не воспользуются биологическими сверхтехнологиями.) Обычные охота и земледелие станут невозможными - останется только выращивание всех необходимых продуктов в герметичных парниках. И если вымерших животных можно восстановить, просто выпустив 'каждой твари по паре', то так же просто восстановить почву и воздух не получится. И хотя кислорода, накопленного в атмосфере, хватит ещё на тысячелетия сжигания топлива, то утилизировать углекислый газ в случае уничтожения биосферы будет уже некому, что усилит шансы необратимого глобального потепления.
  Из сказанного можно сделать вывод, что чем сильнее повреждена среда обитания, тем выше минимальный технологический уровень, на котором может выживать человечество.
  19.17 Глобальная дезинфекция
  Распространение опасных биологических форм может привести к полному заражению ими биосферы. В этом случае возможны такие варианты:
  А) Людям придётся укрыться в защищённых изолированных убежищах. Однако всегда будет оставаться угроза заноса опасных биологических агентов снаружи.
  Б) Биологическая борьба с опасными агентами: распыление антибиотиков, антивирусов.
  В) Создание искусственной иммунной системы всей Земли. Но это возможно только после предварительной 'зачистки' и сопряжено с новыми угрозами, связанными с риском 'автоиммунных реакций'.
  Г) Тотальная стерилизация живой природы. В этом случае людям придётся полностью уничтожить живую природу, чтобы вместе с ней уничтожить укоренившиеся в ней опасные организмы. Это означает, что люди уже не смогут вернуться назад, к естественному образу жизни. Однако после стерилизации возможно повторное заселение Земли живыми существами из 'зоопарков'. Сам момент глобальной стерилизации опасен для человечества, так как подразумевает высвобождение универсального, убивающего всё живое агента, например, радиоактивного вещества или излучения.
  19.18 'Раскачивающее' управление
  Эффект обнаружен пионером кибернетики фон Нейманом. Он проявляется в дрожании рук больных паркинсонизмом, в управлении самолетами и артиллерийской стрельбой. Суть его состоит в том, что управляющая система получает информацию о состоянии управляемого параметра с запаздыванием, и в результате управляющее воздействие не вычитается из параметра, а складывается с ним, приводя ко всё большим колебаниям. В отношении глобальных рисков и новых технологий это может проявляться в том, что понимание сути этих принципиально новых процессов будет отставать от развития самой проблемы, в силу чего попытки разрешить проблему будут только усиливать её.
  19.19 Контролируемый и неконтролируемый глобальный риск. Проблемы понимания глобального риска
  Наше знание по-разному влияет на вероятность разных рисков. Можно выделить 'опасные риски', то есть те, к которым мы по тем или иным причинам не можем приготовиться, - в отличие от рисков, к которым мы можем приготовиться достаточно легко и быстро. Подготовка к риску включает в себя следующие условия:
  1. Заранее знаем, что событие некого рода может случиться, доверяем этой информации и принимаем решение готовить некоторые превентивные меры. Мы можем достаточно точно вычислить вероятность этого события в любой момент времени. (Примером такого риска является астероидная угроза.)
  2. Мы имеем некоторых предвестников, которые указывают, когда и с какой стороны может возникнуть риск.
  3. В момент появления риска мы правильно опознаём его и вовремя принимаем правильные решения по предотвращению, эвакуации и минимизации ущерба. Эти решения мы успеваем провести в жизнь в правильное время.
  4. По мере развития ситуации у нас в каждый момент времени есть точная модель развития ситуации, и мы успеваем её обсчитывать и анализировать быстрее, чем поступает новая информация.
  5. Мы обладаем таким количеством ресурсов, которое позволяет минимизировать вероятность данного риска с любой заданной степенью точности. Или свести его к событию с заранее заданным малым ущербом.
  Иначе говоря, контролируемый риск - это риск, которым мы можем управлять, делая его произвольно малым.
  С другой стороны, можно описать условия возникновения неконтролируемого риска:
  1. Мы не имеем ни малейших представлений о том, что событие такого класса вообще может случиться. Мы пренебрегаем всеми предупреждениями о том, что это возможно, и не предпринимаем никаких действий по подготовке и предотвращению. Мы полагаем вероятность этого события невычислимой, а 'следовательно', нулевой.
  2. Это событие устроено так, что оно не имеет никаких предвестников или они нам неизвестны.
  3. Событие начинается так быстро, что мы не успеваем его опознать. Или мы ошибочно принимаем его за что-то другое. Мы принимаем неправильные решения по его предотвращению. Или правильные, но слишком поздно. Ущерб от этого события минимизировать невозможно. Ход события мешает принятию, распространению и исполнению правильных решений. Правильные решения не поступают к исполнителям или выполняются неправильно. Возможно, что решений принимается слишком много, и наступает хаос. Некоторые наши решения усугубляют ситуацию или являются её причиной.
  4. У нас нет модели происходящей ситуации, или у нас есть ложная модель или несколько взаимоисключающих моделей. Мы не успеваем анализировать поступающую информацию, или она нас ещё больше запутывает.
  5. Наших ресурсов не хватает для того, чтобы значительно уменьшить данный риск, даже если мы напряжём все свои силы. Мы находимся под влиянием событий, полностью неподвластных нашей воле.
  Изложенная модель возникновения неконтролируемого риска может быть неплохим портретом глобальной катастрофы не с точки зрения её физических факторов, а того, как она влияет на сознание принимающих решения людей. Наше последовательное и понятное изложение темы может создать иллюзию возможности быстрого осознания опасности процесса, если люди поймут, что именно он и происходит. Например, по CNN объявят: 'Началось неограниченное размножение нанороботов. Наши доблестные ракетчики стерилизуют опасный район ядерными ударами'. Но так, скорее всего, не будет. Опыт различных катастроф показывает, что наиболее тяжёлые катастрофы происходят тогда, когда пилоты или операторы находятся на исправном оборудовании, но решительно не понимают того, что происходит - то есть создают ложную модель ситуации и, действуют, исходя из неё. Тут не обойтись без нескольких примеров:
  Пилоты уже упоминавшегося 'Боинга', вылетевшего из Перу (1996 год, рейс 603), увидели, что компьютер выдаёт противоречивые данные. Они пришли к выводу, что компьютер не исправен, и перестали полагаться на его сигналы, даже когда он выдал сигнал опасной близости к земле и самолёт выпустил колёса. В результате самолёт упал в море. Действительная причина аварии была в том, что датчик скорости заклеили скотчем на земле; компьютер же был исправен. Если бы 'Титаник' столкнулся с айсбергом строго в лоб, а не по касательной, судно бы, как полагают, не потонуло.
  В критических ситуациях людям очень трудно принимать решения, поскольку:
   Критичность этих ситуаций для них неочевидна.
   Подобные ситуации не случались в их практике.
   Люди находятся под влиянием стресса (эмоций, страхов, нехватки времени) и под влиянием предрассудков.
   Располагают лишь неполной, неверной и вероятностной информацией, без точных алгоритмов её обработки.
   Понимают то, что сказано в инструкциях, иначе, чем авторы инструкций.
  Опыт расследования сложных преступлений и крупных аварий показывает, что адекватное понимание ситуации требует месяцев тщательного изучения. Тем не менее всегда остаются неясности, возникают сомнения и альтернативные версии. В случае глобальной катастрофы, скорее всего, никто никогда не узнает, чем именно она была вызвана. Почти в 80 % случаев аварии связаны с человеческим фактором, в половине случаев речь идёт не просто об ошибке (случайно нажатая кнопка), но об ошибочной модели ситуации. Это означает, что будущие системы глобального управления могут загубить полностью 'исправную' планету, начав защищаться от некого несуществующего или неверно понятого риска. И шансы этого столь же велики, как и обычной катастрофы.
  Чем малопонятнее новые технологии, тем менее они поддаются общественному контролю. Люди могут участвовать в опасных процессах и операциях, совершенно не понимая их природы. С. Лем приводит пример возможного будущего в книге 'Сумма технологий', где ИИ используется в качестве советника по управлению государством. Разумеется, все советы этого ИИ, которые кажутся вредными, отклоняются наблюдательным советом. Однако никто не отклонил совет по изменению химического состава зубной пасты. Тем не менее, это изменение привело спустя много лет и в результате сложных промежуточных причинно-следственных связей к сокращению рождаемости, что соответствовало цели сохранения баланса природных ресурсов, поставленной перед этим ИИ. Этот ИИ не стремился каким-то образом навредить людям. Он просто находил максимум целевой функции по многим переменным.
  Дрекслер так описывает этот риск: 'Некоторые авторы рассматривают приход законспирированных технократов к власти в мире практически неизбежным. В "Создании альтернативных видов будущего" Хейзел Хендерсон доказывает, что сложные технологии "становятся по сути своей тоталитарными", потому что ни избиратели, ни законодатели не могут их понять. В "Повторном посещении будущего человечества" Харрисон Браун также утверждает, что соблазн обойти демократические процессы в решении сложных кризисов приносит опасность, "что если индустриальная цивилизация выживет, она будет становиться все более тоталитарной по природе." Если это было бы так, то вероятно это означало бы обреченность: мы не можем остановить гонку технологий, а мир тоталитарных государств, основанный на совершенной технологии, не нуждающейся ни в работниках, ни в солдатах, мог бы вполне избавиться от большей части населения' [Drexler 1985].
  19.20 Общие модели поведения систем на грани устойчивости
  Г.Г. Малинецким обнаружены общие признаки поведения кривых, описывающих поведение различных систем перед катастрофой [Владимиров, Малинецкий, Потапов 2000]. Они заключаются в том, что некий параметр быстро растёт, в то время как скорость его колебаний вокруг среднего значения возрастает. Можно объяснить это так: по мере того, как система становится критичной, отдельные сбои в ней оказываются всё ближе друг к другу, и между ними начинают всё чаще возникать цепочки связей, маленькие лавины. В результате параметры системы начинают 'дёргаться'. Однако инерция гомеостаза системы пока ещё достаточно сильна, чтобы удерживать её в оптимальных параметрах. Появление всё новых и новых технологий и реализация разных сценарных факторов увеличивает число кирпичиков, из которых может сложиться опасный процесс, причём увеличивает не линейно, а в степени, пропорциональной длине опасной цепочки.
  Исходя из этого, можно предположить, что признаком приближения глобальной катастрофы станет увеличение числа не связанных друг с другом катастроф и опасных процессов, каждый из которых будет завершаться относительно благополучно. (Правда, это совершенно необязательный признак: катастрофа может наступить и совершенно внезапно; кроме того, есть такой признак, как 'затишье перед бурей', подтверждённый на примере землетрясений, когда система перестаёт выдавать сбои в течение неожиданно большого времени. Впрочем, само 'затишье' тоже является скачком параметра. Скачки могут быть не только в сторону ухудшения, но и в сторону внезапного улучшения. Так, иногда больные лучше чувствуют себя перед смертью, а фондовый рынок растёт перед рецессией.) В экономике одним из признаков наступающей рецессии является противоречивость параметров, что указывает на то, что система выходит из нормального и предсказуемого режима работы. И возможно, что система вышла из управляемого состояния, но ещё находится в пределах своих параметров, - так самолёт, потерявший управление, ещё некоторое время летит в своём воздушном коридоре.
  Состояние непредсказуемости и изменчивости, предшествующее катастрофе, и, в частности, проявляющееся в скачках параметров, является нарастающим состоянием хаоса (то есть сверхсложного многопараметрического состояния), в котором отдельные обстоятельства могут определить её исход. Появление такого состояния в мире было бы опасным сигналом, однако пока что я его не вижу. Историческим примером такого состояния можно назвать резкий рост природных и техногенных аварий перед началом распада СССР (Чернобыль, 'Нахимов', Спитак, взрыв газа с двумя поездами), который затем распространился и на социальные проявления (Карабах, Сумгаит, Ферганская долина).
  19.21 Гипотеза техногуманитарного баланса
  Как отмечает А.П. Назаретян [Назаретян 2001], людям свойственно постепенно подстраивать своё социальное поведение к факту существования новых видов оружия. Когда карабины попали в руки горных кхмеров, они перестреляли друг друга и практически вымерли, а в Швейцарии у каждого дома есть военная винтовка, но незаконные применения её крайне редки (но бывают - расстрел местного парламента в Цуге в 2001 году). Закон техногуманитарного баланса состоит в том, что общество рано или поздно достигает равновесия между доступными технологиями и навыками безопасного управления ими. Хочется надеяться, что люди достигли равновесия с атомным и химическим оружием, которое есть, но не применятся. С другой стороны, оружие, создаваемое новыми технологиями, должно пройти период 'притирки' до того, как и в отношении него установится это равновесие.
  19.22 Схемы сценариев
  Хотя мы не можем создать конкретный сценарий глобальной катастрофы по причине того, что возможно очень много вариантов, а наши знания ограничены, мы можем воспользоваться помощью сценариев второго порядка, которые описывают общие закономерности того, как стыкуются друг с другом сценарные факторы. Примером такого сценария второго порядка является 'противостояние меча и щита'. Или общий ход шахматной партии - от дебюта к эндшпилю. Например, возможна следующая стыковка сценариев: нехватка ресурсов - война - новые технологии - неожиданные результаты - распространение технологий.
  Примером работы этой схемы является война Японии и США в ходе Второй мировой войны. Япония начала войну, в значительной мере чтобы захватить нефтеносные поля в Индонезии [Ергин 2003], (что было невозможно без войны с США и Великобританией), поскольку сама не имела источников жидкого ископаемого топлива. Война нанесла сторонам гораздо больший ущерб, чем сам факт нехватки топлива. Однако ещё более существенным с точки зрения рисков фактором было то, что война решительно ускорила гонку вооружений в обеих странах. И хотя японцы значительно продвинулись в создании и испытании блох, заражённых чумой, успеха достигли американцы с атомной бомбой. Атомная бомба создала гораздо больший риск больших жертв, чем принесла сама Вторая мировая война.
  Неожиданным результатом атомных бомб стала возможность создания водородной бомбы и особенно кобальтовой сверхбомбы, загрязняющей целые континенты. То есть технология дала гораздо больше, чем от неё вначале требовалось. (Похожая ситуация возникла и в ходе развития ракетных и компьютерных технологий, после того как начальные трудности были преодолены, так что это вполне закономерный итог.) Наконец, вполне закономерным выглядит то, что атомное оружие постепенно, но неудержимо стало распространяться по планете. Ещё одним закономерным итогом было то, что ядерное оружие стало конвергироваться с другими продвинутыми технологиями своего времени - ракетным и компьютерными технологиями, породив межконтинентальные ракеты.
  19.23 Степень мотивации и осведомлённости лиц, принимающих решения, как факторы глобального риска
  Как справедливо подчёркивает А. Кононов, задача неуничтожимости должна осознаваться в качестве главнейшей любой цивилизацией, которая существует в катастрофически нестабильной Вселенной. Точно так же, как у каждого человека на базовом уровне действует инстинкт самосохранения. Чем больше осознание важности сохранения цивилизации на всех её уровнях, от инженера до правителя, тем больше шансов у неё выжить. (Хотя возможен сценарий, когда стремление к выживанию приведёт к борьбе одних групп с другими или борьбе спасателей друг с другом.)
  Соответственно, то, как растёт осознанность и мотивация цивилизации в том, что касается её самосохранения, является мощнейшим фактором её выживания. Во второй части я рассматриваю список факторов, по которым люди могут неверно оценивать вероятность глобальных катастроф (чаще всего в сторону занижения). Однако не менее важно то, что (как ни трудно в это поверить), люди могут не стремиться к предотвращению глобальных катастроф. Или, скажем осторожнее, недостаточно стремиться. Например, Р. Рейган считал приемлемым повысить риск ядерной войны, чтобы достичь победы в холодной войне с СССР. Это значит, что цель выживания человеческой цивилизации была для него не первостепенной. Это вполне можно объяснить эволюционной психологией, поскольку альфа-самец достигает своего статуса вожака стаи, проявляя готовность рискнуть своей жизнью в схватках с другими альфа-самцами, и эта модель поведения закрепляется генетически, так как у победивших самцов больше детей, чем у погибших в процессе борьбы за место вожака.
  Итак, способность цивилизации к выживанию в значительной сфере определяется двумя факторами, - во-первых, степенью её осведомлённости о различных глобальных рисках и, во-вторых, степенью её мотивации в предотвращении этих рисков. При этом оба фактора тесно связаны между собой, так как большая мотивация ведёт к более тщательным исследованиям, а важные исследования, проливающие свет на новые риски, могут усилить мотивацию. Всё же влияние мотивации представляется более первичным. Хотя теоретически все поддерживают предотвращение глобальных рисков, на практике эта цель находится на последнем месте, что видно по числу публикаций по теме и финансированию исследований. (Спросите своё правительство - готово ли оно вкладывать ресурсы в технологию, которая даст уменьшение глобальных рисков на 1 процент через 100 лет. Тем не менее это равносильно согласию на вымирание человечества через 10 000 лет. Вероятно, есть некий биологический механизм, в силу которого сохранение жизни детей и внуков очень важно, а жизни пра-пра-пра-правнуков - абсолютно неважно.)
  Мы можем пытаться учесть эти два фактора как некие коэффициенты от их максимального значения. Если предположить в качестве максимальной степени мотивации усилия страны в войне, а в качестве меры реальной мотивации - долю финансирования лиц и организаций в США, занимающихся предотвращением глобальных рисков в целом (порядка 10 млн. долларов в год в лучшем случае в 2007 г. ; при этом мы не рассматриваем узкоспециализированные программы, которые лучше финансируются, так как они не предполагают целостной защиты, учитывающей весь комплекс взаимосвязей в связи с глобальными рисками, например, антиастероидную программу), - то разница составит около 100 000 (предполагая, что США могли бы расходовать на войну около 1 триллиона долларов). При этом, однако, ситуация значительно улучшается: если в 2000 году не было ни одного человека, занимающегося исследованием и предотвращением глобальных рисков на постоянно оплачиваемой основе, то теперь такие должности есть в США и Великобритании. Всё же, несмотря на то, что ситуация улучшается, она выглядит чудовищно запущенной.
  Осведомлённость следовало бы измерять как долю полной осведомлённости, какая могла бы быть только у некоей идеальной цивилизации. Под осведомлённостью я имею в виду наличие общепризнанного, строго доказанного и широко известного описания проблемы глобальных рисков. Поэтому, даже если бы эта книга содержала такое описание, всё равно она не обеспечивала бы полной осведомлённости, поскольку очевидно, что подавляющее большинство людей не читали её, а большинство тех, кто читали, имеют те или иные возражения. Итак, если мы скажем, что наша осведомлённость составляет тысячную долю от максимально возможной осведомлённости, это будет очень оптимистическая оценка. При этом я имею в виду максимально достижимую рациональную осведомлённость, а не абсолютную осведомлённость мага, который предвидит будущее.
  Даже максимальная мотивация и абсолютная осведомлённость не дают абсолютных шансов выживания, поскольку возможны катастрофы, связанные с необоримыми природными силами или непредсказуемыми процессами в духе теории хаоса. Осведомлённость и мотивация не позволят людям жить вечно. Общую живучесть цивилизации можно было бы оценить как произведение осведомлённости на мотивацию, но в случае земной цивилизации мы бы получили досадную одну миллиардную от максимально возможной. Остается надеяться, что при появлении на горизонте неких чрезвычайных обстоятельств, мотивация может быстро возрасти.
  Итак, мы должны рассматривать любые события, влияющие на мотивацию и на знание о глобальных рисках, как на факторы глобальных рисков второго рода.
  Факторы, повышающие мотивацию:
  1) Крупные катастрофы любого рода.
  2) Публикации, влияющие на общественное мнение.
  Факторы, ослабляющие мотивацию:
  1) Долгие периоды покоя и благоденствия.
  2) Публикации, успокаивающие людей.
  3) Ошибочные несбывшиеся прогнозы.
  Факторы, повышающие осведомлённость:
  1) Количество людей, участвующих в дискуссии на данную тему, и их профессиональные качества.
  2) Длительность истории дискуссии и информационная прозрачность.
  3) Разработанность методологии.
  4) Мотивация в развитии осведомлённости.
  Факторы, снижающие осведомлённость:
  1) Гибель учёных или разрыв традиции в случае некой катастрофы средней тяжести.
  2) Распространение заблуждений и/или идеологический раскол.
  Из сказанного можно сделать вывод, что наша неосведомлённость и немотивированность в предотвращении глобальных катастроф может быть гораздо более серьёзным фактором, чем риски, создаваемые любым физическим источником риска.
  19.24 Означает ли крах технологической цивилизации вымирание людей?
  Окончательный крах технологической цивилизации, скажем, необратимый возврат к родоплеменному строю, означает вымирание с отсрочкой в несколько миллионов лет, поскольку в этом случае человек становится снова одним из обычных видов живых существ, а все виды рано или поздно вымирают. В любом случае это 'экзистенциальный' риск в терминологии Бострома, так как означает необратимое повреждение потенциала цивилизации. Например, если население Земли будет составлять миллион человек в течение миллиона лет, то это примерно равносильно одному столетию с населением в 10 миллиардов человек по числу человеческих жизней (то есть XXI веку).
  Рост европейской промышленной цивилизации был связан с наличием в одном месте легкодоступных полезных ископаемых - каменного угля и железной руды в Англии и Германии. Легкодоступные в промышленных масштабах источники ресурсов исчерпаны. При этом здесь важна экономическая целесообразность освоения. Вряд ли кто-то будет заново осваивать выплавку железа в промышленных масштабах ради призрачной цели вернуть 'золотой век'. Нужно, чтобы это давало конкретное преимущество в текущей ситуации, например, позволяло делать эффективное оружие. Иначе многие века будет интереснее рыться в руинах, а не налаживать производство.
  Надо честно признать, что мы не знаем, возможно ли повторно запустить машину технологической цивилизации, не имея доступа к легкодоступным ресурсам, в первую очередь металлам и дешёвой энергии, а также не имея высокоурожайных сельскохозяйственных культур и домашних животных. Например, все месторождения золота в Европе были исчерпаны ещё в эпоху античности и средневековья. Конечно, технологическую цивилизацию можно было бы запустить, имея большое количество образованных мотивированных людей под правильным руководством. Например, можно добывать энергию, сжигая древесину, или с помощью гидростанций. Но неизвестно, возможна ли такая 'надстройка' (то есть сообщество учёных) без соответствующей промышленной базы. Возможно ли начать 'бизнес' цивилизации без стартового капитала природных ресурсов? Или будет как с индейцами Америки, которые знали о принципиальной возможности колеса (у них были колёсные игрушки), но не внедряли его в транспорт, потому что колесо без дорог и без тягловой силы бесполезно, а в горах лучше носильщики, чем колёсные повозки.
  Лохран Трайл из университета Аделаиды обнаружил, что для тысяч видов минимальная жизнеспособная популяция - то есть та, в которой вид имеет 90 процентные шансы прожить ещё 100 лет - составляет тысячи, а не сотни особей. Это позволяет нам оценить минимальное количество людей, необходимое для сохранение человеческой популяции. Люди очень живучие существа, но медленно размножаются. Кроме того, если взять случайную выборку из современных людей, то многие из них будут неприспособленны к выживанию во враждебной среде, не иметь культурных стереотипов, подталкивающих к интенсивному размножению, некоторые из них будут носителями СПИДа. Вместе с тем Америка была освоена изначально потомками небольшой группой людей в несколько десятков людей, однако эти люди были хорошо приспособлены к жизни в тех условиях, и имели отточенные культурные навыки охоты, разведения огня и т. д. Я полагаю, что должна сохранится группа не менее, чем в 500 человек, чтобы иметь шансы более 50% на выживание, даже при благоприятных природных обстоятельствах (отсутствия радиоактивного загрязнения, опасных болезней, и при наличии еды). Шансы на то, что пара случайных современных людей сможет стать новыми Адамом и Евой я оцениваю как менее 1 %.
  Отсюда мы должны заключить, что крах технологической цивилизации со значительной вероятностью означает вымирание человечества, даже если отдельные представители Homo Sapiens просуществуют ещё тысячи и миллионы лет после краха. Более того, существование человечества в нынешнем виде хотя бы сто лет может иметь большую ценность, чем существование одного племени людей в течение миллиона лет, не только потому что качественно интереснее, но и потому что означает большее число прожитых человеческих жизней.
  
  Глава 20. Катастрофы, влияющие на скорость прогресса
  20.1 Влияние катастроф на скорость развития
  Глобальными рисками третьего рода мы назовём любые события, которые замедляют или ускоряют ход, или меняют порядок развития сверхтехнологий на Земле, и в силу этого оказывают косвенное, но решающее влияние на возможные сценарии глобальных катастроф.
  Можно обнаружить следующие взаимосвязи между катастрофами и событиями разных масштабов и их влиянием на развитие и очерёдность возникновения технологий.
  1. Любая крупная авария или катастрофа может замедлить развитие технологий. Например, экономический кризис, то есть экономическая катастрофа, приведёт к остановке работ на ускорителях, что уменьшит шансы на создание 'чёрной дыры', поскольку ускорители - это крайне дорогие многомиллиардные проекты. Так и произошло с российскими ускорителями после распада СССР. Уменьшится выделение денег на био- и ИИ исследования, но их это затронет в меньшей степени, поскольку они могут финансироваться частным образом и гораздо дешевле.
  2. Колоссальная, но не окончательная катастрофа остановит почти все исследования, даже если некоторое количество людей выживет.
  3. Любая авария средней тяжести приведёт к увеличению мер безопасности и сокращению проектов в своей области. Например, Чернобыльская авария привела как к росту мер безопасности на реакторах, так и к повсеместному отказу от строительства новых реакторов.
  4. Военный конфликт приведёт к гонке вооружений и росту числа исследований. Направления перспективных исследований будут выбираться с учётом мнения неких ключевых специалистов. Например, в РФ сейчас стартовала программа в области нанотехнологий. Этого не произошло, если бы те, кто принимают решения и их советники, никогда не слышали про нанотехнологии. Ядерная программа США не началась бы, если б не известное письмо Эйнштейна президенту Ф. Рузвельту. С другой стороны, универсальный ИИ как абсолютное оружие сейчас обойдён вниманием властей (насколько это известно). Однако, вечно это продолжаться не будет. Как только власти поймут, что частные лаборатории, создающие сильный ИИ, возможно, обладают силами для глобального мятежа - они приберут их к рукам. Соответственно, прослышав, что в одной стране власти сделали ставку на мощный ИИ, и другие страны могут так поступить; отдельные организации и крупные фирмы могут также начать разработку своих проектов. Однако разрушение информационной связности может отбросить всю науку об ИИ назад.
  5. Само изобретение даже не очень сильного ИИ позволит резко ускорить прогресс в других областях. Кроме того, любые принципиальные открытия могут изменить баланс сил.
  Итак, некие события могут или сильно снизить уровень исследований в мире, в силу чего, например, более дешёвые проекты получат преимущество перед дорогими, или резко ускорить исследования. Наоборот, разрушение информационной связности затормозит дешёвые проекты, опирающиеся на доступную информацию из Интернета, и не остановит дорогие проекты, например, создание кобальтовой супербомбы.
  20.2 Закон Мура
  Законом Мура в узком смысле слова называется экспоненциальный рост числа транзисторов на чипе. В широком смысле слова под ним имеется в виду экспоненциальное усиление разных технологий с течением времени. Будущее закона Мура - будет ли он работать на протяжении всего XXI века или его действие прекратится в какой-то момент, - может значительно повлиять на историю человеческого общества в XXI веке и его риски.
  На самом деле ускорение, которое описывает закон Мура, является не экспоненциальным, а более быстро растущим (гиперболически). Вопрос этот неоднократно исследовался, например, в статье Рэя Курцвела 'Результаты закона ускорения' [Kurzweil 2001]. Подтверждением этого является, во-первых, то, что скорость удвоения числа транзисторов на чипе постепенно, хотя и не равномерно, возрастает (то есть период удвоения сокращается). Если экстраполировать закон Мура в прошлое, то он бы имел начальную точку в середине ХХ века, в то время как компоненты электронных схем развивались и раньше. Предполагается, что в начале ХХ века закон Мура (если его экстраполировать на прогресс электронных схем тогда) имел период удвоения порядка трёх лет [Kurzweil 2001].
  Во-вторых, не только возрастает число транзисторов на чипе, но и число компьютеров в мире экспоненциально растёт. В силу этого суммарная доступная вычислительная мощность растёт как экспонента от экспоненты.
  В-третьих, растёт связность компьютеров друг с другом, превращая их в единый компьютер. В результате, если в мире к началу 80-х было порядка миллиона компьютеров с частотами процессоров порядка мегагерца, то теперь мы имеем миллиард компьютеров, с частотами порядка гигагерца, связанных между собой Интернетом. Это означает, что совокупная вычислительная мощь за 25 лет выросла не только в миллион раз количественно, но и неисчислимым образом качественно.
  Поскольку аналогичная закономерность прослеживается не только относительно чипов, но и жёстких дисков компьютеров, считывания ДНК и ряда других технологий, понятно, что закон Мура связан не с какой-то особенностью производства микросхем, а с универсальной закономерностью в освоении новых технологий, о чём пишет Курцвел.
  В своё время наблюдался своеобразный аналог закона Мура в области космонавтики. От первого спутника до высадки на Луну имел место экспоненциальный рост успехов, который давал основания для прогнозов о полётах к звёздам к началу XXI века. Однако, вместо этого космонавтика вышла на уровень 'насыщения' и даже на откат по некоторым позициям. Это произошло, потому что космонавтика росла экспоненциально, пока не упёрлась в свои естественные пределы, которыми стали возможности химических ракет (и их цена). Хотя космонавтика развивалась, принцип реактивного движения не развивался. (Всё же определённый прогресс есть: цена запуска американской частной ракеты Фалькон предполагается в 7 млн. долларов, что равно стоимости нескольких квартир в центре Москвы, тогда как на организацию ракетной промышленности и строительство Байконура в своё время были потрачены суммы, которые можно оценить в современных ценах в сотни миллиардов долларов.) В области полупроводников и ряда других технологий происходило наоборот - каждый успех в их создании позволял быстрее и дешевле разрабатывать новые версии, потому что здесь есть рекурсивная петля: новые 'чипы' разрабатываются на чипах, а в космонавтике это почти не выражено. Это главное. В производстве кремниевых микросхем закон Мура также должен рано или поздно достичь некого физического предела. Однако, если взять закон Мура в более общем виде, то он означает закон самоусложнения структур. Можно видеть, как это самоусложнение совершало качественные скачки от одной области экспоненциального роста к другой, всякий раз в гораздо более быструю по параметрам развития - от одноклеточных к многоклеточным, от электронных ламп к транзисторам, от микросхем к - возможно - квантовым компьютерам. (Я не привожу здесь полную цепочку ускорения фаз развития, отмечу только, что каждый переход давал ускорение параметра роста в несколько раз. См. подробный разбор циклов ускорения в работе А. Д. Панова [Панов 2007] и у Курцвела.) Это значит, что такие события, как переход с одной экспоненты на другую, более крутую (а очевидно, не было конкурентной выгоды переходить на менее крутую экспоненту развития), являются более важными, чем даже сам экспоненциальный рост между этими переходами. И каждый раз такие переходы связаны с качественными скачками, с открытием принципиально нового способа оптимизации, нового способа более быстрого 'думанья' (иначе говоря, с открытиями более быстрых алгоритмов 'искусственного интеллекта', нежели простой перебор вариантов решений). Например, переход к половому размножению был, вероятно, для эволюции открытием более быстрого способа отбора и создания эффективных видов. Переход к письменности - более мощным способом накопления знаний об окружающем мире, чем устная передача информации. Создание научного метода - более мощным способом познания окружающего мира, чем доверие к античным источникам. Создание системы венчурных фирм, разрабатывающих и продающих новые технологии, - более быстрым способом, чем работа отдельных конструкторских бюро и изобретателей-одиночек. (См. например: [Азаров 1998].).
  Вероятно, следует остановиться на том, каким образом устроена разработка новых технологий в современном обществе, - что и позволяет поддерживать нынешний темп роста технологий. Она включает в себя следующие процессы:
  1) Непрерывная генерация и патентование любых идей.
  2) Создание отдельных лабораторий под каждую идею, у которой есть хотя бы мизерный шанс на успех (венчурные фирмы).
  3) Непрерывный обмен информацией между всеми участниками процесса, как за счёт открытых публикаций, так и за счёт торговли патентами и лицензиями.
  4) Отлаженный механизм внедрения любых новинок. Культ потребления новинок.
  5) Покупка 'мозгов' - людей с их навыками - под конкретные проекты.
  Эта система организации процессов инновации, как и все предыдущие, сложилась стихийно - то есть путём простого отбора между разными системами оптимизации. Можно предположить, что переход к следующей системе оптимизации будет связан с подвижками, так сказать, на уровне мета-оптимизации, то есть оптимизации процессов оптимизации. Очевидной чертой современной системы является то, что она концентрируется не вокруг людей-изобретателей, как в XIX веке - например, вокруг Эдисона и Теслы, а на отработанном конвейере производства и коммерциализации идей, в котором уникальная личность отдельного человека уже не имеет принципиального значения. Из сказанного вытекает уязвимость современного 'закона Мура' к экономическим потрясениям: чтобы этот закон продолжал действовать, нужен широкий фронт из множества фирм, поддерживаемый непрерывным притоком капитала. Соответственно, в будущем обобщенную модель действия закона Мура (иначе говоря, закона ускорения эволюции), ждёт или крах, или переход на ещё более скоростную ступень развития. Поскольку нельзя заставить людей (если только не изменить их природу) менять сотовый телефон 10 раз в год, то, скорее всего, двигателем следующего скачка будут нерыночные (но конкурентные) механизмы, например, гонка вооружений.
  Мы можем сделать вывод, что закон Мура является продуктом развития современной экономики, следовательно, экономические риски являются и зонами риска для закона Мура, а значит, - являются глобальными рисками третьего рода. 'Закон Мура' в широком смысле слова очень уязвим к целостности и связности общества. Для того, чтобы огромное количество технологий продолжало развиваться по экспоненциальной кривой, необходимо одновременное функционирование тысяч лабораторий, мощнейшая экономика и качественная информационная связность. Соответственно, даже мощный всемирный экономический кризис может подорвать его. Примером такого рода события может быть распад СССР, в результате которого наука резко обрушилась - и обрушилась бы, вероятно, ещё больше, если бы не приток идей с Запада, спрос на энергоносители, импорт компьютеров, интернет, поездки за рубеж и поддержка со стороны фонда Сороса. Страшно себе представить, насколько откатилась бы назад наука, если бы СССР был единственным государством на планете и распался.
  Понятно, что закон Мура мог бы поддерживаться внутри нескольких отдельных сверхдержав, обладающих полным комплектом ключевых технологий, но возможно, что некоторые ключевые технологии уже стали уникальными в мире. И конечно, одно небольшое государство, даже европейское, не сможет поддерживать темп развития науки на нынешнем уровне, оставаясь в одиночестве. В силу этого, мы должны осознавать уязвимость закона Мура на современном этапе. Однако создание ИИ, нано- и биотехнологий резко уменьшит объём пространства, которое необходимо для 'производства всего'. Остановка закона Мура не будет означать прекращения всех исследований. Разработка отдельных видов биологического оружия, ИИ, сверхбомб может продолжаться усилиями отдельных лабораторий. Однако без всемирного информационного обмена этот процесс значительно замедлится. Остановка закона Мура отсрочит или сделает невозможным появление сложных высокотехнологичных изделий, таких, как нанороботы, освоение Луны и загрузка мозга в компьютер, однако доведение относительно простых проектов продолжится.
  Глава 21. Защита от глобальных рисков
  21.1 Общее понятие о предотвратимости глобальных рисков
  Очевидно, что если удастся выяснить, что существует несколько простых, очевидных и надёжных способов противостоять глобальным катастрофам, то мы значительно улучшим свою безопасность, а ряд глобальных рисков перестанет нам угрожать. Напротив, если окажется, что во всех предлагающихся мерах и средствах защиты есть свои изъяны, которые делают их в лучшем случае неэффективными, а в худшем - просто опасными, то нам необходимо придумать нечто кардинально новое. Представляется, что система защиты - на каждой фазе развития глобального риска - должна осуществлять следующие функции:
   Наблюдение.
   Анализ информации и принятие решения.
   Уничтожение источника угрозы.
  Эта стратегия хорошо отработана в контрразведке, борьбе с терроризмом и военном деле. Другая стратегия предполагает бегство от источника угрозы (космические поселения, бункеры). Очевидно, эта вторая стратегия должна применяться в случае провала первой (или одновременно с ней, на всякий случай).
  Глобальные риски различаются по степени того, насколько возможно их предотвращение. Например, вполне реально запретить некий класс опасных экспериментов на ускорителях, если научное сообщество придёт к выводу, что эти эксперименты создают определённый риск. Поскольку в мире всего несколько больших ускорителей, которые управляются достаточно открыто, и потому что сами учёные не желают катастрофы и не имеют от неё никаких выгод, то кажется очень простым отменить эксперименты. Фактически, для этого нужно только общее понимание их опасности. То есть максимально предотвратимый риск - это риск, который:
   легко предвидеть,
   легко достичь научного консенсуса в отношении такого предвидения,
   этого консенсуса достаточно, чтобы отказаться от действий, ведущих к данному риску.
  Отказаться от действий, ведущих к некому риску (например, запретить некую опасную технологию), легко лишь при определённых условиях:
   Если опасные процессы создаются только людьми;
   Если эти процессы создаются в небольшом числе широко известных мест. (Как, например, физические эксперименты на огромных ускорителях);
   Если люди не ждут никакой выгоды от этих процессов;
   Если опасные процессы предсказуемы как по моменту своего возникновения, так и по ходу развития;
   Если опасные объекты и процессы легко распознаваемы. То есть мы легко, быстро и наверняка узнаём, что началась некая опасная ситуация, и мы правильно оцениваем степень её опасности;
   Если у нас есть достаточно времени в силу специфики процесса, чтобы разработать и принять адекватные меры.
  Соответственно, риски, которые трудно предотвращать, характеризуются тем, что:
   Их трудно предвидеть, даже трудно предположить об их возможности. (Даже предположить, что в SETI может быть риск, было трудно.)
   Даже если кто-то осознаёт этот риск, ему крайне трудно убедить в этом кого-либо ещё (примеры: трудности с осознанием ИИ и SETI как источника риска, трудности Доказательство Конца Света).
   Даже если будет достигнуто общественное согласие о том, что подобные риски действительно опасны, это не приведёт к тому, что люди добровольно откажутся от данного источника риска. (Примеры: ядерное оружие.)
  Последнее связано с тем, что:
  o Источники риска доступны большому числу людей, а кто эти люди - неизвестно (можно поставить на учёт всех физиков ядерщиков, но не хакеров-самоучек).
  o Источники риска находятся в неизвестном месте и/или их легко скрыть (биолаборатории).
  o Риски создаются независящими от человека природными факторами, или в результате взаимовлияния человеческих действий и природных факторов.
  o Источник опасности сулит не только риски, но и выгоды, в частности, является оружием.
  o Момент начала аварийной ситуации непредсказуем, равно как и то, как она будет развиваться.
  o Опасную ситуацию трудно опознать в качестве таковой, это требует много времени и содержит элемент неопределённости. (Например, трудно определить, что некая новая бактерия является опасной, пока она кого-то не заразит и пока её распространение не достигнет таких масштабов, когда можно понять, что это именно эпидемия.)
  o Опасный процесс развивается быстрее, чем мы успеваем на него адекватно реагировать.
  Предотвратимость некоторых рисков, однако, не должна приводить к тому, что их следует сбрасывать со счёта, поскольку не обязательно означает, что риск в конечном счёте будет предотвращён. Например, астероидная опасность относится к числу относительно легко предотвратимых рисков, однако реальной противоастероидной (и, что важнее, противокометной) системы защиты у нас сейчас нет. И пока её нет, 'предотвратимость' угрозы остаётся чисто гипотетической, поскольку мы не знаем, насколько эффективной и безопасной будет будущая защита, появится ли она вообще и если появится, то когда.
  21.2 Активные щиты
  В качестве способа предотвращения глобальных рисков предлагается создавать разного рода активные щиты. Активный щит - это средство контроля и воздействия на источник риска по всему земному шару. Фактически, это аналог иммунной системы в масштабе всей планеты. В качестве наиболее очевидного примера можно привести идеи создания всемирной системы ПРО.
  Активность щитов подразумевает, что они могут относительно автономно реагировать на любой раздражитель, который попадает под определение угрозы. При этом щит полностью покрывает защищаемую поверхность, то есть поверхность Земли. Понятно, что автономный щит опасен неконтролируемым поведением, а управляемый является абсолютным оружием в руках того, кто им управляет. Как нам известно из дискуссий о СОИ, даже если активный щит является полностью оборонительным оружием, он всё равно даёт преимущество в нападении для защищённой стороны, так как она может не опасаться возмездия.
  Сравнение активных щитов с иммунной системой человека, как идеальной формой защиты, некорректно, потому что иммунная система неидеальна. Она обеспечивает статистическое выживание вида за счёт того, что отдельные особи живут в среднем достаточно долго. Но она не обеспечивает неограниченное выживание отдельного индивида. Любой человек неоднократно заражается заразными болезнями в течение жизни, и многие от них гибнут. Для любого человека найдётся болезнь, которая его убьёт. Кроме того, иммунная система хорошо работает тогда, когда точно знает патоген. Если она его не знает, то потребуется время, чтобы он успел себя проявить, и ещё время, чтобы иммунная система выработала против него ответ. То же самое происходит и с компьютерными антивирусами, которые тоже являются активным щитом: хотя они обеспечивают устойчивое существование всех компьютеров, каждый отдельный компьютер время от времени всё равно заражается вирусом, и данные на нём теряются. Кроме того, антивирус не даёт защиты от принципиально нового вируса, пока не пришлют обновления, а за это время новый вирус успевает заразить определённое число компьютеров. Если бы возникла угроза распространения 'серой слизи', мы поняли бы, что это - 'серая слизь', только после того, как она значительно распространится. Впрочем, есть иммунные системы, работающие по принципу: запрещено всё, что не разрешено, но их тоже можно обмануть, и они более склонны к автоиммунным реакциям.
  Короче говоря, иммунная система хороша только тогда, когда есть мощное дублирование основной системы. У нас пока нет возможности дублирования земных жизненных условий, а космические поселения столкнутся с рядом принципиальных трудностей. Кроме того, у всех иммунных систем бывают ложные срабатывания, которые проявляются в автоиммунных заболеваниях - как, например, аллергия и диабет - которые вносят значительный вклад в человеческую смертность, сравнимый по порядку величины с вкладом рака и инфекционных заболеваний. Если иммунная система слишком жёсткая, она порождает автоиммунные заболевания, а если слишком мягкая - то пропускает некоторые опасности. Поскольку иммунная система покрывает весь защищаемый объект, то выход её из строя создаёт угрозу всему объекту (здесь действует принцип 'распространение фактора опаснее разрушения'). Террористическая атака на иммунную систему делает всю систему беззащитной. Так работает СПИД, который тем быстрее распространяется, чем сильнее с ним иммунная система борется, поскольку он находится внутри неё.
  Широко обсуждаются идеи БиоЩита и НаноЩита . Эти щиты подразумевают распыление по всей поверхности Земли тысяч триллионов контролирующих устройств, способных оперативно проверять любые агенты на опасность и оперативно уничтожать опасные. Также к щитам относится дальнейшее ужесточение контроля в Интернете и всемирное развешивание следящих видеокамер. Однако уже на примере всемирной ПРО видны существенные проблемы любых щитов:
  1. Они значительно отстают от источника угрозы по времени разработки.
  2. Они должны действовать сразу на всей территории Земли без исключений. Чем точечнее угроза, тем плотнее должен быть щит.
  3. Они уже сейчас вызывают серьёзные политические разногласия. Если щит покрывает не всю поверхность Земли, то он может создавать ситуацию стратегической нестабильности.
  4. Любой щит создаётся на основе ещё более продвинутых технологий, которые могут создавать угрозы своего уровня.
  5. Щит может быть источником глобального риска сам по себе, если у него начнётся некая 'автоиммунная реакция', то есть он начнёт уничтожать то, что должен был защищать. Или если управление щитом будет потеряно, и он начнёт защищаться от своих хозяев. Или если его ложное срабатывание станет поводом для войны.
  6. Щит не может быть абсолютно надёжен - то есть успех его срабатывания носит вероятностный характер. И тогда, в случае постоянной глобальной угрозы, вопрос его пробивания - это только вопрос времени.
  7. Щит должен иметь централизованное управление, но при этом автономность на местах для быстрого реагирования.
  Например, антиастероидный щит создаст много новых проблем безопасности человечества. Во-первых, он обеспечит технологию точного управления астероидами, которая за счёт малых воздействий может направить на Землю огромную массу, причём тайно, в духе криптовойны. Во-вторых, сам такой щит может быть использован для атаки на Землю. Например, если на высокой орбите будет висеть 50 штук гигатонных бомб, готовых по команде устремиться в любую точку Солнечной системы, человечество не будет чувствовать себя в большей безопасности. В-третьих, движение всех астероидов за миллиарды лет хорошо синхронизировалось, и любое нарушение этого равновесия может привести к тому, что тот же самый астероид станет постоянной угрозой, регулярно проходя рядом с Землёй. Особенно это будет опасно, если человечество после такого вмешательства откатится на предтехнологический уровень.
  Обратим внимание на то, что каждая опасная технология может быть средством собственного предотвращения:
   Ракеты сбиваются с помощью ракет ПРО.
   По местам производства ядерного оружия наносятся ядерные удары.
   ИИ контролирует весь мир, чтобы нигде не создали неправильный ИИ.
   Биодатчики не дают распространиться биологическому оружию.
   Нанощит защищает от нанороботов.
  Часто щиты делают нечто ровно противоположное тому, ради чего они создавались. Например, есть мнение (доклад Беллоны, глава IV.1. 'Три 'трещины' ДНЯО' [Яблоков 2005]), что договор о нераспространении ядерного оружия плохо справляется с чёрным рынком, но хорошо справляется с распространением 'мирного атома' (то есть строительством во всех странах, которые этого хотят, исследовательских ядерных реакторов), который фактически оказывается технологией двойного назначения. Прочные двери, которые защищают кабины самолётов после терактов 11 сентября, не дадут проникнуть террористам в кабину, но если они там всё-таки окажутся (например, в силу того, что сам пилот - террорист), то пассажиры и стюарды не смогут им помешать. Если есть система управления полётом с Земли, то появляется шанс захватить самолёт, используя эту систему, по радио.
  Наконец, все щиты предлагаются, исходя из предположения о том, что у нас есть некая идеальная система, которая наблюдает и контролирует другую, менее совершенную. Например, неподкупная милиция контролирует несовершенное общество. Если же милиция коррумпирована, то отдел собственной безопасности её контролирует, и так далее. Очевидно, что подобных идеальных систем в реальности не бывает, поскольку и система контроля, и контролируемый объект сделаны из одного теста. Можно представить себе многоуровневую иерархическую систему щитов, но в таком случае есть риск раскола между разными контролирующими системами. Наконец, у любого щита есть слепое пятно - он не может контролировать собственный центр управления.
  Возможно, средства защиты вообще создают больший риск, чем сами угрозы, так как средства защиты по определению глобальны. А способность действовать на всю территорию Земли - это первый признак источника глобального риска.
  Вероятно, есть и третий уровень, а именно защита от тотальности самого щита. Угроза - Щит - Ограничение щита. Этот третий уровень может идти как извне - гражданские протесты против тотального контроля, террористы, борющиеся с щитом или ищущие способы реализовать свои угрозы, минуя щит, - так и изнутри в виде систем 'внутренней безопасности'.
  21.3 Действующие и будущие щиты
  Здесь я привожу краткий, но насколько возможно полный список щитов, которые уже есть или могут появиться в будущем.
  1) Всемирная система ПРО. Страдает от политических и технологических проблем, готова только в зачаточной стадии.
  2) МАГАТЭ. Работает, но со сбоями. Упустила несколько военных ядерных программ.
  3) Всемирная борьба с наркотиками. Находится в равновесии со своей проблемой - сдерживает в некоторой степени, но не более.
  4) Система тотального информационного наблюдения, которую можно назвать 'оруэлловский контроль' в честь антиутопии '1984' Оруэлла, где подобная система живо описана. Система контроля за каждым человеком с помощью видеокамер, чипов идентификации, слежения за Интернетом, перехвата телефонных разговоров. Технически такая система достижима, но в реальности она развёрнута только на несколько процентов от того, что могло бы быть, однако при этом она активно развивается. Уже сейчас становятся очевидны и открыто обсуждаются проблемы такой системы, связанные с легитимностью, интернациональностью, слепыми зонами, хакерами. Теоретически может стать основой для всех других систем контроля, так как, возможно, контроля над поведением всех людей достаточно, чтобы не появлялось опасных био, нано и ИИ устройств (вместо того, чтобы выискивать уже готовые опасные устройства в окружающей среде).
  5) 'Mind-контроль'. Эта система подразумевает вживление в мозг неких контролирующих чипов (или расшифровка мыслей с помощью анализа энцефалограмм - уже есть конкретные результаты на этом пути). Это может быть не так сложно, как кажется, если мы найдём группы клеток, на которые проецируется внутренний диалог и эмоциональные состояния. Чем-то вроде этого сейчас является детектор лжи. Такое устройство может решить проблему даже спонтанных преступлений, вроде внезапной агрессии. С другой стороны, потенциал злоупотребления такой технологией - неограничен. Если с помощью такой системы можно будет управлять людьми, то достаточно одной неверной команды, чтобы уничтожить всё человечество. (Та же проблема возникает с предлагающейся в качестве меры против террористов системой управления полётом авиалайнеров с земли: хотя она уменьшит риск захвата отдельного самолёта, она создаст теоретическую возможность одновременно перехватить управление над всеми находящимися в воздухе самолётами и осуществить с их помощью массовый таран зданий или ядерных реакторов.) Наконец, она не даст абсолютной защиты, так как её можно взломать, а также, потому что некоторые катастрофы происходят не по злому умыслу, а от недомыслия.
  6) Анти-астероидная защита. Ведётся наблюдение за потенциально опасными объектами, но недостаточное, средства перехвата официально не разрабатываются. (Но зонд Deep Impact в 2005 г. использовался для столкновения с кометой Темпеля, в результате чего на теле кометы образовался кратер, а её траектория очень незначительно изменилась.)
  7) БиоЩит. Борьба с биотерроризмом осуществляется в настоящий момент на уровне разведки и международных соглашений по контролю. Есть рекомендации по безопасной разработке биотехнологий (начиная от добровольных самоограничений, принятых в Асиломаре в 70-е годы и заканчивая книгой 'Руководство по биоконтролю'[ Wagner 2006]; вместе с тем, ряд предлагающихся ограничений до сих пор не принят ).
  8) НаноЩит. В стадии предварительного обсуждения. Есть рекомендации по безопасной разработке, разрабатываемые Центром Ответственных Нанотехнологий [CRN 2003].
  9) ИИ-щит. Защита от создания враждебного ИИ. В Сингулярити Институте в Калифорнии (SIAI) ведётся обсуждение проблем безопасного целеполагания для сильного ИИ, то есть проблемы его Дружественности. Есть рекомендации по безопасной разработке .
  10) Обычная полиция и службы безопасности.
  Можно также охарактеризовать последовательность во времени срабатывания щитов в случае развития опасной ситуации.
  Первый уровень обороны состоит в поддержании цивилизации в осознанном, миролюбивом, уравновешенном состоянии и в подготовке к работе по предотвращению рисков на всех остальных уровнях. На этом уровне важны обмен информацией, открытые дискуссии, публикации в реферируемых журналах, сбор средств, пропаганда, образование и инвестиции.
  Второй состоит в непосредственном компьютерном контроле над людьми и опасными системами с тем, чтобы ситуации глобального риска вообще не могли возникнуть. На этом уровне действует МАГАТЭ, глобальные системы видеонаблюдения и перехвата интернет сообщений и т. д.
  Третий - в подавлении возникшей опасности с помощью ракет, антинаноробтов и т д. Это уровень, аналогичный уровню систем ПРО в защите от оружия массового поражения.
  Четвёртый - в эвакуации с Земли или закупоривании в бункеры (однако принцип предосторожности предполагает, что следовало бы начать это делать даже одновременно с первым пунктом).
  21.4 Сохранение мирового баланса сил
  Новые технологии могут нарушать военно-политическое равновесие в мире, предоставляя одной из сторон невиданные возможности. Эрик Дрекслер описывает проблему следующим образом: 'В поиске серединного пути мы могли бы пытаться найти баланс сил, основанный на балансе технологий. Это, по-видимому, расширило бы ситуацию, которая сохраняла определенную меру мирного сосуществования на протяжении четырех десятилетий. Но ключевое слово здесь - "по-видимому": грядущие прорывы будут слишком стремительными и дестабилизирующими, чтобы старый баланс мог продолжать существование. В прошлом страна могла испытывать технологическое отставание на несколько лет и всё же поддерживать приблизительный военный баланс. Однако со стремительными репликаторами и продвинутым ИИ задержка на единственный день могла бы быть фатальной' [Drexler 1985]. Короче говоря, чем быстрее развиваются технологии, тем меньше шансов, что они будут находиться в равновесии в разных странах, а также с силами сдерживания и контроля. Сознательное нарушение баланса также опасно: попытка одной из стран явным образом уйти 'в отрыв' в сфере военных сверхтехнологий может спровоцировать её противников на агрессию по принципу 'атака при угрозе потери преимущества'.
  21.5 Возможная система контроля над глобальными рисками
  Любая защита от глобального риска опирается на некую систему глобального наблюдения и контроля. Чем опаснее риск и чем в большем числе мест он может возникнуть, тем тотальнее и эффективнее должна быть эта система контроля. Примером современной системы контроля является МАГАТЭ. Щиты также могут быть системой контроля или содержать её в себе как особую структуру. Но щиты могут действовать локально и автономно, как иммунная система, а система контроля предполагает сбор и передачу данных в единый центр.
  Окончательным вариантом такого глобального контроля было бы 'оруэлловское государство', где из каждого угла торчало бы по видеокамере или чипы были бы установлены в мозг каждого человека, не говоря уже о компьютерах. Увы, в отношении видеонаблюдения это уже почти реализованный вариант. А в домах это можно реализовать технически в любой момент - везде, где есть постоянный интернет и компьютеры. Вопрос скорее не в наблюдении, а в передаче и, особенно, анализе этих данных. Без помощи ИИ нам трудно проверить всю эту информацию. Привлекательными выглядят системы взаимной подотчётности и гражданской бдительности, продвигаемые как альтернатива тоталитарному государству в борьбе с терроризмом, где за счёт абсолютной прозрачности каждый может контролировать каждого, но в отношении их возможности пока много неясного. Возникающие проблемы:
   Чтобы быть эффективной, такая система контроля должна охватывать весь Земной шар без исключения. Это невозможно без некой формы единой власти.
   Любую систему контроля можно ввести в заблуждение - поэтому по-настоящему эффективная система контроля должна быть многократно избыточна.
   Мало наблюдать всё, необходимо всю эту информацию анализировать в реальном времени, что невозможно без ИИ или тоталитарного государственного аппарата. Кроме того, эта верховная власть не сможет контролировать сама себя, следовательно, понадобится система обратной её подотчётности либо народу, либо 'службе внутренней безопасности'.
   Такая система будет противоречить представлениям о демократии и свободе, которые сформировались в европейской цивилизации, и вызовет ожесточённое сопротивление вплоть до распространения практик терроризма. Такая система тотального контроля вызовет соблазн применять её не только против глобальных рисков, но и против любого рода 'правонарушений', вплоть до случаев употребления неполиткорректной речи и прослушивания нелицензионной музыки.
   Те, кто контролируют, должны иметь полное и ясное представление обо всех глобальных рисках. Если это будут только биологические риски, но не создание ИИ и опасные физические эксперименты, то система будет неполноценна. Очень трудно отличить опасные биологические эксперименты от безопасных - во всех случаях используются ДНК-секвенсоры и опыты на мышах. Без чтения мыслей учёного не поймёшь, что он задумал. А от случайных опасных экспериментов эта система не защищает.
   Поскольку подобная система будет уже 'доставлена' в любую точку земного шара, она может упростить действие любого оружия, поражающего каждого человека. Иначе говоря, захват власти над системой тотального контроля даст власть над всеми людьми и упростит задачу сделать с ними всё, что угодно, в том числе и нанести им вред. Например, можно разослать по почте некое лекарство и проконтролировать, чтобы все его приняли, а тех, кто отказался, арестовать.
  Итак, система тотального контроля кажется наиболее очевидным средством противостояния глобальным рискам. Однако она содержит ряд подводных камней, которые могут превратить её саму в фактор глобального риска. Кроме того, система тотального контроля подразумевает тоталитарное государство, которое, будучи снабжённым средствами производства в виде роботов, может утратить потребность в людях как таковых.
  21.6 Сознательная остановка технологического прогресса
  Часто выдвигаются предложения об отказе от технического прогресса или в насильственной форме, или путём взывания к совести учёных с целью предотвращения глобальных рисков. Есть разные варианты способов осуществления этой остановки, и все они или не работают, или содержат подводные камни:
  1. Личный отказ от разработки новых технологий практически ни на что не влияет. Всегда найдутся другие, которые это сделают.
  2. Агитация, просвещение, социальные действия или терроризм как способы заставить людей отказаться от развития опасных технологий - не работают. Как пишет Юдковски: любая стратегия, которая предполагает единодушные действия всех людей, обречена на провал.
  3. Отказ от технологических новшеств на определённой территории, например, одной страны, неспособен остановить технологический прогресс в других странах. Более того, если более ответственные страны откажутся от развития некой технологии, то пальма первенства перейдёт к более безответственным.
  4. Всемирное соглашение. На примере МАГАТЭ мы знаем, как плохо это работает.
  5. Завоевание всего мира силой, которая сможет регулировать развитие технологий. Но в процессе этого завоевания велики шансы применения оружия 'судного дня' теми ядерными державами, которые в результате утратят суверенитет. Кроме того, цитируя Дрекслера: 'Далее, победившая сила была бы сама главной технологической силой с огромной военной мощью и демонстрируемой готовностью ее использовать. Можно ли в этом случае доверять такой силе в том, что она подавит свой собственный прогресс?' ('Машины созидания'.)
  6. Мирное объединение наций перед лицом нависшей угрозы, подобно тому, как возникло ООН в годы фашизма, и делегирование ими своих сил на остановку прогресса в тех странах, которые не захотят присоединиться к этому объединению. Вероятно, это наилучший вариант, который объединяет достоинства всех предыдущих и сглаживает их недостатки. Но он станет реальным, только если общая угроза станет явной.
  7. Ник Бостром предложил концепцию дифференцированного технологического развития, когда проекты, увеличивающие нашу безопасность, стимулируются и ускоряются, тогда как потенциально опасные проекты искусственно замедляются. Таким образом, управляя скоростью развития разных областей знания, мы получаем более безопасные сочетания технологий нападения и защиты.
  8. Гленн Рейнольдс в статье в 'Популярной механике' указывает, что, наоборот, нужно как можно в больше степени ускорять развитие прорывных технологий, чтобы сократить окно уязвимости между открытием опасных технологий и открытием средств защиты (условных 'ракет' и 'антиракет').
  Ограничение и прямое запрещение некоторых исследований несёт риск того, что в некотором будущем у нас не будет нужных знаний и нужного средства для парирования некоего, пока не представимого риска.
  Нераспространение знаний массового поражения явным образом противоречит идеи открытой дискуссии по глобальным рискам и выбору правильной границы между открытостью дискуссии и нераспространением знаний является важнейшим инструментом минимизации риска. То есть предотвращая риск, мы должны его максимально конкретизировать, и одновременно максимально скрыть.
  21.7 Средства превентивного удара
  Мало иметь систему тотального контроля - нужно обладать возможностью предотвратить риск. Сейчас обычно в качестве крайней меры рассматривается удар ракетно-ядерными силами по точке источника риска.
  Здесь наблюдается любопытное противоречие с программами строительства бункеров для выживания - если такие бункера будут секретны и неуязвимы, то их будет трудно уничтожить. Более того, они должны содержать в себе полностью оборудованные лаборатории и учёных на случай катастрофы. Поэтому возможна ситуация, когда 'сверхоружие' будет создаваться в таком бункере (например, в СССР создавались подземные ядерные заводы для продолжения производства ядерного оружия в случае затяжной ядерной войны). Люди, которые уже находятся в неуязвимом бункере, могут быть более психологически склонны к созданию сверхоружия для удара по поверхности. Следовательно, либо бункеры будут представлять угрозу человеческому выживанию, либо средства превентивного удара уничтожат все бункеры, которые могли бы использоваться для выживания людей после некой катастрофы.
  Однако удар по одной точке в пространстве не действует ни против системного кризиса, ни против некой информационной угрозы. Компьютерный вирус не вылечишь ядерным ударом. И не избавишь людей от привязанности к сверхнаркотику. Далее, удар возможен, пока некий риск не вышел из точки. Если рецепт супервируса попал в интернет, обратно его не выловишь. Уже сейчас современная военная машина бессильна против сетевых угроз, вроде террористических сетей, дающих метастазы по всей планете. Точно также в будущем компьютерный вирус будет не просто информационной угрозой данным на диске: он сможет заставлять компьютерно управляемые фабрики по всему миру незаметно производить некие свои материальные носители (скажем, в виде микроскопических роботов или программных закладок в обычных продуктах), а через них снова уходить в сеть (например, подключаясь к радиоканалу).
  Наконец, сам удар (или даже его возможность) создаст ситуацию стратегической нестабильности. Например, сейчас удар баллистической ракетой с обычной боеголовкой по террористам может вызвать срабатывание системы предупреждения о ракетном нападении вероятного противника и привести к войне.
  Наконец, нанесение удара требует определённого времени. Это время должно быть меньше времени от момента обнаружения развития угрозы до времени её перехода в необратимую фазу (например, в случае появления 'серой слизи' важно уничтожить её до того, как она сумела размножиться в миллиардах копий и распространится по всей Земле). Сейчас время от обнаружения до удара по любой точке Земли меньше 2 часов, и может быть уменьшено до минут с помощью спутникового оружия. (Однако время принятия решения больше.) Если бы от момента принятия решения о написании кода опасного вируса до его запуска проходило бы только 15 минут, то этой скорости было бы недостаточно. И этой скорости очевидно недостаточно, если в некоем месте началось распыление опасных нанороботов по воздуху.
  Эффективность удара по точке принципиально изменится после основания космических колоний (хотя бы чисто робототехнических - там тоже может произойти сбой, который превратит колонию в 'раковую' - то есть склонную к неограниченному саморазмножению и распространению 'токсинов': опасных нанороботов, сверхбомб и прочего; а именно освоение космоса с помощью саморазмножающихся роботов, использующих местные материалы, наиболее перспективно). За время, пока сигнал об опасности пройдёт, скажем, от спутника Юпитера до Земли и затем от Земли туда прилетит боевой 'флот' (то есть ракеты с ядерными боеголовками и боевыми нанороботами) наводить порядок (жечь всё подряд), будет уже поздно. Конечно, можно держать 'флот' на орбите каждого спутника планеты или астероида, где есть способные к саморазмножению робототехнические колонии, но что если мятеж произойдёт именно на самом флоте? Тогда нужен флот, который контролирует другие флоты и курсирует между спутниками планет. А затем ещё один межпланетный флот для контроля над ними. Короче, ситуация не выглядит стратегически стабильной, - то есть выше определённого уровня системы контроля начинают мешать друг другу. Возможно, неспособность контролировать удалённые колонии приводит к тому, что цивилизациям выгодно замыкаться на материнской планете - вот ещё одно решение парадокса Ферми.
  21.8 Удаление источников рисков на значительное расстояние от Земли
  Теоретически можно удалить источники рисков от Земли, в первую очередь это касается опасных физических экспериментов. Проблемы, связанные с этим подходом:
   Получив в руки технические средства создавать мощные экспериментальные установки далеко от Земли, мы также будем иметь возможности быстро доставлять результаты экспериментов обратно.
   Это не сможет остановить некоторых людей от аналогичных опытов на Земле, особенно если они просты.
   Это не защитит нас от создания опасного сильного ИИ, так как он может распространяться информационно.
   Даже за орбитой Плутона возможны опасные эксперименты, которые повлияют на Землю.
   Трудно заранее знать, какие именно эксперименты надо проводить 'за орбитой Плутона'.
   Нет технических возможностей доставить огромное количество оборудования за орбиту Плутона в течение ближайших десятков лет, тем более без использования опасных технологий в виде самовоспроизводящихся роботов.
  21.9 Создание автономных поселений в отдалённых уголках Земли
  Создание таких поселений, равно как и навыки выживания в дикой природе, вряд ли помогут в случае действительно глобальной катастрофы, поскольку она должна затронуть всю поверхность Земли (если это некий неразумный агент), или обнаружить всех людей (если это разумный агент). Автономное поселение уязвимо и к первому, и ко второму - если только это не вооружённая секретная база, но тогда оно относится скорее к понятию 'бункеры'.
  Если речь идёт о выживании после очень большой, но не окончательной катастрофы, то следует вспомнить опыт продразвёрстки и колхозов в России, - город силой властвует над деревней и отбирает у неё излишки. В случае системного кризиса главную опасность будут представлять другие люди. Недаром в фантастическом романе 'Метро 2033' [Глуховский 2007] основной монетой является патрон от автомата Калашникова. И до тех пор, пока патронов будет больше, чем крестьян, будет выгоднее грабить, а не выращивать. Возможно также полное растворение человека в природе в духе Маугли. Однако маловероятно, что таким образом хотя бы некоторые представители вида Homo sapiens смогут пережить действительно глобальную катастрофу.
  21.10 Создание досье на глобальные риски и рост общественного понимания связанной с ними проблематики
  Публикация книг и статей на тему глобальных рисков приводит к росту осознания проблемы в обществе и составлению более точного списка глобальных рисков. Междисциплинарный подход позволяет сравнивать разные риски и учитывать возможность их сложного взаимодействия. Сложности данного подхода:
   Не понятно, кому именно адресованы любые тексты такого рода.
   Террористы, страны-изгои и регулярные армии могут воспользоваться идеями о создании глобальных рисков из опубликованных текстов, что скорее приведёт к большему увеличению рисков, чем к их предотвращению.
   Неправильное и преждевременное вложение капитала может привести к разочарованию в борьбе с рисками - как раз именно тогда, когда эта борьба на самом деле понадобится.
  21.11 Убежища и бункеры
  Разного рода убежища и бункеры могут увеличить шансы выживания человечества в случае глобальной катастрофы, однако ситуация с ними непроста. Отдельные автономные убежища могут существовать десятки лет, но чем они автономнее и долговременнее, тем больше усилий нужно на их подготовку заранее. Убежища должны обеспечивать способность человечества к дальнейшему самовоспроизводству. Следовательно, они должны содержать не только достаточное количество способных к размножению людей, но и запас технологий, который позволит выжить и размножаться на территории, которую планируется обживать после выхода из убежища. Чем сложнее будет загрязнена эта территория, тем более высокий уровень технологий потребуется для надёжного выживания.
  Очень большой бункер создаст условия для продолжения развития технологий и после катастрофы. Однако в этом случае он будет уязвим к тем же рискам, что и вся земная цивилизация - в нём могут появиться свои внутренние террористы, ИИ, нанороботы, утечки и т д. Если бункер не даст возможность продолжать развитие технологий, то он, скорее всего, обречён на деградацию.
  Далее, бункер может быть или 'цивилизационным', то есть сохранять большинство культурных и технологических достижений цивилизации, или 'видовым', то есть сохранять только человеческую жизнь. Перед 'длительными' (то есть рассчитанными на многолетнее пребывание) бункерами встанет проблема образования и воспитания детей и риски деградации. Бункер может или жить за счёт ресурсов, накопленных перед катастрофой, или заниматься собственным производством. В таком случае это будет просто подземная цивилизация на заражённой планете.
  Чем в большей мере бункер, построенный на современных технологиях, автономен культурно и технически, тем больше там должно жить людей (но в будущем это будет не так: бункер на основе продвинутых нанотехнологий может быть даже вовсе безлюдным, - только с замороженными человеческими эмбрионами). Чтобы обеспечить простое воспроизводство посредством обучения основным человеческим профессиям, требуются тысячи людей. Эти люди должны быть отобраны и находиться в бункере до наступления окончательной катастрофы, желательно, на постоянной основе. Однако маловероятно, чтобы тысячи интеллектуально и физически превосходных людей захотели бы сидеть в бункере 'на всякий случай'. В этом случае они могут находиться в бункере в две или три смены и получать за это зарплату. (Сейчас в России начинается эксперимент 'Марс 500', в котором 6 человек будут находиться в полностью автономном - по воде, еде, воздуху - пространстве 500 дней. Вероятно, это наилучший результат, который мы сейчас имеем. В начале 1990-х годов в США был также проект 'Биосфера-2', в котором люди должны были прожить два года на полном самообеспечении под куполом в пустыне. Проект закончился частичной неудачей, так как уровень кислорода в системе стал падать из-за непредвиденного размножения микроорганизмов и насекомых.) В качестве дополнительного риска для бункеров следует отметить широко известный по антарктическим экспедициям факт психологии малых групп, замкнутых в одном помещении, - а именно, нарастание враждебности, чреватое деструктивными действиями, снижающими выживаемость.
  Бункер может быть или единственным, или одним из многих. В первом случае он уязвим к разным случайностям, а во втором возможна борьба между разными бункерами за оставшиеся снаружи ресурсы. Или возможно продолжение войны, если катастрофа возникла в результате войны. Бункер, скорее всего, будет или подземным, или морским, или космическим. При этом космический бункер тоже может быть заглублён в грунт астероидов или Луны. Для космического бункера будет труднее пользоваться остатками ресурсов на Земле. Бункер может быть полностью изолированным или позволять 'экскурсии' во внешнюю враждебную среду.
  Моделью морского бункера может служить атомная подводная лодка, обладающая высокой скрытностью, автономностью, маневренностью и устойчивостью к негативным воздействиям. Кроме того, она может легко охлаждаться в океане (проблема охлаждения подземных замкнутых бункеров не проста), добывать из него воду, кислород и даже пищу. Кроме того, уже есть готовые лодки и технические решения. Лодка способна выдержать ударное и радиационное воздействие. Однако ресурс автономного плавания современных подводных лодок составляет в лучшем случае год, и в них нет места для хранения запасов.
  Современная космическая станция МКС могла бы автономно поддерживать жизнь нескольких человек в течение примерно года, хотя встают проблемы автономной посадки и адаптации. Непонятно, может ли некий опасный агент, способный проникнуть во все щели на Земле, рассеяться за столь короткий срок.
  Есть разница между газо- и биоубежищами, которые находятся на поверхности, но разделены на много секций для поддержания режима карантина, и убежищами, которые предназначены для укрытия от мало-мальски разумного противника (в том числе от других людей, которым не досталось место в убежище). В случае биоопасности острова с жёстким карантином могут выступать в качестве убежища, если болезнь не переносится по воздуху.
  Бункер может иметь различные уязвимые точки. Например, в случае биологической угрозы, достаточно ничтожного проникновения. Полностью автономным может быть только высокотехнологичный бункер. Бункеру нужны энергия и кислород. Энергию может дать система на ядерном реакторе, но современные машины вряд ли могут обладать долговечностью более 30-50 лет. Бункер не может быть универсальным - он должен предполагать защиты от определённых, известных заранее видов угроз: радиационной, биологической и т д.
  Чем укреплённее бункер, тем меньшее число бункеров может приготовить человечество, и тем труднее такой бункер будет скрыть. Если после некой катастрофы осталось конечное число бункеров, местоположение которых известно, то вторичная ядерная война может покончить с человечеством через конечное число ударов по известному числу мест.
  Чем крупнее бункер, тем меньше таких бункеров можно построить. Однако любой бункер уязвим к случайному разрушению или заражению. Поэтому конечное число бункеров с определённой вероятностью заражения однозначно определяет максимальное время выживания человечества. Если бункеры связаны между собой торговлей и прочим материальным обменом, то тем вероятнее распространение некоей инфекции между ними. Если бункеры не связаны, то они будут деградировать быстрее. Чем мощнее и дороже бункер, тем труднее его создать незаметно для вероятного противника и тем скорее он станет целью атаки. Чем дешевле бункер, тем менее он долговечен.
  Возможны случайные укрытия - люди, уцелевшие в метро, шахтах, подводных лодках. Они будут страдать от отсутствия центральной власти и борьбы за ресурсы. Люди, истощившие ресурсы в одном бункере, могут предпринимать вооружённые попытки прорваться в другой соседний бункер. Также люди, уцелевшие случайно (или под угрозой нависшей катастрофы), могут атаковать тех, кто заперся в бункере.
  Бункеры будут страдать от необходимости обмена теплом, энергией, водой и воздухом с внешним миром. Чем автономнее бункер, тем меньше он может просуществовать в полной изоляции. Находящиеся глубоко в земле бункеры будут страдать от перегрева. Любые ядерные реакторы и прочие сложные машины будут требовать внешнего охлаждения. Охлаждение внешней водой будет демаскировать их, а иметь источники энергии без потерь в виде тепла - невозможно, тем более, что на глубине и так всегда высокая температура. Рост температуры, по мере углубления в землю, ограничивает предельную глубину залегания бункеров. (Геотермический градиент в среднем составляет 30 градусов/километр. Это означает, что бункеры на глубине больше 1 километра невозможны - или требуют гигантских охлаждающих установок на поверхности, как золотодобывающие шахты в ЮАР. Более глубокие бункеры могут быть во льдах Антарктиды.)
  Чем долговечнее, универсальнее и эффективнее бункер, тем раньше его надо начать строить. Но в этом случае трудно предугадать будущие риски. Например, в 1930-е годы построили много противогазовых бомбоубежищ, которые оказались бесполезны и уязвимы к бомбардировкам тяжёлыми фугасными бомбами.
  Эффективность бункера, который может создать цивилизация, соответствует технологическому уровню развития этой цивилизации. Но это значит, что она обладает и соответствующими средствами уничтожения, а следовательно, ей нужен все более мощный бункер. Чем автономнее и совершеннее бункер (например, оснащённый ИИ, нанороботами и биотехнологиями), тем легче он может, в конце концов, обойтись без людей, дав начало чисто компьютерный цивилизации. Люди из разных бункеров будут соревноваться за то, кто первым выйдет на поверхность, и кто, соответственно, будет ею владеть, - поэтому у них будет искушение осваивать ещё заражённые участки земли.
  Возможны автоматические робототизированные бункеры: в них замороженные человеческие эмбрионы хранятся в неких искусственных матках и через сотни или тысячи лет начинают выращиваться. (Технология заморозки эмбрионов уже есть, а работы по искусственной матке запрещены по соображениям биоэтики, но в принципе такое устройство возможно.) Такие установки с эмбрионами можно отправить в путешествие к другим планетам. Однако, если такие бункеры будут возможны, то Земля вряд ли останется пустой - скорее всего она будет заселена роботами. Кроме того, если человеческий детёныш, воспитанный волками, считает себя волком, то кем будет считать себя человек, воспитанный роботами?
  Итак, идея о выживании в бункерах содержит много подводных камней, которые снижают её полезность и вероятность успеха. Долгосрочные бункеры надо строить многие годы, но они могут устареть за это время, так как ситуация изменяется и неизвестно к чему готовиться. Возможно, что есть ряд мощных бункеров, которые были построены в годы холодной войны. Пределом современных технических возможностей видится бункер порядка 30-летней автономии, однако его надо строить лет десять, и это потребует миллиардов долларов инвестиций.
  Особняком стоят информационные бункеры, которые предназначены, для того, чтобы донести до возможных уцелевших потомков наши знания, технологии и достижения. Например, в Норвегии, на Шпицбергене создали запас образцов семян зерновых с этими целями ("Хранилище семян судного дня" Arctic Doomsday Seed Vault или Global Seed Vault). Возможны варианты с сохранением генетического разнообразия людей с помощью замороженной спермы. Обсуждаются устойчивые к длительному хранению цифровые носители, например, компакт-диски, на которых вытравлен текст, который можно прочесть через лупу. Эти знания могут быть критически важными, чтобы не повторить наших ошибок.
  Возможным местом для убежищ являются астероиды и кометные тела в поясе Койпера, которых насчитываются триллионы штук и внутри которых можно спрятаться.
  Интересный обзор проблемы создания убежищ предлагает Р. Хансен [Hanson 2008].
  Г. Кан, автор книги "О термоядерной войне", считал, что создание бункеров, позволяющих пережить ядерный удар, является провоцирующим действием, так как побуждает ударить до того, как эти бункеры будут построены.
  21.12 Опережающее расселение в космосе
  Есть предположение, что человечество уцелеет, если разделится на части, которые будут быстро заселять космос по отдельности. Например, известный физик С. Хокинг агитирует за создание запасной Земли, чтобы избежать рисков, угрожающих планете . При опережающем расселении ни одно воздействие, осуществлённое в одном месте, не сможет догнать всё человечество. Увы, нет никаких технологических предпосылок для ускоренного расселения человечества в космосе: мы имеем весьма смутные представления о том, как создать звездолёты и, вероятно, не сможем построить их без помощи ИИ и роботизированного производства. А значит, человечество сможет начать заселять космос только после того, как преодолеет все риски, связанные с ИИ и нанотехнологиями, и поэтому космические поселения не могут служить защитой от этих рисков. Кроме того, космические поселения в ближайшем космосе, в пределах Солнечной системы, будут крайне зависимы от земных поставок и уязвимы для обычной ракетной атаки. Даже если человечество начнёт убегать с Земли с околосветовой скоростью на сверхбыстрых звездолётах, это всё равно не обезопасит его. Во-первых, потому что информация всё равно распространяется быстрее, со скоростью света, и если возникнет враждебный ИИ, то он может проникнуть по компьютерным сетям даже в быстро удаляющийся звездолёт. Во-вторых, как бы ни был быстр звездолёт, его может догнать более лёгкий, быстрый и совершенный (поскольку он будет создан позже) беспилотный аппарат. Наконец, любой звездолёт увозит с собой все земные сверхтехнологии и все человеческие недостатки и связанные с ними проблемы.
  Можно использовать METI - то есть отправление сигналов к звёздам, с тем чтобы достичь своего рода бессмертия людей, например, организовав свою SETI-атаку (что, однако, потребует своего развитого ИИ). Или просто отправляя человеческий генокод и знания в надежде, что их кто-нибудь найдёт и нас воскресят.
  Наконец, можно запустить волну из самореплицирующихся зондов фон Неймана - то есть роботов, которые распространяются во Вселенной как растения - с помощью семян. Они могли бы в начале осваивать кометы в облаке Оорта. При этом в программе этих роботов можно намертво зашить генокод человека, с тем чтобы такие роботы стремились воссоздать человека и его культуру на любых доступных небесных телах. Есть мнение, что случайные мутации в роботах и нанотехнологических системах практически невозможны, а значит, такие зонды фон Неймана смогут неограниченно долго сохранять изначальную настройку. С другой стороны, такие роботы будут более ресурсоёмки, чем роботы без дополнительной программы по воссозданию людей, и будут проигрывать им в соревновании по освоению Вселенной. Так как вряд ли будет запущена только одна волна зондов фон Неймана - скорее всего, их будет несколько (если человечество не объединится до того). (См. ещё про зонды фон Неймана далее в главе о парадоксе Ферми.) При этом остановить волну их распространения из центра практически невозможно - так как эти зонды очень малы и не поддерживают радиосвязь с Землёй. Единственный вариант - запустить потом гораздо более быструю волну более эффективных репликаторов, которая заранее поглотит всё твёрдое вещество, пригодное для размножения репликаторов в предыдущей фазе.
  Это можно рассматривать как один из вариантов направленной панспермии. Другой - просто распылять в космосе очень устойчивые живые клетки и споры микроорганизмов, с тем, чтобы жизнь развилась где-нибудь снова, или если Земле будет угрожать опасность.
  Можно описать модель опережающего расселения в космосе с помощью следующей модели, которую я назвал 'Саморазмножение против саморазрушения'.
  Основной защитой от гибели отдельных организмов и видов в живой природе является их способности к саморепликации и распространению по всё большему пространству. Текущее развитие технологий приводит к тому, что всё больший уровень опасности концентрируется в пределах Земли, в то время как экспансия за пределы Земли почти не происходит.
  Однако эта ситуация изменится после ожидаемого в будущем открытия молекулярного производства, которое сделает возможным создание роботов-репликаторов, могущих размножаться в космосе (на поверхностях планет и астероидов). После этого они смогут довольно быстро заполнить Солнечную систему (за время от нескольких дней до нескольких лет в зависимости от сценария экспансии - если будет соревнование между несколькими державами за владение Солнечной системой, то в этом случае они будут стремиться разослать своих роботов-заселенцев как можно быстрее и как можно дальше).
  По мере того как Солнечная система будет заполняться, отношение энергии разрушения к заселённому объёму радикально изменится. Пространство будет преобладать, и тотальное уничтожение станет практически невозможным (за одни исключением).
  Исключение это состоит в гипотетической возможности термоядерной детонации Юпитера или другой планеты Солнечной системы, содержащей достаточно дейтерия. Возможно, в недрах этих планет есть слои, достаточно обогащённые дейтерием для детонации. Однако, скорее, этот дейтерий должен быть дополнительно сконцентрирован, что можно сделать, незаметно отправив внутрь планеты-гиганта саморазмножающихся роботов, способных осуществлять сепарацию дейтерия. Взрыв планеты-гиганта приведёт к срыву нескольких десятков метров поверхности Земли и стерилизации поверхностей других небесных тел.
  Однако его, вероятно, будет недостаточно, чтобы уничтожить всех роботов-репликаторов в Солнечной системе, так как они могут находится в тысячах километрах под поверхностью в глубине других планет-гигантов и под поверхностью астероидов или на достаточном удалении от Солнечной системы в облаке Оорта и даже на пути к другим звёздам.
  По мере распространения ударной волны роботов-репликаторов к внешним областям Солнечной системы и к ближайшим звёздам, а также по мере технологического освоения всё более быстрых средств транспорта, объём, заполненный возникшим на Земле разумом, будет возрастать, а шансы на его уничтожение - падать.
  Разумеется, он может нести, а может и не нести на себе элементы человеческого разума - например, генокод или симуляции. Разлетающиеся в разные стороны роботы-репликаторы не будут иметь физической власти друг над другом, поскольку для этого им бы потребовалась уметь путешествовать со скоростью, в два раза превосходящую скорость их разлёта - но если такой способ будет найден, то и скорость разлёта увеличится. Если они были запущены из одного источника, они могут сохранять управляемость. Устаревшие модели репликаторов, если они не объединены с ИИ, могут быть обогнаны (и уничтожены) более новыми моделями, созданными в интеллектуальном центре Солнечной системы (не обязательно это будет Земля).
  Конечно, это не гарантирует безопасность от всех рисков, ведь фазовый переход вакуума, отключение симуляции, столкновение с враждебными инопланетянами действуют на очень большой объём пространства. Также искусственная детонация Солнца, если она окажется возможной, могла бы уничтожить всех разлетающихся роботов-репликаторов на расстоянии до светового года.
  Наше рассуждение основывается на том, что способность заселять объём (определяемая скоростью расселения) растёт быстрее, чем способность выделять энергию в одной точке (или ещё как-то на весь этот объём одновременно и сильно воздействовать.) Однако при этом надо допускать, что пропорционально скоростям распространения и репликации будут расти и способности выделять энергию, причём непредсказуемыми для нас сейчас способами (например, с помощью создания искусственных чёрных дыр и новых вселенных.)
  Кроме того, плотность материи падает по мере удаления от Солнца, что замедляет экспансию, связанную с репликацией. Даже несколько удаляющихся с очень большой скоростью космических кораблей можно уничтожить, послав им вдогонку сконцентрированные лучи солнечного света: если всё Солнце обернуть сферой Дайсона из зеркал или лазеров, которая затем сможет направлять узко сфокусированный луч в одном направлении.
  Большие корабли с людьми в любой космической войне будут слабыми и уязвимыми целями. Равно как и сама планета Земля.
  Интересно отметить, что техническая возможность отправить межзвёздный корабль-ковчег появилась ещё в 1960-е годы, и базируется на концепции 'взрыволёта' Улама. Этот взрыволёт использует энергию ядерных взрывов для движения вперёд. Детальные расчеты были выполнены в рамках проекта 'Орион'. В 1968 году Ф. Дайсон опубликовал статью 'Межзвездный транспорт' , в которой произвёл верхнюю и нижнюю оценку реализуемости проекта. В консервативном (то есть не предполагающем никаких технических свершений) оценка стоимости - 1 ВВП США (600 млрд. долларов США на момент написания статьи), стартовая масса звездолёта - 40 млн. тонн (из них 5 млн. тонн полезной нагрузки), время полёта до Альфы Центавра - 1200 лет. В более продвинутом варианте - стоимость составляет 0,1 ВВП США, время полёта - 120 лет, стартовая масса 150 тыс. тонн (из них 50 тыс. тонн полезной нагрузки). В принципе, используя двухступенчатую схему, более совершенные термоядерные бомбы и отражатели, можно сократить время полёта до ближайшей звезды до 40 лет.
  Конечно, экипаж звездолёта обречён на вымирание, если они не обнаружат обитаемую и пригодную для жизни человека планету в ближайшей звёздной системе, а шансы на это крайне малы. Другой вариант состоит в том, что он будет колонизировать необитаемые планеты. Однако в 1980 году Фрейтас предложил проект освоения Луны с помощью самовоспроизводящейся фабрики , исходная масса которой составляет 100 тонн, но для управления которой необходим искусственный интеллект. Искусственного интеллекта пока нет, но управление такой фабрикой могли бы осуществлять люди. Основной вопрос состоит в том, какое количество технологий и массу оборудования следует забросить на подобную Луне необитаемую планету, чтобы люди могли создать на ней полностью самоподдерживающуюся и растущую цивилизацию. Речь идёт о создании чего-то вроде обитаемого зонда фон Неймана. Современное самоподдерживающееся государство включает в себя по крайней мере несколько миллионов человек (Израиль), и на каждого приходятся сотни тонн оборудования, в основном в виде домов, дорог. Вес станков значительно меньше. Это дат верхнюю оценку способной к саморепликации человеческой колонии в 1 млрд тонн. Нижняя оценка - это примерно 100 человек, на каждого из которых приходится примерно 100 тонн (в основном еды и жилья), то есть 10 000 тонн массы. Реалистичная оценка должна быть где-то посередине и наверное составляет десятки миллионов тонн. Всё это в предположении, что никакие чудесные нанотехнологии пока не открыты.
  Преимущество звездолёта в том, что это неспецифическая реакция на сонм разных угроз с неопределимыми вероятностями. Если возникла некая конкретная угроза (астероид, эпидемия), то тут лучше тратить средства на ее устранение.
  Таким образом, если бы такое решение в 60-е годы было принято, уже сейчас такой корабль мог бы быть в пути. Если отвлечься от технической стороны вопроса, тут возникает несколько развилок, касающихся стратегии создания такого звездолёта.
  1. Чем раньше такой проект будет начат, тем менее технически совершенным он будет, тем меньше его шансы на успех и выше стоимость. Но чем позже он будет начат, тем больше шансы, что его не успеют завершить до глобальной катастрофы.
  2. Чем позже проект стартует, тем больше шансов, что он возьмёт 'болезни' родной цивилизации с собой.
  3. Проект создания звездолёта может привести и к развитию технологий, угрожающих самой цивилизации. Взрыволёт использует как топливо сотни тысяч водородных бомб. Поэтому он может или использоваться как оружие, или другая сторона может бояться этого, и принимать ответные меры. Кроме того, звездолёт может развернуться и врезаться в Землю, как звёздный молот - или этого могут опасаться. При создании звездолёта возможна техногенная авария с огромными последствиями, в максимальном случае равная детонации всех бомб на борту. Если проект реализует одна из стран, то в случае войны не попытается ли другая страна сбить уже стартовавший звездолёт?
  4. Звездолёт является средством защиты от Машины Судного дня. Поэтому создатели такой машины могут воспринимать его как угрозу своему могуществу.
  5. Следует ли реализовать один более дорогой проект или несколько более дешёвых?
  6. Может быть достаточно ограничится колонизацией Луны, Марса, спутников Юпитера или объектов в поясе Койпера? По крайней мере это могут быть запасные варианты, на которых можно проверить технологии создания автономных поселений.
  7. Чем раньше звездолёт стартует, тем меньше известно об экзопланетах. Насколько далеко и с какой скоростью нужно лететь, чтобы быть в относительной безопасности?
  8. Сможет ли звездолёт как-либо маскировать себя, чтобы на Земле не знали, где он находится, и надо ли это делать. Должен ли вообще звездолёт поддерживать связь с Землёй? Или есть риск атаки враждебного ИИ в этом случае?
  9. Не приведёт ли создание таких проектов к обострению гонки вооружений, к преждевременному исчерпанию ресурсов и другим нежелательным исходам? Создание чистых водородных бомб упростит создание такого звездолёта или во всяком случае удешевит. Но одновременно и увеличит глобальные риски, так как ядерное нераспространение потерпит полный провал.
  10. Не будет ли Земля в будущем конкурировать со своими независимыми колониями не приведёт ли это к звёздной войне?
  11. Если корабль улетает достаточно медленно, то возможно ли его уничтожить с Земли, догнав или лучевым воздействием?
  12. Увеличит ли эта миссия реальные шансы на выживание людей? Улетевшие скорее всего погибнут, так как шанс успеха миссии - от силы процентов 10. Оставшиеся же могут начать себя вести более рискованно, руководствуясь логикой в духе: "Раз у нас есть теперь защита от глобальных рисков, то теперь мы можем провести опасный эксперимент". Сейчас есть страх: мы должны беречь Землю, это единственный очаг разума во вселенной, а вот когда у нас будет ковчег, то теперь мы не будем чувствовать этого страха, и будем беречь свой "очаг" немного слабее. То есть в результате реализации проекта суммарная вероятность выживания снизится.
  13. Каковы шансы на то, что в его компьютерную сеть загрузят вирус, если он будет поддерживать связь с Землёй? А если не будет, это снизит шансы на успех. Возможна и конкуренция за близкие звезды, и ее выиграют более поздние и более быстрые аппараты. В конце концов близких звезд на расстоянии порядка 5 световых лет мало - Альфа Центавра, звезда Барнарда, и за них может начаться конкуренция. Возможно также существование тёмных одиноких планет или крупных астероидов, не имеющих своих звёзд. Их плотность в окружающем пространстве может в 10 раз превышать плотность звёзд, но обнаружить их крайне сложно. Если у звезды вообще нет спутников хотя бы размером с крупную комету, то Ковчег-репликатор обречён на гибель. Звезда Барнарда, кроме того, склонна к интенсивным 'солнечным вспышкам', которые могут погубить экспедицию.
  14. Звездолёт не защитит людей от враждебного ИИ, который найдёт способ его догнать. Также в случае войны звездолёты могут быть престижными и легко уязвимыми целями - непилотируемая ракета всегда будет быстрее звездолёта. Если ковчеги направляются к нескольким ближайшим звёздам, то это не обеспечит их скрытности, поскольку пункт назначения будет известен заранее. Фазовый переход вакуума, взрыв Солнца или другое вызванное человеком высокоэнергетическое событие также может уничтожить звездолёт.
  15. Однако звездолёт является излишней защитой от многих других рисков, которые не требуют такого удаления. От почти любой пандемии можно спрятаться на хорошо изолированном острове в океане. От серой слизи, астероида, супервулкана, необратимого глобального потепления можно укрыться на Луне. Проблемы генетической деградации, склонности к насилию и саморазрушению, а также проблемы, связанные с ограниченностью человеческого кругозора, такой звездолёт унесёт с собой. Звездолёт только отяготит проблемы истощения ресурсов, а также войн и гонки вооружений. Таким образом, множество глобальных рисков, от которых звездолёт оказывается оптимальной защитой, оказывается довольно узким.
  16. И самое главное: имеет ли смысл сейчас начинать такой проект? Всё равно он не успеет завершится до того, как станут реальны и новые риски, и новые способы создания звездолётов с помощью нанотеха.
  
  21.13 'Всё как-нибудь обойдётся'
  Эта позиция по предотвращению глобальных рисков основывается на вере во врождённую устойчивость систем и на иррациональной концепции решения проблем по мере их поступления. Она содержит в себе несколько явных и неявных допущений и логических ошибок, в духе 'авось, пронесёт'. Собственно, этой позиции и придерживаются правительства разных стран, которые решают проблемы только после того, как они стали очевидны. Если сформулировать эту позицию в духе военной доктрины США, она будет звучать так: анализируя и предотвращая все риски по мере их поступления, мы создадим систему контроля каждого конкретного риска, дающую качественное и количественное преобладание над каждым источником риска на каждой фазе его существования.
  Однако уже сегодня в современной технологической ситуации мы не можем рассматривать риски 'по мере их поступления', поскольку не знаем, где искать, и поскольку риски могут актуализироваться быстрее, чем мы успеем их обдумать и приготовиться к ним. Именно поэтому я стараюсь расширить горизонт прогноза, рассматривая гипотетические и вероятные технологии, которые ещё не созданы, но вполне могут быть созданы, исходя из текущих тенденций.
  Другой вариант - картина будущего, называемая 'устойчивое развитие' (sustainable development). Однако это не прогноз, а проект. Он основывается на предположении, что технологии достаточно разовьются, чтобы помочь нам преодолеть энергетический и прочие кризисы, но всё же при этом технологии не породят новых невероятных и рискованных возможностей. Вероятность такого исхода событий невелика.
  21.14 Деградация цивилизации до уровня устойчивого состояния
  Некоторые надеются, что угрозы глобальных катастроф развеются сами собой, когда человечество из-за нехватки ресурсов или в силу предыдущих катастроф в той или иной степени деградирует. Такая деградация сопряжена с трудностями, потому что пока не разворованы все запасы, оставшиеся от цивилизации, и не израсходовано всё оружие, нет никакой выгоды заниматься примитивным сельским хозяйством - гораздо проще грабить соседей. Конкуренция между уцелевшими обществами неизбежно приведёт к новому росту вооружений и технологий, как бы это идеологически ни подавлялось, и через несколько сотен лет цивилизация вернётся на современный уровень, а значит, воскресит и все свои проблемы. Или наоборот, деградирует в направлении к ещё более примитивным формам и вымрет.
  21.15 Предотвращение одной катастрофы с помощью другой
  Теоретически возможны следующие примеры взаимной нейтрализации опасных технологий и катастроф:
  1. Ядерная война останавливает развитие технологий вообще.
  2. Тотальный ИИ предотвращает биотерроризм.
  3. Биотерроризм делает невозможным развитие ИИ
  4. Ядерная зима предотвращает глобальное потепление.
  Суть в том, что крупная катастрофа делает невозможной глобальную, отбрасывая человечество на несколько эволюционных ступеней назад. Это возможно в том случае, если мы входим в длительный период высокой вероятности крупных катастроф, но малой вероятности глобальных катастроф. В некотором смысле со второй половине ХХ века мы находимся в этом периоде. Тем не менее это не помешало нам успешно приблизится к тому моменту, когда до создания многих средств глобального всеобщего уничтожения остались, возможно, десятки лет.
  Было бы в каком-то смысле 'приятно' доказать теорему, что глобальная катастрофа невозможна, потому что к ней не дадут приблизиться очень крупные катастрофы. Однако эта теорема носила бы исключительно вероятностный характер, так как некоторые опасные сверхтехнологии могут появиться в любой момент, особенно ИИ.
  Кроме того, любая большая авария (но меньшая отбрасывающей назад катастрофы) повышает осознанность людей в отношении рисков. Хотя здесь возникает определённый стереотип: ожидание повторения точно такого же риска.
  21.16 Опережающая эволюция человека
  Ещё одной идеей, которая даёт принципиальную надежду на выживание, является идея о том, что процессы киборгизации человека будут идти быстрее, чем процессы создания опасных вооружений. Например, если заменить большинство органов человеческого тела их механическими аналогами, то человек станет неуязвимым к действию биологического оружия. Загрузка сознания в компьютер сделает человека вообще независимым от судьбы своего тела, поскольку возможно резервное копирование информации, причём эти компьютеры могут быть размером с пылинку и могут прятаться в поясе астероидов. В этом случае только полное физическое уничтожение Солнечной системы и её окрестностей приведёт к уничтожению таких 'сверхлюдей'. Однако в какой мере такие устройства будут именно людьми, а не разновидностями искусственного интеллекта, сказать трудно. Кроме того, этот сценарий, хотя и возможен теоретически, но не настолько вероятен, чтобы можно было на него рассчитывать. Наконец, он может просто не успевать во времени, так как создание оружия гораздо проще, чем киборгизация человека.
  Другой момент состоит в том, что киборгизация открывает новые риски, связанные с поражением искусственных частей человеческого тела компьютерными вирусами. Первым событием такого рода стала недавно осуществлённая (в демонстрационных целях экспертами по безопасности) атака на кардиостимулятор с управлением по радиоканалу, в ходе которой он был перепрограммирован на другой режим работы, что потенциально могло бы привести к смерти пациента, если бы эксперимент осуществлялся на живом человеке. Будущий киборгизированный человек будет содержать тысячи дистанционно управляемых медицинских устройств.
  21.17 Возможная роль международных организаций в предотвращении глобальной катастрофы
  Мы не знаем определённо, кто именно должен заниматься предотвращением глобальных катастроф. Хуже того, вероятно есть много организаций и частных лиц, готовых этим заняться, - кто против того, чтобы стать спасителем мира? (Однако ещё пару лет назад в мире не было ни одного человека, который бы работал именно над темой предотвращения глобальной катастрофы как междисциплинарной проблемой и получал бы за это зарплату.) Перечислим разные 'функциональные жанры' организаций, которые могли бы отвечать за предотвращение рисков глобальной катастрофы.
  1) 'ООН'. Главы мировых правительств вместе решают, как справиться с рисками. Так сейчас борются с потеплением, но все участники дискуссии договориться не могут. В результате принимается самое слабое и компромиссное решение. Государства не готовы передать свою власть в ООН.
  2) 'Мировое правительство'. Проблема состоит в самой возможности его образования. Процесс создания мирового правительства чреват войной, что само по себе создаёт глобальный риск. Кроме того, такое правительство не может быть нейтральным. С точки зрения одних групп оно будет выразителем интересов других групп. Оно будет или слабым, или тоталитарным. Тоталитарное правительство породит Сопротивление, борьба с этим Сопротивлением чревата огромными терактами и создаёт новые глобальные риски.
  3) Спецслужбы, которые тайно противостоят глобальным рискам. Так борются с террористами. Проблемы: секретность ведёт к утрате информации. Возникает конкуренция спецслужб. Возможна путаница национальных и общечеловеческих интересов - так как спецслужбы служат своему государству, а не людям вообще. Спецслужбы в силу своей специфики не заточены на масштабное долгосрочное видение комплексных проблем и не могут самостоятельно оценить, не привлекая сторонних экспертов, риски ещё не существующих технологий.
  4) Тайные группы частных лиц. Возможно, что некая тайная частная организация поставит своей целью облагодетельствовать всё человечество. Однако промежуточный этап - это создание своего (возможно, тайного) мирового правительства. Проблемы: конкуренция спасателей (так как таких тайных организаций может быть много, а методы и картины мира у всех у них разные), необходимость перехода к пункту 'мировое правительство'. Неприятие заговоров в обществе и противодействие им со стороны спецслужб. Смешение личных и общих целей. Даже Бен Ладен думает, что именно его 'всемирный халифат' будет спасением человечества от механистичного и эгоистичного Запада. Частные группы по созданию сильного ИИ также могут понимать, что получат в свои руки абсолютное оружие, и иметь планы по его применению для захвата власти над миром. В любом случае, тайное общество очень часто подразумевает наличие планируемой стадии 'мятежа' - явного или неявного установления власти и влияния на весь мир, путём проникновения или прямого захвата. И, разумеется, здесь оно сталкивается с конкуренцией других таких обществ, а также противодействием общества и спецслужб.
  5) Открытая дискуссия и самоорганизация в обществе. Некоторые авторы, например, Д. Брин [Brin 2006], считают, что альтернативой тайным организациям и правительственным проектам в деле предотвращения глобальных рисков была бы самоорганизация ответственных граждан, которая привела бы к созданию того, что по-английски называется Reciprocal accountability - взаимная подотчётность, когда действия контролирующих служб доступны контролю тех, кого они контролируют. Проблемы такого подхода очевидны: власть общества не велика, и нет единого всемирного общества, способного договориться, - а если эти меры принять только в одной стране они не будут эффективны. И должен быть некий орган, на который эти дискуссии воздействуют. Кроме того, поскольку даже небольшая группа людей способна тайно создать угрозу существованию, то просто слежения за соседями недостаточно. В настоящий момент уже формируется сеть открытых общественных организаций, изучающих проблемы глобальных рисков и финансирующих исследования по их предотвращению, - это Lifeboat Foundation, Центр по ответственным Нанотехнологиям (CRN), Альянс по спасению цивилизации, Сингулярити Институт (SIAI), Future of Humanity Institute в Оксфорде. Большинство этих организаций базируются в США, бюджет их менее миллиона долларов у каждой, что очень мало, и финансируются они на частные пожертвования. Соответственно, результат их деятельности к настоящему моменту - только публикация статей и обсуждение вариантов. Кроме того, Сингулярити институт непосредственно занимается разработкой дружественного ИИ. Эти организации обмениваются информацией, ресурсами и сотрудниками. С другой стороны, практическое влияние разных благотворительных фондов на общество крайне мало. Гораздо больше средств и внимания получают фонды, которые занимаются менее значительными проблемами, чем спасение человечества. В России благотворительные фонды скомпрометированы подозрениями в связях или с мафией, или с иностранными спецслужбами. Наилучшим примером воздействия общества на правителей является чтение правителями книг, хотя это и не всегда помогало. Президент Кеннеди избежал войны в ходе Карибского кризиса в значительной мере потому, что увлекался в этот момент книгой Барбары Такман 'Август 1914' о начале Первой Мировой войны, где показано, как война началась вопреки воле и интересам сторон. Исследования К. Сагана и Н. Моисеева о ядерной зиме подтолкнули, возможно, СССР и США к разоружению. Будущие президенты в любом случае формируются в некой культурной среде и несут наверх почерпнутые в ней идеи. Изменение среднего уровня понимания, создание информационного фона вполне может приводить к тому, что правители косвенно впитают некие идеи. Ведь не из воздуха возникла сейчас программа по нанотехнологиям в России! Кто-то где-то о них прочитал и подумал.
  6) Не мешать системе самонастроиться. Возможно, что борьба между разными 'спасителями мира' окажется хуже, чем полное бездействие. Однако такую стратегию реализовать невозможно, так как она требует единодушного согласия - чего никогда не бывает. Всегда найдётся несколько спасителей мира, и им придётся выяснять, кто среди них главный.
  Вопрос даже не в том, чтобы возникла организация, которая может и хочет предотвращать глобальные риски, а в том, чтобы страны мира целиком делегировали ей такие полномочия, что кажется гораздо менее вероятным. Позитивным и очень показательным примером является то, что человечество проявило способность объединяться перед лицом явной и понятной опасности в разного рода антифашистские и антитеррористические коалиции и достаточно эффективно действовать, пока цель являлась весомой, общей и понятной.
  21.18 Бесконечность Вселенной и вопрос об окончательности человеческого вымирания
  Вполне материалистическим является предположение о бесконечности Вселенной. Если это так, то можно ожидать, что в ней возникают или уже существуют все возможные миры. В том числе в ней бесконечно много миров, населённых разумной жизнью, а значит, разум во Вселенной не исчезнет вместе с человеком. Более того, из этого следует, что даже в случае человеческого вымирания когда-нибудь и где-нибудь возникнет мир, почти не отличающийся от Земли, и в нём возникнут существа с тем же генетическим кодом, что и у людей. Из этого следует, что люди вообще никогда не смогут исчезнуть из Вселенной, как не может, например, исчезнуть из неё, число 137 (поскольку, грубо говоря, весь генокод человека можно представить в виде одного очень длинного числа). Среди физических теорий, предполагающих множественность миров, следует выделить концепцию Мультверса Эверетта (суть которой состоит в принятии той интерпретации квантовой механики, которая подразумевает разделение мира при каждой возможности выбора, а следовательно, бесконечное ветвление вариантов будущего), а также ряд других теорий (например, космологическую хаотическую инфляцию). Подробные доказательства актуальной бесконечности Вселенной см. в статье Макса Тегмарка 'Параллельные Вселенные' [Тегмарк 2003]. Подробнее о философских приложениях теории космологической инфляции см. статью Кноба, Олума и Виленкина 'Философские последствия инфляционной космологии' [Knobe, Olum, Vilenkin 2006].
  Более сильным следствием из этих теорий является предположение о том, что реализуются все возможные варианты будущего. В этом случае окончательная глобальная катастрофа становится невозможным событием, так как всегда найдётся мир, в котором она не произошла. Впервые это отметил сам Эверетт, придя к выводу, что Мультиверс (то есть актуальная реальность всех возможных квантовых альтернатив) означает личное бессмертие для человека, поскольку, от какой бы он причины ни погиб, всегда найдётся вариант Вселенной, в котором он не погиб в этот момент. Известный физик М. Тегмарк проиллюстрировал эту идею мысленным экспериментом о квантовом самоубийстве [Tegmark 1998]. Затем эту идею развил Дж. Хигго в статье 'Означает ли многомирная интерпретация квантовой механики бессмертие' [Higgo 1998]. В моих комментариях к переводу статьи Хигго я пишу, что истинность теории о Мультверсе не является необходимым условием для истинности теории о бессмертии, связанном с множественностью миров. Для истинности многомирного бессмертия достаточно только бесконечности Вселенной. То есть эта теория о многомирном бессмертии работает и для неквантовых конечных автоматов: для любого конечного существа в бесконечной Вселенной найдётся точно такое же существо, которое пройдёт точно такой же жизненный путь, за исключением того, что не умрёт в последний момент. Но это вовсе не означает прекрасного и приятного бессмертия, поскольку альтернативой смерти может быть тяжёлое ранение.
  Точно такое же рассуждение можно применить и ко всей цивилизации. Всегда найдётся вариант будущего, в котором человеческая цивилизация не вымирает, и если все возможные варианты будущего существуют, то это означает бессмертие нашей цивилизации. Однако это не значит, что нам гарантировано процветание. Иначе говоря, если доказать неуничтожимость наблюдателя, то из этого следует, что должна существовать некая поддерживающая его цивилизация, однако для этого достаточно одного бункера со всем необходимым, а не процветающего человечества.
  Можно сделать исполнитель желания на многомирном бессмертии, делающий любой риск невозможным: в случае начала глобальной катастрофы 'я' автоматически мгновенно уничтожаюсь. Поскольку у каждого это 'я' своё, то уничтожать нужно каждого. Таким образом, катастрофа уничтожается с помощью катастрофы, прямо как в Теории Решения Изобретательских Задач Альтшуллера. Но я бы не рекомендовал такой способ.
  Крупный американский физик-космолог Ли Смолин полагает (согласно личному сообщению Данилы Медведева), что глобальная катастрофа невозможна, исходя из следующих рассуждений: В мультиверсе преобладают те вселенные, которые способны к саморепликации. Эта саморепликация происходит в чёрных дырах, причём в тех чёрных дырах, которые создаются цивилизациями. Таким образом, параметры вселенной подбираются так, чтобы цивилизации не могли самоуничтожиться. В результате все физические процессы, в которых цивилизация может самоуничтожиться, оказываются закрытыми или маловероятными. Мне это рассуждение не кажется убедительным, поскольку отбор может работать как в сторону вселенных с более живучими цивилизациями, так и в сторону вселенных с большим числом цивилизаций, точно также как и биологическая эволюция работает как в сторону более живучих потомков у одних видов (млекопитающие), так и в сторону большего числа потомков с меньшей живучестью (растения, например, одуванчик). Поскольку некоторые параметры развития цивилизаций крайне трудно отрегулировать базовыми законами природы (например, шансы начала ядерной войны или создания недружественного ИИ), но зато легко отрегулировать число возникающих цивилизаций, то мне кажется, что вселенные, если и реплицируются с помощью цивилизаций, то будут использовать стратегию одуванчиков, а не стратегию млекопитающих. Однако всё же некоторое давление в стороны сохранения цивилизация может быть. А именно, если бы атомную бомбу было бы так просто создать как динамит (что зависит от количеству урана и его химических и ядерных свойств, то есть определено изначально базовыми законами вселенной), то тогда бы шансы на выживание среднестатистической цивилизации были бы меньше. Если гипотеза Смолина верна, то мы можем встретить непреодолимые трудности в создании нанороботов, микроэлектроники, необходимой для мощного ИИ, опасных экспериментов на ускорителях с стрейнджлетами (за исключением тех, которые ведут к созданию новых вселенных) и ряде других потенциально опасных направлениях развития технологий, которые зависят в своём успехе от базовых свойств вселенной, которые могут проявляться в особенностях ее химии.
  Кроме того, отбор вселенных по Смолину ведёт к тому, что она должна как можно раньше в своём развитии создать чёрную дыру, приводящую к репликации вселенных, так как, чем позже это произойдёт, тем больше шансы на то, что цивилизация самоуничтожится до этого момента. Кроме того, цивилизация не обязана выживать в момент 'репликации' (хотя это может быть полезно для отбора, если она создаст много чёрных дыр в ходе своего длительного существования.) Из этих двух моментов следует, что, возможно, мы недооцениваем риски адронного коллайдера в отношении создания чёрных дыр. Повторюсь: ранее создание чёрной дыры, уничтожающий материнскую цивилизацию, очень соответствует ситуации с адронным коллайдером. Коллайдер является крайне ранней возможностью для нас создать чёрную дыру, по сравнению с другой возможностью - стать сверх-цивилизацией и научиться соединять звёзды с тем, чтобы они коллапсировали в чёрные дыры. На это потребуется миллионы лет и шансы дожить до этой стадии гораздо меньше. Однако создание чёрной дыры в коллайдере с высокой вероятностью означает гибель нашей цивилизации (но не обязательно: она может расти крайне медленно в недрах Земли, например, миллионы лет, и мы успеем покинуть землю; это зависит от неизвестных нам физических условий.) При этом такая дыра должна обладать некой особенностью, отличающей ее от прочих дыр, возникающих в нашей вселенной, например, мощным магнитным полем (есть в коллайдере) или уникальной начальной массой (в коллайдере сталкиваются уникальные частицы, например, ионы золота).
  Мы вовсе не обязаны участвовать в процессе репликации вселенных по Смолину, если он вообще происходит, особенно если это равносильно смерти материнской цивилизации. Если мы продолжим нашу жизнь без чёрных дыр, это никак не изменит суммарное число возникших вселенных, так как оно бесконечно.
  
  21.19 Предположения о том, что мы живём в 'Матрице'
  Основы научного анализа этой проблемы заложены Ником Бостромом в его статье 'Рассуждение о симуляции' [Bostrom 2003]. Многие религиозные концепции можно сделать наукообразными, введя предположение, что мы живём в симулированном мире, возможно, созданном внутри сверхкомпьютера силами некой сверхцивилизации. Опровергнуть то, что мы живём в матрице, невозможно, но это можно было бы доказать, если бы в нашем мире появились некие невероятные чудеса, несовместимые с какими бы то ни было физическими законами (например, в небе бы возникла надпись из сверхновых звёзд).
  Однако есть концепция, что может произойти глобальная катастрофа, если хозяева этой симуляции внезапно её выключат (Бостром). Можно показать, что в этом случае вступают в действие аргументы, описанные в статье Дж. Хигго о многомирном бессмертии, а именно, то, что мы живём в Матрице, вероятно только в том случае, если множество возможных симуляций очень велико. Это делает вероятным существование значительного количества совершенно одинаковых симуляций. Уничтожение одной из копий никак не влияет на ход самой симуляции, также как сожжение одного из экземпляров романа 'Война и мир' не влияет на отношения персонажей. (При этом никакие аргументы о душе, непрерывности сознания и других некопируемых факторах не работают, так как обычно предполагается, что 'самосознание' в симуляции вообще невозможно.)
  Следовательно, никакой угрозы полное выключение симуляции не представляет. Однако если мы всё же живём в симуляции, то хозяева симуляции могут подкинуть нам некую маловероятную природную проблему, хотя бы для того, чтобы просчитать наше поведение в условиях кризиса. Например, изучить, как цивилизации ведут себя в случае извержения сверхвулканов. (А любая сверхцивилизация будет заинтересована в просчитывании разных вариантов своего предыдущего развития, например, чтобы оценить частоту распространённости цивилизаций во Вселенной.) При этом можно предположить, что крайние узловые события будут чаще становиться объектами моделирования, особенно моменты, когда развитие могло полностью прекратиться, то есть глобальные риски. (А мы как раз живём в районе такого события, что, по байесовой логике, повышает вероятность гипотезы о том, что мы живём в симуляции.) Иначе говоря, в симуляциях гораздо чаще будут встречаться ситуации глобального риска. (Точно также в кино гораздо чаще показывают взрывы, чем мы видим их в реальности.) А значит, это увеличивает наши шансы столкнуться с ситуацией, близкой к глобальной катастрофе. При этом, поскольку сама глобальная катастрофа в мире симуляций невозможна, ибо всегда найдутся симуляции, где 'главные герои не умирают', то здесь наиболее вероятным сценарием будет выживание горстки людей после очень большой катастрофы. К вопросу о рассуждении о симуляции Бострома мы ещё вернёмся далее.
  Отдельно следует задаться вопросом о том, живём ли мы в дорогостоящей подробной симуляции, или в дешёвой симуляции. Из тех же статистических соображений следует, что число дешёвых симуляций больше, и вероятнее, что мы находимся в одной из них. В дешёвых симуляциях более вероятны вирусы и глюки, которые могут принять форму катастроф для жителей.
  Иногда высказываются надежды, что если человечество приблизится к грани самоуничтожения, то 'добрые инопланетяне', которые будто бы давно за нами следят, нас спасут. Но на это не больше надежд, чем у ягнёнка, которого пожирают львы, - на то, что его спасут люди, снимающие об этом документальный фильм.
  21.20 Глобальные катастрофы и устройство общества
  Если глобальная катастрофа произойдёт, то она уничтожит любое общество. Поэтому устройство общества имеет значение только на фазе предотвращения рисков. Можно попытаться себе представить, хотя этот образ и будет весьма утопичным, какое общество лучше всего способно предотвращать глобальные катастрофы:
  1. Это общество, которое имеет один и только один центр управления, обладающий полнотой власти и высоким авторитетом. Однако при этом должна быть некая обратная связь, не позволяющая ему превратиться в самодостаточную и эгоистичную диктатуру. Это общество должно обладать такой саморегуляцией, чтобы в нём не могло возникать, а в случае возникновения сразу бы обнаруживалось любое опасное (с точки зрения рисков глобальных катастроф) поведение или явление. (Примером такого общества могла бы быть сплочённая команда корабля.)
  2. Это общество, которое нацелено на своё выживание в длительной исторической перспективе (десятки и сотни лет).
  3. Подавляющее большинство людей должно осознавать и принимать цели и устройство этого общества, то есть иметь 'высокий моральный уровень'. (С учётом того, что даже небольшая группа террористов сможет нанести в будущем непоправимый ущерб, уровень поддержки должен быть близок к 100 %, что, конечно, на практике не реализуемо.)
  4. Это общество, руководимое людьми (или системами ИИ), достаточно интеллектуально подготовленными, чтобы правильно учитывать риски, которые могут возникнуть через годы и десятилетия. Соответственно, в этом обществе люди получают фундаментальное образование, дающее целостное и всеобъемлющее, а не поверхностное видение мира.
  5. Это общество, в котором сведено к нулю число конфликтов, участники которых могут захотеть использовать оружие судного дня.
  6. Это общество, могущее осуществлять полный жёсткий контроль деятельности всех групп лиц, которые могут создавать глобальные риски. Однако этот контроль не должен сам неким образом превращаться в инструмент создания риска.
  7. Это общество должно быть готово быстро и эффективно принять достаточные для его предотвращения меры против любого глобального риска.
  8. Это общество должно вкладывать значительные ресурсы в создание разного рода бункеров, космических поселений и т. д. Фактически это общество должно рассматривать своё выживание как главную задачу.
  9. Это общество должно осознанно создавать новые технологии в выбранном им правильном порядке в специально отведённых местах. Оно должно быть готово отказаться даже от очень интересных технологий, если неспособно точно контролировать или хотя бы измерить их риск.
  10. Это общество должно возникнуть без мировой войны, так как иначе риск в процессе его возникновения перевесит пользу от такого общества.
  При этом я не обсуждаю модель подобного общества в терминах 'демократическое', 'рыночное', 'коммунистическое', 'тоталитарное' и др. - я полагаю, что эти термины применимы к обществу ХХ века, но не XXI века. Но кажется очевидным, что современное общество стоит крайне далеко от всех этих параметров способного к выживанию общества:
  1. На Земле нет единого общепризнанного авторитетного центра власти, но есть много желающих за него побороться. Обратная связь в виде выборов и свободы слова слишком эфемерна, чтобы реально влиять на решения, тем более в глобальном масштабе. Единые мировые институты, вроде ООН, переживают кризис.
  2. Большинство людей действует в своих личных интересах или интересах своих групп, даже если речь идёт на словах об общечеловеческих интересах. Людей очень много, и есть те, кто не против или даже стремятся к тотальному разрушению. Также внутри общества распространяются конкурирующие идеи-мемы, которые взаимоисключают друг друга: разного рода национализм, исламизм, антиглобализм, цинизм. Современное общество в значительно большей степени настроено на получение благ в краткосрочной перспективе, чем на выживание в долгосрочной.
  3. Исходя из действий многих руководителей современных государств, трудно поверить, что это именно те люди, которые нацелены на долговременное выживание всего мира. И это во многом происходит от того, что нет ясной и общепринятой картины рисков. Точнее - та, что есть, не полна и затмевает более важные риски (а именно, это картина, где астероиды плюс потепление суть главные риски - однако даже после признания этих рисков в отношении них делается недостаточно). Хотя есть значительное число людей, которые могут и хотят дать ясное понимание рисков, уровень информационного шума таков, что услышать их невозможно.
  4. В современном обществе очень много опасных конфликтов в связи с большим количеством стран, партий и религиозно-экстремистских групп. Трудно даже их всех посчитать.
  5. Даже очень высокий контроль в одних странах бессмыслен, пока есть территории, недоступные контролю. Пока существуют суверенные государства, полный общий контроль невозможен. Однако в тех случаях, когда контроль появляется, он тут же начинает использоваться не только для борьбы с глобальными рисками, но и для личных целей тех групп, которые контроль осуществляют, - или, во всяком случае, такое впечатление создаётся (война в Ираке).
  6. Пока человечество разделено на отдельные вооружённые государства, быстрое принятие мер по локализации угрозы невозможно и чревато развязыванием ядерной войны.
  7. По окончании эпохи 'холодной' войны строительство бункеров относительно затормозилось.
  8. Современное общество не рассматривает выживание как свою главную цель, а те, кто об этом говорят, выглядят маргиналами.
  9. Современные технологии развиваются стихийно. Нет ясного представления о том, кто, где, зачем и какие технологии развивает - даже относительно легко обнаруживаемых ядерных производств.
  10. Хотя процесс договорного объединения активно идёт в Европе, остальная часть мира пока не готова, если это вообще возможно, мирно объединиться. Авторитет многих международных организаций, наоборот, снижается. (Однако, если где-то случится крупная, но не окончательная катастрофа, то возможно временное объединение в духе 'антитеррористической коалиции'.)
  Важно также подчеркнуть, что классическое тоталитарное общество не является панацеей от глобальных катастроф. Действительно, тоталитарное общество может быстро мобилизовать ресурсы и пойти на значительные потери для достижения цели. Однако основная проблема такого общества - это информационная непрозрачность, которая уменьшает степень готовности и ясности понимания происходящих событий. Примеры: ошибка Сталина в оценке вероятности начала войны с Германией. Или слепота древнекитайского общества в отношении военных перспектив пороха и информационных технологий - компаса и бумаги, которые там были изобретены.
  21.21 Глобальные катастрофы и текущая ситуация в мире
  С одной стороны, может показаться, что вращение политической жизни в современном мире постепенно сосредотачивается вокруг предотвращения отдалённых глобальных катастроф, возможными источниками которых считаются в первую очередь три: развёртывание ПРО, глобальное потепление и ядерная программа Ирана (и в меньшей мере ряд других, например, противоастероидная защита, энергетическая безопасность и др. Кроме того, поведение глав государств во время финансового кризиса осенью 2008 года так же может служить определённой моделью реагирования земной цивилизации на будущие глобальные катастрофы. В начале было глухое отрицание и приукрашивание фактов. В течение недели ситуация переменилась, и те, кто говорил, что кризис невозможен, стали кричать о неизбежности ужасной катастрофы, если им срочно не выделят 700 миллиардов долларов - план Паулсона. При этом стали проводиться интенсивные международные встречи, Саркози выдвигал невероятные инициативы, и все демонстрировали согласие в том, что надо что-то делать, хотя не очень понятно, что. При этом похоже, что полная модель происходящих событий была не доступна лицам, принимающим решения.) Я полагаю, что читатель, внимательно ознакомившийся с текстом этой книги, понимает, что хотя эти две проблемы значительны и, в конечном счёте, могут увеличить шансы человеческого вымирания, в действительности наш мир крайне далёк от осознания масштабов и даже видов нависших угроз. Несмотря на все разговоры, глобальная катастрофа не воспринимается как нечто реальное, в отличие от 60-х годов, когда риск катастрофы прямо означал необходимость подготовки бомбоубежищ. Современное состояние благодушия можно уподобить только тому приятному расслаблению, которое, как говорят, царило в Перл-Харборе перед налётом японцев. Кроме того, в качестве глобальных рисков осознаётся падение астероидов, исчерпание ресурсов и риск тотальной ядерной войны, но эти темы почему-то не являются объектами активной политической дискуссии.
  Можно обсуждать две темы: почему выбран именно этот список катастроф (Иран, ПРО и потепление), и как общество обращается с тем списком рисков, который признан. Однако ответ на оба вопроса один: основное содержание дискуссий об угрозах современной цивилизации состоит именно из обсуждения в духе 'а будет ли мальчик?' Делает или нет Иран бомбу, и опасна ли она? Виноваты ли люди в глобальном потеплении, и стоит ли с ним бороться? Собственно, процесс составления этого списка и есть процесс политической борьбы, в которой участвуют такие факторы, как конкуренция наиболее убедительных и наиболее выгодных гипотез.
  21.22 Мир после глобальной катастрофы
  Как бы ни была масштабна глобальная катастрофа, ясно, что вся Вселенная в ней не погибнет (если только это не распад метастабильного вакуума, но даже в этом случае останутся параллельные вселенные). Какая-нибудь разумная жизнь возникнет в ней на другой планете, и чем больше будет таких мест, тем больше шансов, что эта жизнь будет похожа на нашу. В этом смысле окончательная глобальная катастрофа невозможна. Однако если глобальная катастрофа постигнет именно Землю, то тут возможно несколько вариантов.
  В соответствии с положениями синергетики, критическая точка означает, что существует конечное число сценариев, между которыми произойдёт необратимый выбор направления движения. Как бы много ни было возможных сценариев глобальной катастрофы, количество окончательных состояний гораздо меньше. В нашем случае речь идёт о следующих вариантах:
  1. Полное разрушение Земли и жизни на ней. Дальнейшая эволюция невозможна, хотя, может быть, некоторые бактерии выжили бы.
  2. Люди вымерли, однако биосфера в целом сохранилась, и эволюция других видов животных продолжается. Как вариант - отдельные мутировавшие люди или обезьяны постепенно создают новый разумный вид.
  3. 'Серая слизь'. Уцелела некая примитивная 'некросфера' (термин С. Лема из романа 'Непобедимый') из нанороботов. В ней может произойти своя эволюция. Вариант - уцелели самовоспроизводящиеся заводы по производству крупных роботов, но они не обладают настоящим ИИ.
  4. 'Постапокалиптический мир'. Технологическая цивилизация рухнула, но определённое число людей уцелело. Они занимаются собирательством и сельским хозяйством, факторы антропогенных угроз существованию исчезли. (Однако процесс глобального потепления может продолжаться за счёт запущенных ранее процессов и стать необратимым.) Из этого сценария есть возможности перехода к другим сценариям - к новой технологической цивилизации или к окончательному вымиранию.
  5. Сверхмощный искусственный интеллект установил власть над миром. Люди вымерли или вытеснены на обочину истории. При этом - внимание! - с точки зрения людей это может выглядеть как мир всеобщего изобилия: каждый получит неограниченную жизнь и виртуальный мир в придачу. Однако расходы системы на развлечение людей будут минимальны, равно как и роль людей в управлении системой. Этот процесс - автономизации государства от человека и снижения роли людей в нём - уже идёт. Даже если сверхинтеллект возникнет благодаря усовершенствованию отдельных людей или их слиянию, он уже не будет человеком - во всяком случае, с точки зрения обычных людей. Его новая сложность перевесит его человеческие корни.
  6. Позитивный исход - см. подробнее следующую главу. Люди создали такой сверхмощный ИИ, который управляет миром, максимально реализуя потенциал людей и человеческие ценности. Этот сценарий имеет тонкую, но существенную разницу с тем сценарием, который оставляет людям только сферу виртуальных развлечений и удовольствий. Разница эта - как между сном о любви и настоящей любовью.
  Почти каждый из этих вариантов является устойчивым аттрактором или руслом развития событий, то есть после прохождения критической точки он начинает притягивать к себе разные сценарии.
  21.23 Мир без глобальной катастрофы: наилучший реалистичный вариант предотвращения глобальных катастроф
  Жанр требует 'хэппи энда'. Если бы глобальная катастрофа была абсолютно неизбежна, то не следовало бы и писать этой книги, так как единственное, что оставалось бы людям перед лицом неизбежной катастрофы - это устроить 'пир перед чумой'. Но даже если шансы катастрофы очень велики, мы можем значительно отсрочить её наступление, уменьшая её погодовую вероятность.
  Я (и ряд других исследователей) вижу эти шансы в таком опережающем развитии систем искусственного интеллекта, которое обгоняет развитие других рисков, но одновременно это развитие должно опережаться ростом нашего понимания возможностей и рисков самого ИИ, и нашим пониманием того, как правильно и безопасно поставить перед ним задачу, то есть как создать 'Дружественный' ИИ. И затем на базе этого Дружественного ИИ создать единую систему мировых договоров между всеми странами, в которой этот ИИ будет выполнять функции Автоматизированной системы государственного управления. Этот план предполагает плавный и мирный переход к действительно величественному и безопасному будущему.
  И хотя я не думаю, что именно этот план легко и безупречно реализуется, или что он является действительно вероятным, я полагаю, он представляет лучшее, к чему мы можем стремиться и чего мы можем достичь. Суть его можно изложить в следующих тезисах, первые два из которых являются необходимыми, а последний - крайне желательным:
  1) Наши знания и возможности по предотвращению рисков будут расти значительно быстрее возможных рисков.
  2) При этом эти знания и возможности управления не будут порождать новых рисков.
  3) Эта система возникает мирно и безболезненно для всех людей.
  21.24 Максимизация функции удовольствия
  Мы стремимся сохранить жизнь людей и человечества только потому, что она имеет ценность. Хотя у нас не может быть точного знания о том, что именно создаёт ценность человеческой жизни, так как это не объективное знание, а наше соглашение, мы можем предположить, что для нас ценно число людей, а также испытываемое ими удовольствие и возможность творческой самореализации, иначе говоря, разнообразие создаваемой ими информации. То есть мир, в котором живёт 1000 человек, и при этом они однообразно страдают (концлагерь), хуже мира, где радостно живёт 10 000 человек, занимаясь разнообразными ремёслами (древнегреческий полис).
  Таким образом, если у нас есть два варианта развития будущего, в которых одинаковая вероятность вымирания, то нам следует предпочесть тот вариант, в котором живёт больше людей, они меньше страдают, и их жизнь более разнообразна, то есть в наибольшей мере реализовывается человеческий потенциал.
  Более того, нам, вероятно, следовало бы предпочесть мир, в котором живёт миллиард человек в течение 100 лет (и потом этот мир разрушается), миру, в котором живёт только миллион человек в течение 200 лет.
  Крайнем выражением этого является 'пир во время чумы'. То есть, если смерть неизбежна, и невозможно никак отсрочить её, то наилучшим поведением для рационального субъекта (то есть не верящего в загробную жизнь) оказывается начать развлекаться наиболее интересным образом. Значительное число людей, осознающих неизбежность физической смерти, так и делают. Однако если смерть отстоит на несколько десятков лет, то нет смысла 'пропить и прогулять' всё за один день, и максимизация функции удовольствия требует постоянного заработка и т. д.
  Интересно задаться вопросом, какова бы была рациональная стратегия для целой цивилизации, которая бы знала о неизбежности гибели через тот или иной срок. Стоило бы ей максимально увеличить население, чтобы дать пожить максимально большому количеству людей? Или наоборот, раздавать всем наркотики и вживлять электроды в мозговой центр удовольствия? Или скрыть сам факт неизбежности катастрофы, так как это знание неизбежно приведёт к страданиям и преждевременному разрушению инфраструктуры? Или возможен смешанный путь при не нулевой, но и не стопроцентной вероятности вымирания, где часть ресурсов уходит на 'пир во время чумы', а часть - на поиски выхода?
  Но настоящее удовольствие невозможно без надежды на спасение. Поэтому для такой цивилизации было бы рационально продолжать искать выход, даже если бы она наверняка знала, что его нет.
  Приписывая бесконечное (отрицательное) значение полезности глобальной катастрофе, мы приписываем нулевое значение таким образом другим видам человеческой деятельности, делая их все вредными и бесполезными. Как-то песням, пляскам и развлечениям. В результате наш мир должен превратится в некую Северную Корею, основная задача которой - оборона. Это было бы равносильно глобальной катастрофе.
  Тот же парадокс пережила Америка в 60-е. Один генерал предлагал отказаться от Луны и других программ ради обороны. Ему президент сказал: мы можем это сделать, но тогда Америка перестанет быть тем, что стоит защищать.
  Иначе говоря: положительная ценность жизни должна быть равна отрицательной ценности смерти.
  
  21.25. Применение новых технологий для уменьшения последствий катастроф
  Многие наработки новых технологий не решают проблему глобальных рисков 'глобально', а предлагают некоторые частные решения, которые могут повысить выживаемость, и именно такие наработки часто оказываются в центре оживлённых дискуссий. Например, обсуждался проект закрытия городов цельным куполом из композитных наноматериалов, который сможет существенно снизить уязвимость города к ядерной атаке. Другой проект - покрытие стёкол специальным покрытием, которое в случае ядерной атаки повысит их прочность, не даст разлететься на осколки и отразит световой импульс, также укрепление стен таким образом. Ещё одна идея состоит в разработке специальных плёнок, способных поглощать из воздуха и воды радиоактивные материалы (однако создание таких плёнок имеют обратную сторону - и можно использовать и для добычи расщепляющихся материалов из морской воды и последующего обогащения, что удешевит ядерное оружия). Другие плёнки могли бы улавливать вирусы из воздуха. Можно представит себе нечто вроде интеллектуального респиратора, способного прижигать воздух ультрафиолетом и т. д.
   Широкое применение таких технологий могло бы увеличить число выживших в результате крупной катастрофы на всей Земле в несколько раз, и этого могло бы оказаться достаточно в некоторых обстоятельствах для того, чтобы не пресечь опасный пороговый уровень, за которым начнётся необратимое вымирание.
  При этом люди могут быть более склонны финансировать такие проекты, так как они легко технически реализуемы, не имеют идеологической нагрузки и дают ясный результат, который может пригодится и не только в случае глобальной катастрофы, но и в случае локальной катастрофы.
  
  21.26 Ускорение субъективного времени с целью избежания катастрофы
  Сигналы в нейронах распространяются со скоростью примерно 30 метров в секунду, в том время как сигналы в компьютерах распространяются со скоростью света, то есть в 10 миллионов раз быстрее. Кроме того, гипотетически можно сократить размер вычислительной среды, равной мозгу человека, до размеров булавочной головки с использованием нанотехнологий, то есть уменьшить ещё в 1000 раз, что увеличит скорость прохождения сигналов тоже в 1000 раз за счёт сокращения пути. Отсюда можно предположить, что возможно создать симуляцию человеческого мозга, работающую в миллиард раз быстрее обычного мозга. То есть она будет проживать за 1 секунду 20 лет субъективного опыта, или 2 миллиона лет за сутки. Это сделает такую систему в миллиард раз более устойчивой к внешним воздействиям с субъективной её точки зрения. Похожая идея есть у Типплера , где цивилизация успевает пережить бесконечно большое количество опыта (= вычислений) в точке Омега, которой он называет момент сжатия Вселенной, противоположный Большому взрыву.
  Однако это не защитит от внутренних катастроф - утраты смысла жизни, создание личного сверхнаркотика, распада, зависания, зацикливания, захвата собственными вирусами-репликаторами (вроде синдрома навязчивых состояний), или от атаки со стороны внешних столь же быстро функционирующих систем (если они находятся достаточно близко в физическом мире, а не на расстоянии световых секунд, как Луна от Земли).
  Либо мы считаем себя актуально бессмертными существами, либо мы признаём, что наше существование рано или поздно закончится. Человеческая система ценностей устроена так, что чем дальше во времени событие, тем меньше его значение, и даже невероятное событие, которое случится через несколько тысяч лет, имеет меньшее значение, чем небольшое событие, которое случится в ближайшем будущем (сравните свою эмоциональную реакцию на два возможных события: 'На Нью-Йорк упала атомная бомба' и 'Через 500 лет на Австралию обрушится огромное цунами'). Установлено, что единственная непротиворечивая система учёта фактора времени в системе ценностей - это экспоненциальное убывание полезности (остальные позволяют играть против самого себя). В результате значение отдалённой глобальной катастрофы становится пренебрежимо малым, и отдаление ее в субъективном времени на тысячи и миллионы лет равносильно ее предотвращению. Стоит ли соглашаться на такую логику - это вопрос личного выбора.
  
  21.27 Какие малые действия можно сделать, что изменить ситуацию с глобальными катастрофами
  Данила Медведев предложил мне составить список реальных проектов, которые могут уменьшить вероятность глобальной катастрофы, но при этом не связаны с распространением информации в духе пропаганды. Каждый такой проект может иметь и обратную сторону (opportunity cost) в виде новых рисков, напрасно потраченных денег, которые можно было бы потратить более эффективно, морального ущерба в виде ложного чувства безопасности, ущерба главным ценностям цивилизации и возможного конфликта вокруг попыток реализации такого проекта, что приведёт к терроризму или другим формам борьбы против этого проекта. Плюс репутационные риски - некоторые из этих проектов или выглядят бессмысленными, или нереализуемыми, или фашистскими/евгеническими, и реклама таких проектов может привести к негативному отношению к другим проектам, которые лишены этих недостатков, но продвигаются теми же людьми или с теми же целями.
  Одна из основных проблем таких предложений - что нет субъекта (единого мирового органа власти), который мог бы их реализовать. Хочу подчеркнуть, что когда я говорю о едином человечестве, я имею в виду всемирное демократическое правительство, избираемое людьми, опирающееся на открытое общество и контролируемое независимой журналистикой и т. д. Опыт показывает, что демократии менее склонны к рискованным и вообще ошибочным решениям, чем авторитарные правители. Открытый обмен информацией позволяет усиливать слабые сигналы. Демократии обладают и более высоким интеллектуальным потенциалом, так как распределённым образом используют интеллектуальные ресурсы многих людей. Демократии менее склонны к войнам, во всяком случае глобальным. При этом уровень коррупции в демократиях ниже, чем при диктатурах, а значит, законы об ограничениях опасных технологий будут в них работать чётче. (И уже работают - в области производства наркотиков (запрет), запуска самодельных ракет - лицензирование и т. д.)
  Есть несколько мирных способов объединения государств - сетевые объединения, транснациональные корпорации, глобальная экономика, система международных соглашений и организаций, интеграция по типу европейской и объединение перед общим врагом как это было после терактов 11 сентября. Наиболее крупные державы и страны изгои будут в наибольшей мере противится любым формам интеграции. Немирными формами интеграции является экспорт революций (то есть смена правительств тайными методами) и прямой завоевание. Завоевание остаётся худшим решением.
  Помимо цены вопроса, мы можем для каждого случая оценить вероятность того, что этот проект будет реализован.
  Виды спасающих воздействий: накопление информации, создание модели, информационное влияние на общество, превентивное воздействие на точки распространения (лицензирование, охота на потенциальных террористов), средства ограничения силы воздействия после выхода из точки распространения (биозащита), разные варианты плана Б (бункеры, Луна) и плана С (маловероятные проекты последнего шанса на спасение, вроде ДНК на Луне).
  Здесь я упорядочил проекты по возрастанию их стоимости.
  1. Написать книгу 'Гид по восстановлению цивилизации', в которой описать все необходимые знания по охоте, промышленности, добычи полезных ископаемых, и все предупреждения о рисках. Оттестировать разные разделы на добровольцах. Запечатлеть книгу в камне/металле/другом прочном носителе во многих копиях по всему миру. Добавить в книгу букварь, чтобы ее можно было расшифровать, когда язык изменится. Закопать клады с инструментами/книгами/семенами в разных местах мира. Стоимость: 1-100 млн. долларов. Полезность (то есть уменьшение вероятности глобальной катастрофы по сравнению с базовым сценарием, в котором вероятность принимается равной 50% в XXI веке, предварительная интуитивная оценка): 0,1 %. Риски: может быть напрасной тратой денег.
  2. Собрать денег на работу Института Сингулярности в Калифорнии в области создания дружественного ИИ. Им нужно 3 млн. долларов. Это проект имеет максимальное соотношение затраты-отдача. То есть он реально может, по моей интуитивной оценке, увеличить шансы выживания человечества на примерно 1 процент. (Это определяется произведением оценок вероятности событий - возможность ИИ, то, что SIAI решит эту проблему, то, что он решит ее первым, и то, что он решит проблему дружественности, и того, что этих денег им хватит.) Риски: непредсказуемость последствий.
  3. Крионировать во льду Антарктиды (температура -57 С, кроме того можно создать устойчивую область с более низкой температурой закачав жидкий азот и охладив ее) несколько человек, с тем что если на Земле возникнет иная развитая цивилизация, то можно было бы их воскресить. Несколько миллионов долларов расходы. Реализовать другие проекты по сохранению человеческих знаний в духе предложенных фондом LongNow титановых дисков в записью информации. Риски: противодействие религиозных организаций, репутационные риски. Некоторые люди вероятно, и так уже захоронены в Антарктике - Скотт?
  4. Отправить ДНК человека на Луну в время устойчивой капсуле. Несколько десятков миллионов долларов. Так же можно отправить мозг человека крионированный. Идея здесь в том, что если человечество погибнет, то когда-нибудь прилетят инопланетяне и воскресят человека по этим данным. Расходы - 20-50 млн. долларов, вероятность успеха 0.001%. Рассылать ДНК человека по космосу иными способами. Риски: бессмысленная трата денег и общественного внимания. Какое-то количество человеческой ДНК и даже клеток могло остаться в спускаемых модулях Аполлона или на некоторых спутниках, однако из-за перепадов температур они обречены на деградацию. Акой проект можно было бы осуществить почти бесплатно параллельно со следующим посещением Луны автоматическим аппаратом.
  5. Ускоренная разработка универсальных вакцин. Создание всемирных запасов мощных средств обеззараживания на случай глобальной эпидемии, создание запасов антвирусных препаратов и вакцин от большинства известных опасных вирусов, которых бы хватило на большую часть человечества. Создание средств вирусного мониторинга и мгновенной диагностики (тест-полоски). Создание и производство в количестве миллиардов штук продвинутых обеззараживающих средств вроде персональных УФ-ламп, нанотехнологических повязок на лицо, перчаток и т. д. Миллиарды или сотни миллиардов долларов в год. Создание личных запасов еды и воды у каждого дома на месяц. Разработка средств снабжения, исключающих контакт людей друг с другом. Переход к медленному глобальному транспорту (корабли) на случай пандемии. Обучение медперсонала и создание запасных койко-мест в больницах. Создание и тестирование на реальных проблемах огромных заводов, которые за несколько недель могут разработать и произвести миллиарды доз вакцин. Совершенствование законодательства в области карантина. Прирост вероятности выживания 2-3 процента. Риски: рост числа биолабораторий приведёт к росту потенциальных биотеррористов.
  6. Создание автономных бункеров с запасом еды на несколько десятков лет и с постоянными 'экипажами', способными восстановить человечество. Порядка 1-10 млрд. долларов. Сохранение тех видов ресурсов, которые человечество могло бы использовать на пост-апокалиптической стадии для восстановления. Риски: ложное чувство спокойствия. Преимущество в бункерах одной из сторон может дать основу для первого удара в случае глобальной войны.
  7. Создание научного суда по адронному коллайдеру и другим потенциально опасным проектам, в котором физикам-теоретикам будут выплачиваться значительные суммы денег за открытие потенциальных уязвимостей. Риски: может привести к задержке прорывных исследований, которые могут открыть новые источники энергии.
  8. Адаптация МКС к функции бункера на случай катастрофы на Земле - создание на МКС серии дополнительных модулей, могущих поддержать существование экипажа в течение 10 лет. Расходы - десятки миллиардов долларов. Риски: неэффективная трата денег.
  9. Создание автономной самоподдерживающейся базы на Луне. При нынешнем уровне технологий - около 1 триллиона долларов или более. Правильная стратегия развития космоса удешевит ее - то есть инвестиции в новые типы двигателей и дешёвые средства доставки. Прирост выживания на 1 процент. (Но есть и свои новые риски: космическая война).
  10. Тоже самое на Марсе. Несколько триллионов. Прирост выживания на 1-2 процента.
  11. Создание межзвёдного ядерного корабля-ковчега - десятки триллионов долларов. Прирост выживания на 1-2 процента. Риски: создание большого количества ядерных бомб
  12. (Далее следуют пункты, для решения которых недостаточно одних денег, но нужна политическая воля.) Уничтожение стран-изгоев и создание всемирного государства. 10 процентов прироста выживаемости. Однако высокие риски в процессе: мировая война, утрата разнообразия, всемирный тоталитаризм.
  13. Создание всемирного центра быстрого реагирования на глобальные риски. Нечто вроде спецназа или МЧС, который можно бросить на глобальные риски. Наделение его правом мгновенного принятия решения, в том числе и о военных действиях, а также разведкой. Наделение его правом вето на опасные эксперименты. Укрепление систем гражданской обороны на местах. Риски: ошибочная реакция, диктатура.
  14. Запрет на частную науку (в смысле в гараже) и создание нескольких сертифицированных центров науки (наукоградов с централизованным контролем безопасности в процессе) с высоким уровнем финансирования прорывных исследований. В области биотехнологий, ядерных технологий, ИИ и нано. Это поможет избежать распространения знаний массового поражения, но при этом не приведёт к остановке прогресса. Это только после упразднения национальных государств. Несколько процентов прироста выживаемости. Эти наукограды могут свободно обмениваться технической информацией между собой, но не имеют права выпускать ее во внешний мир. Риски: не отменит рост военной государственной науки; приведёт к развитию нелегальных подпольных сетей с обилием преступных элементов.
  15. Законодательно обязательное дублирование всех жизненноважных ресурсов и видов деятельности - что сделает невозможным коллапс цивилизации по принципу домино при сбое в одной точке. Запрет на сверхсложные системы общественной организации, поведение которых непредсказуемо и тоже склонно к эффекту домино, и замену их на линейные повторяющиеся системы производства - то есть противостояние экономической глобализации. Риски: снижение экономического роста.
  16. Сертификация и лицензиование исследователей био, нано, ИИ и ядерных технологий. Законодательное требование проверять любые свои и чужие изобретения на предмет глобальных рисков, с ними связанных, и обязательство разрабатывать одновременно средства защиты на случай выхода их изобретений из-под контроля.
  17. Закон о повышении уровня интеллекта население - оплодотворение половины населения от нескольких сот лучших отцов по уровню интеллекта и здравомыслия и неприязни к рискам. (Вторая половина размножается обычным образом для сохранения генетического разнообразия; проект реализуется без насилия за счёт денежных выплат. Это уже происходит сейчас, многие женщины выбирают искусственное оплодотворение от высококачественных отцов.) Плюс реформа образования, где школа заменяется на систему тренингов, в которых уделена важная роль здравомыслию и знанию логики. Риски: восстание биоконсерваторов. Кроме того, рост интеллекта увеличит число потенциальных террористов.
  18. Ограничение капиталистической конкуренции как мотора экономики, так как она приводит к недооценке рисков в долгосрочном плане. Риски: снижение экономического роста.
  19. Опережающие инвестиции в прорывные области вроде нанотехнологий в лучших и в наиболее ответственных центрах, чтобы быстрее проскочить опасный период. Риски: слишком быстрое создание прорывных технологий, когда общество ещё не адоптировалось к ним.
  20. Рост систем информационного контроля и тотального видеонаблюдения, плюс сертификации данных в них и распознавания образов. Контроль в Интернете и личная авторизация при входе в сеть. Непрерывное наблюдение за всеми людьми, обладающими потенциально опасными знаниями. Риски: всемирный тоталитаризм и борьба с ним террористов.
  Сюда можно добавить создание всемирного мозгового танка из лучших специалистов по глобальным рискам и постановка перед ними задачи по выработке позитивных сценариев. При этом нужно понять, какой способ объединение таких специалистов был бы наиболее эффективнее, чтобы А) они не перегрызлись из-за разных идей и чувства собственной крутизны. Б) Чтобы это не превратилось в пилилку денег для своих. В) Чтобы они за это получали деньги, которые позволили бы им полностью сконцентрироваться на этой проблематике. То есть это нечто вроде реферируемого журнала, вики, научного суда или рынка предсказаний. Но способ объединения не должен быть слишком экзотичным, так как экзотичные способы надо отрабатывать на менее важных предметах.
  Объявить денежные премии за новые сценарии уязвимостей, так и за новые сценарии их предотвращения. При этом, возможно, публиковать открыто только сценарии предотвращения.
  Создать режим секретности, не мешающий обмену знаниями между специалистами по глобальным рискам. Например, некоторая база данных закрыта для анонимного доступа, но любой, заявивший о себе как исследователь о глобальных рисках, может получить к ней доступ. При этом он соглашается на то, что его персона будет находится под большим контролем. Это открывает обмен информацией специалистам и 'интеллекту толпы', но ограничивает доступ к потенциально опасным знаниям анонимных террористов.
  Однако создание точной и убедительной для всех модели глобальных рисков снизило бы по крайней мере вдвое вероятность глобальной катастрофы. И мы всё ещё находимся на стадии создания такой модели. Поэтому способы создания модели и способы ее аутентификации являются сейчас самым важным, хотя, возможно, время уже упущено. После того, как такая модель будет создана, необходимо максимально широко распространить, разрекламировать её, или даже заставить учёных и политиков сдавать зачёт по ней как по технике безопасности. Создание политической партии, требующей законов об обеспечении неуничтожимости цивилизации и поебда ее во всех государствах мира. Рост образованности в области глобальных рисков через обучение, лекции, книги. Государственная пропаганда на уровне 'промывки мозгов' о важности недопущения рисков эффективность сомнительна, так как всегда найдутся те, кто будут действовать вопреки. Кроме того, это будет отрицательная скрытая команда в духе НЛП - ведь сначала надо представить себя реализующим риск, чтобы потом запретить себе это делать. Возможны более хитрые подходы: отказ от голливудского кино, пропагандирующего 'конец света' и подсознательно программирующего на него людей. Объединение человечества ради преодоления некой внешней общей угрозы (НЛО, болезнь, нехватка ресурсов).
  Подчеркну, что основные проблемы глобальных рисков относятся к сфере знаний, а не к сфере действий. То есть основная проблема, что мы не знаем, где нам подстелить соломочку, а не в том, что у нас нет соломочки. Риски создаются знаниями и устраняются знаниями.
  Реализация этих мер технически возможна и могла бы снизить вероятность глобальных катастроф в XXI веке, по моей оценке, в 10 раз. Вместе с тем вряд ли мы можем ожидать, что все эти меры будут реализованы. Некоторые из них более реалистичны, некоторые менее. Я полагаю, что лишь десятая доля этих мер будет реализована, и то под воздействием обстоятельств, а не общественного движения.
  
  
  
  Глава 22. Непрямые способы оценки вероятности глобальной катастрофы
  Непрямые способы оценки используют не данные о самом предмете исследования, а различные косвенные данные, например, аналогии, общие закономерности и верхние пределы. Этот вопрос подробно рассматривается Ником Бостромом в статье 'Угрозы существованию'. Существует ряд независимых способов такой оценки.
  22.1 Принцип Парето
  Это эмпирическое правило введено социологом Вильфредо Парето. Принцип Парето подробно рассмотрен применительно к разнообразным катастрофам в книге 'Риск. Устойчивое развитие. Синергетика' [Владимиров, Малинецкий, Потапов 2000]. Суть Принципа Парето заключается в следующем: катастрофа происходит тем реже, чем она масштабней. Математически это выглядит так:
  
  Где а - параметр, имеющий значение a = - 0,7 для случая жертв стихийных бедствий. Закон Парето носит эмпирический характер и выглядит как прямая на логарифмическом графике с углом наклона, пропорциональным а. Типичным примером закона Парето является высказывание вроде: 'С ростом магнитуды на 1 балл землетрясение происходит в 10 раз реже'. (Но один балл магнитуды равен приросту энергии в 32 раза, и называется это закон повторяемости Гутенберга-Рихтера. Для больших энергий параметр сдвигается, и 1 балл прироста в районе 7-9 баллов даёт уменьшение частоты в 20 раз, то есть если землетрясения магнитудой 7-7,9 баллов происходят 18 раз в год, то 8-балльные - раз в год, а 9-бальные - раз 20 лет.) Особенностью этого закона является универсальность его применения для совершенно различных классов явлений, хотя значения параметра могут отличаться. Однако в случае числа жертв стихийных бедствий значение параметра в показателе степени составляет не -1, а - 0,7, что значительно утяжеляет хвост распределения.
  Нас в данном распределении интересует то, как часто во времени могли бы случаться катастрофы, в которых вероятное количество жертв превосходило бы нынешнее население Земли, то есть было бы порядка 10 млрд. человек. Если мы примем закон Парето с a = - 1, то есть в десять раз более сильное событие происходит в десять раз реже, то катастрофа с 10 млрд. жертв (то есть гарантированно перекрывающая население Земли) будет происходить примерно раз 500 000 лет. Это число сравнимо со временем существования самого вида Homo Sapiens. C другой стороны, если взять a = - 0,7 (что означает, что в десять раз более сильное событие происходит только в 5 раз реже, а также в предположении, что природные катастрофы с числом жертв более 100 000 человек происходят раз в 10 лет), то до катастрофы масштаба всего человечества будет только примерно 30 000 лет. Это близко по порядку величины тому времени, которое прошло с момента извержения вулкана Тоба - 74000 лет - когда человечество оказалось на грани вымирания. Мы видим, что тяжесть хвоста распределения сильно зависит от величины параметра а. К счастью, стихийные бедствия не создают значительного риска в XXI веке при любых разумных значениях а.
  Однако прогноз будет куда страшней, если применим этот закон к войнам и террористическим актам. При этом закон Парето не учитывает экспоненциального характера развития человечества. В реальных случаях для каждого класса событий мы имеем верхнюю границу закона применимости закона Парето, к примеру, предполагается, что не бывает землетрясений с магнитудой больше, чем 9,5. Однако само множество разных классов событий не ограниченно.
  Подробно закон степенного распределения катастроф и угроз вымиранию человечества рассматривается в статье Робина Хансена 'Катастрофа, социальный коллапс и человеческое вымирание' [Hanson 2008]. Он отмечает, что важным фактором является разброс живучести отдельных людей. Если этот разброс велик, то чтобы уничтожить всех людей до последнего, нужна гораздо, на несколько порядков, более сильная катастрофа, чем та, которая уничтожает только 99 % людей. Хансен приводит график для степенного закона, описывающего частоту войн. Он имеет параметр а = - 0.41, и из него следует, что катастрофы с числом жертв, равным населению Земли, имеют шанс 1/1000 в год.
  Хенсон также показывает, что чем сильнее первичное разрушающее воздействие, тем большее число жертв приходится на последующий социальный коллапс. Если продлить эту тенденцию до катастроф с числом жертв порядка населения Земли, то получается, 'что из каждый 50 человек, выживших сразу после разрушающего воздействия, только один выживет после следующий за ним социальной катастрофы' [Hanson 2008]. С учётом того, что по последнем данным устойчивы популяция млекопитающих требует не менее 1000 особей, и с учётом того, что все выжившее должны быть сосредоточены в одно географическом регионе, который они могут обойти пешком (и таких регионов будут десятки на всю Землю), суммарное число выживших на Земле сразу после катастрофы должно быть больше 1 000 000 человек, чтобы они гарантированно могли продолжить земную цивилизацию.
  22.2 Гипотеза о 'Чёрной королеве'
  Эту гипотезу вывел американский палеонтолог Ван Вален. Он старался объяснить, почему вероятность вымирания видов не снижается с возрастом. На основании палеонтологических данных Ван Валенном было обнаружено, что линии вымирания родов животных подчиняются убывающему экспоненциальному закону. 'Гипотеза "Черной королевы" предложена Ван Валеном [Van Valen 1973] для объяснения обнаруженного им же "закона" постоянства скорости вымирания субтаксонов в пределах более или менее гомогенного (в адаптивно-экологическом смысле) высшего таксона. Гипотеза предполагает, что в данной адаптивной зоне рост приспособленности (fitness) любой группы видов ведет к снижению приспособленности других видов, в результате чего суммарная устойчивость всех видов остается постоянной. Под устойчивостью понимается способность противостоять вымиранию. По мнению Ван Валена, виды (роды, семейства) должны все время приспосабливаться к переменам среды (в первую очередь биотической), что не дает им возможности повысить уровень приспособленности к конкретным условиям. Таксоны уподобляются персонажу сказки Льюиса Кэрролла "Алиса в Зазеркалье" - Черной королеве, которая бежала со всех ног, чтобы только остаться на месте. Гипотеза "Черной королевы" состоит из двух частей. Первая - это идея о том, что рост приспособленности должен снижать вероятность вымирания. Второй компонент гипотезы - эмпирический факт, состоящий в том, что линии выживания родов обычно экспоненциальны. Подобная форма линий выживания фактически означает, что вероятность вымирания среднестатистического рода остается примерно постоянной в течение его жизни. Если бы вероятность вымирания рода снижалась со временем, то линии выживания родов, построенные в логарифмической шкале по оси ординат, были бы вогнутыми, однако, согласно палеонтологическим данным Ван Валена, они прямые' [Марков 2000]. Поскольку время жизни отдельных видов внутри рода Homo составляет порядка миллиона лет, то мы можем ожидать такую же продолжительность жизни и для людей, в той мере, в какой мы являемся обычным биологическим видом. Следовательно, из гипотеза о Чёрной королеве не следует существенного риска для человечества в XXI веке.
  С другой стороны, в настоящий момент мы живём в период 6-ого большого вымирания живых организмов [Алексеев 1998], на этот раз вызванного антропогенными факторами, который характеризуется скоростью вымирания, в 1000 раз превосходящую естественную. Если взять человека как один из видов, то это сокращает ожидаемое время его существования с миллиона до тысячи лет.
  22.3 Парадокс Ферми
  Ещё один не прямой способ оценки вероятности основан на парадоксе Ферми. Парадокс Ферми состоит в следующем вопросе: 'Если жизнь и разум обычные явления в природе, то почему мы не видим их проявлений в космосе'? Теоретически, жизнь и разум могли бы зародиться где-то на несколько миллиардов лет раньше, чем на Земле. За это время они могли бы распространиться на сотни миллионов световых лет, хотя бы с помощью самореплицирующихся космических зондов (зондов фон Неймана). А это значит 'населенными' должны быть тысячи, а может и миллионы, галактик. Запустить волну самореплицирующихся межзвёздных зондов человечество может уже в ближайшие 100 лет. Это могут быть микророботы, которые оседают на планеты, делают там ракеты и рассылают их по Вселенной со скоростями, значительно ниже световых - такие устройства даже не обязаны обладать сильным искусственным интеллектом: то же самое делают какие-нибудь актинии в земном океане, только в меньшем масштабе. Такой процесс может быть запущен случайно, при сбое во время освоении ближайших планет с помощью самореплицирующихся роботов. Такие микророботы будут в первую очередь потреблять твёрдую материю планет для своего воспроизводства. И для них будут действовать законы эволюции и естественного отбора, аналогичные тем, что имеются в животном мире.
  Однако пока мы не наблюдаем таких микророботов в Солнечной системе, хотя бы потому, что она уцелела. Более того, уцелела не только Земля, но и другие твёрдые тела - спутники дальних планет Солнечной системы, да и наша галактика в целом. Мы также не наблюдаем никаких инопланетных радиосигналов и никаких следов астроинженерной деятельности.
  Отсюда возможны четыре основные вывода (хотя предлагают и больше - см. книгу Стефана Уэбба '50 решений парадокса Ферми' [Webb 2002], где рассматриваются 50 разных вариантов, которые, в целом, сводятся к нескольким более общим категориям):
  1) Они уже здесь (хотя бы в виде своих сигналов).
  2) Они не распространяются по вселенной, не оставляют следов и не посылают сигналов. То есть они не запускают 'ударную волну разума'.
  3) Цивилизации возникают крайне редко.
  4) Мы являемся уникальной цивилизации по причине наблюдательной селекции.
  
  К сожалению, каждый из этих выводов имеет печальные перспективы в контексте глобальных рисков:
  В первом случае мы находимся под угрозой конфликта с превосходящими нас инопланетянами:
  1а) Если они уже здесь, мы можем сделать нечто, что побудит их нас уничтожить или ограничить. Например, выключить симуляцию. Или запустится программа зондов-берсеркеров . Во всяком случае, они должны будут нас ограничить, когда мы попытаемся начать колонизацию галактики или когда мы их обнаружим. При этом инопланетные зонды-нанорепликаторы могут находится и на Земле, и даже внутри человеческих организмов - дело даже не в том, что мы не можем их обнаружить, а в том, что не пытаемся, так как не знаем, что искать.
  1б) Если они откроют нашу Солнечную систему прямо сейчас и будут нацелены на тотальную колонизацию всех систем, то нас тоже ждёт столкновение с ними, которое мы скорее всего проиграем. Мало вероятно.
  1в) Если значительная часть цивилизаций в галактике заражена SETI-вирусом и распространяет сигналы, специально нацеленные на заражение наивных цивилизаций, который будет использовать ресурсы цивилизации для дальнейшей рассылки вируса по SETI-каналам. См главу о SETI-атаке.
  1д) C помощью сигналом METI мы привлечём внимание зловредной цивилизации, и она выпустить по Солнечной системе луч смерти (возможно, в просторечии известный как гамма-всплеск) или пошлёт к нам карательную экспедицию. Этот сценарий выглядит маловероятным, так как за то время, пока они получат сигнал и успеют среагировать, мы успеем улететь из Солнечной системы - если они, конечно, находятся достаточно далеко от нас. А если близко, то не понятно, почему они всё ещё не здесь. Однако этот сценарий вызывает наибольшее количество споров.
  2. Они не распространяются. Это значит что или:
  2а) Цивилизации весьма склонны уничтожать сами себя на очень ранних стадиях, до того, как они запустили волну роботов-репликаторов, и мы здесь не исключение. Это подкрепляется Doomsday argument - а именно, то, что я обнаруживаю в себя в юной цивилизации, говорит о том, что они гораздо более распространены, чем старые. Однако, исходя из ожидаемых темпов развития нанотехнологий и ИИ, мы сможем запустить такую волну репликаторов уже через 10-20 лет, и, даже если мы погибнем после этого, эта волна продолжит распространяться по Вселенной. Учитывая неравномерность развития цивилизаций, трудно предполагать, что ни одна из них не успевает запустить волну репликаторов до своей гибели. Это возможно только в том случае, если мы а) Не видим некую универсальную угрозу, которая ударит по нам в очень скором времени. б) Мы существенно недооцениваем трудности создания ИИ и нанорепликаторов. с) Энергия некого процесса неизбежного разрушения цивилизации в более отдалённом будущем настолько велика, что успевает уничтожить все репликаторы, которые были запущены до того цивилизацией - то есть имеет порядок энергии взрыва Сверхновой. Другое возражение - а как, собственно, мы ожидаем заметить эту волну репликаторов? Если они ютятся на окраинах Солнечной системы и уже закончили цикл репликации, то заметить их будет весьма не просто - об этом пишет Фрейтас [Freitas 1980]. Если же они полностью разбирают твёрдое вещество звёздной системы, то мы просто не могли бы сформироваться в той звёздной системе, где есть репликаторы. Таким образом, увидеть репликаторов практически невозможно, и поэтому трудно делать какие-либо выводы на основании их существования или несущствования. Однако сам факт нашего позднего существования в галактике свидетельствует против репликаторов, поскольку Земля могла бы быть колонизирована ими миллиарды лет назад, если бы волны репликаторов встречались часто. Здесь есть существенное различие между хаотически распространяющимися волнами случайно запущенных репликаторов и систематическим покорением галактики по осознанному плану. В первом случае возникнет некая экологическая среда с естественным отбором, в результате которого победят наиболее активно распространяющиеся и обороняющие свои владения репликаторы. Но в обоих случаях это будет среда, активно противостоящая появлению новых репликаторов. Что касается наиболее вероятной глобальной катастрофы, можно предположить, что сам по себе переход к созданию репликаторов несёт в себе непреодолимую опасность. Причём именно начальные фазы этого перехода, до того, как будут созданы репликаторы, способные размножаться в космосе, перелетая от планете к планете.
  2б) Цивилизации резко самоограничивают себя - причём это ограничение очень жёстко и длительно, так как запустить хотя бы один зонд-репликатор относительно просто. Такое ограничение может опираться либо на мощный тоталитаризм, либо на крайнее истощение ресурсов. Опять же в этом случае наши перспективы весьма неприятны. Однако шансы что все цивилизации смогут это сделать непрерывно тоже невелики в сравнении с тем, что хоть одна цивилизация запустит хоть один репликатор. Также цивилизации могут ограничить запуск репликаторов исходя из страха перед непредвидимыми последствиями этого действия - но если этот страх реален, то и событие возможно, а значит хоть раз в истории галактики такое событие и случилось.
  3) Если цивилизации возникают крайне редко, то значит, что вселенная гораздо менее дружественное место для жизни, и мы находимся на островке относительной устойчивости, который, скорее всего, является исключением из правил. Это может означать, что мы недооцениваем время будущей устойчивости важных для нас процессов (солнечной светимости, земной коры), и что особенно важно, устойчивости этих процессов к малым воздействиям, то есть их хрупкость. И значит, мы можем совершенно случайно нарушить их устойчивость, создавая масштабные геоинженерные конструкции, проводя сложные физические эксперименты или осваивая космос. Подробнее я рассуждаю об этом в статье: 'Природные катастрофы и антропный принцип' [Турчин 2007а]. Однако эта хрупкость не является неизбежной и зависит от того, какие факторы были критическими в 'великом фильтре'. Кроме того, мы не обязательно напоремся на эту хрупкость, даже если она есть.
   4. Наблюдательная селекция делает нас уникальной цивилизацией.
  4а. Мы являемся первой цивилизацией, потому что любая первая цивилизация захватывает всю галактику. Точно также земная жизнь является первой жизнью на Земле, потому что она потребила все бассейны с питательным бульоном, в которых могла бы возникнуть другая жизнь. В любом случае рано или поздно мы столкнёмся с другой 'первой' цивилизацией.
  4б. Подавляющее большинство цивилизаций уничтожается в процессе колонизации, и поэтому мы можем наблюдать себя только в той цивилизации, которую не уничтожили случайно. Здесь очевидный риск состоит в том, что те, кто совершил ошибку, поспешат ее исправить.
  4в. Мы задаёмся вопросом об отсутствии контакта, потому что его нет. То есть мы находимся в уникальном положении, которое не позволяет делать никаких выводов о природе вселенной. Это явным образом противоречит принципу Коперника.
  Наихудшим для нас здесь является вариант 2а - самоуничтожение, который однако имеет независимое подтверждение через DA. Евгений Абрамян [Абрамян 2007] полагает, что объяснением парадокса Ферми является неизбежное самоистребление цивилизаций; той же точки зрения придерживались и многие ведущие учёные 20 века, рассматривая перспективу ядерной войны; однако теперь, когда эра космических репликаторов близка, это объяснение не является достаточным, Мне кажется, что наиболее вероятным сценарием следует считать сценарий 'Редкой Земли'.
  Поскольку эти четыре гипотезы, по байесовой логике, имеют равные права до получения дополнительной информации, то мы можем приписать каждой из них субъективную достоверность в 1/4. Иначе говоря, парадокс Ферми с достоверностью в 25 % предполагает, что мы вымрем в XXI веке. И хотя субъективные вероятности - это ещё не объективные вероятности, которые бы мы имели, обладай полнотой информации, наше космическое одиночество - это тревожный факт: и его нельзя игнорировать.
  22.4 Доказательство Конца Света - 'Doomsday argument'. Формула Готта
  Следующим способом непрямой оценки вероятности гибели человечества является специфическое и довольно спорное приложение теории вероятности, именуемое Doomsday argument (DA), или Доказательство Конца Света. Я сознательно опускаю огромный объём существующих аргументов и контраргументов в отношении этой теории и излагаю здесь только её выводы. В начале 1980-х годов DA был независимо и в разных формах открыт несколькими исследователями. Основные статьи по этому вопросу были опубликованы в ведущем естественнонаучном журнале Nature в разделе гипотез. DA опирается на так называемый постулат Коперника, который говорит, что обычный наблюдатель находится, скорее всего, в обычных условиях - на обычной планете, у обычной звезды, в обычной Галактике. Этот принцип эффективно предсказывает самые простые факты: он говорит, что вряд ли вы родились в полночь 1 января, или что вы вряд ли живёте на Северном полюсе. Хотя принцип Коперника кажется самоочевидным и почти тавтологичным, он может быть выражен в математической форме. А именно, он позволяет дать оценку вероятности того, что наблюдатель находится в необычных условиях. В частности, он может дать вероятностную оценку тому, сколько времени будет продолжаться некий процесс, исходя из того, сколько времени он уже продолжается (до наблюдения в случайный момент времени). Также исходя из предположения, что маловероятно, чтобы наблюдатель случайно оказался в самом начале или в самом конце процесса. Есть две основные формы этого математического предсказания - прямая, в которой вычисляется непосредственная вероятность, называемая формулой Готта [Caves 2000], и косвенная, выдвинутая Б. Картером и Дж. Лесли [Leslie 1996], в которой вычисляются байесовы поправки к априорной вероятности. Оба этих подхода сразу попытались применить к вычислению ожидаемой продолжительности жизни человечества. Объём дискуссий по этому вопросу составляет несколько десятков статей, и многие кажущиеся очевидными опровержения не работают. Я рекомендую читателю обратиться к переведённым мною статьям Н. Бострома [Bostrom 1999], где разбирается часть аргументов, а также к упоминавшейся уже книге Дж. Лесли [Leslie 1996] и статье Кейвза [Caves 1999]. Основная дискуссия разворачивается вокруг того, можно ли вообще использовать данные о прошлом времени существования объекта для предсказания его будущего времени существования, и если да, то можно ли использовать эти данные, чтобы предсказать будущее число людей и время до 'конца света'. При этом в обоих случаях оценки будущего времени существования человечества неприятны.
  Рассмотрим сначала формулу Готта. Впервые она была опубликована в Nature [Gott 1993]. Суть лежащих в основе её рассуждений состоит в том, что если мы проведём акт наблюдения некого продолжающегося события в случайный момент времени, то, скорее всего, мы окажемся в середине периода его существования и вряд ли попадём в области очень близкие к началу или к концу. Вывод формулы Готта можно посмотреть в статье Кейвза [Caves 2000]. Приведём саму формулу:
  
  Где T - возраст системы в момент её наблюдения, t - ожидаемое время её существования, а f - заданный уровень достоверности. Например, если f = 0,5, то с вероятностью в 50 % система прекратит существовать в период от 1/3 до 3 её нынешних возрастов с настоящего момента. При f = 0,95 система просуществует с вероятностью 95% от 0,0256 до 39 нынешних возрастов.
  Формула Готта находит выражение в человеческой интуиции, когда, например, мы полагаем, что если дом простоял год, то вряд ли он обрушится в ближайшие несколько секунд. Этот пример показывает, что мы можем делать вероятностные высказывания об уникальных событиях, не зная ничего о реальном распределении вероятностей. Большинство попыток опровержения формулы Готта основано на том, что приводится контрпример, в котором она якобы не работает - однако в этих случаях нарушается принцип случайности момента наблюдения. Например, если взять младенцев или очень старых собак (как делал Кейвз), то формула Готта не будет предсказывать ожидаемую продолжительность их жизни, однако молодые люди или старые собаки не есть люди или собаки, взятые в случайный момент времени. Формула Готта была проверена экспериментально, и давала правильные результаты для времени радиоактивного распада атома неизвестного типа, а также для времени существования бродвейских шоу.
  В отношении будущего человеческой цивилизации формула Готта применяется не к времени, а к рангу рождения, поскольку население менялось неравномерно, и более вероятно оказаться в период с высокой плотностью населения. (Однако если применить её ко времени существования вида, то ничего невероятного не получится: с вероятностью в 50 % человечество просуществует от 70 тысяч до 600 тысяч лет.) Предполагается, что мы, родившись, произвели акт наблюдения нашей цивилизации в случайный момент времени. При этом мы узнали, что за историю существования вся численность человечества насчитывала только примерно 100 миллиардов людей. Это значит, что мы, скорее всего, попали в середину отрезка существования, и значит, что вряд ли (с менее 0,1 % вероятности) суммарное число людей достигнет 100 триллионов. Следовательно, шанс того, что человечество распространится по всей галактике в течение многих тысячелетий, также мал.
  Однако из этого также следует, что вряд ли мы живём в последнем миллиарде родившихся людей, а значит, скорее всего, у нас есть ещё несколько сотен лет до 'конца света', учитывая ожидаемое население Земли в 10 млрд. человек. Для XXI века вероятность гибели цивилизации, исходя из формулы Готта, применяемой по рангу рождения (более старшие люди имеют более высокий ранг рождения) составляет 15-30 %, в зависимости от числа людей, которые будут в это время жить. Как ни странно, эта оценка совпадет с предыдущей, сделанной на основе парадокса Ферми. Разумеется, этот вопрос нуждается в дальнейших исследованиях.
  22.5 Рассуждение о конце света Картера-Лесли
  Лесли рассуждает несколько другим образом, чем Готт, применяя байесову логику. Байесова логика основывается на формуле Байеса, которая связывает апостериорную вероятность некой гипотезы с априорной её вероятностью и вероятностью новой порции информации (то есть свидетельства), которую мы получили в поддержку этой гипотезы. (Я рекомендую в этом месте обратиться к переведённым мною статьям Ника Бострома о Doomsday Argument, поскольку не могу изложить здесь всю проблематику в деталях.)
  Лесли пишет: допустим, есть две гипотезы о том, сколько будет всего людей от неандертальцев до 'конца света':
  1-ая гипотеза: всего будет 200 млрд. людей. (То есть 'конец света' наступит в ближайшее тысячелетие, так как всего на Земле уже жило 100 млрд. людей.)
  2-ая гипотеза: всего будет 200 трлн. людей (то есть люди заселят Галактику).
  Допустим, что вероятность каждого из исходов равна 50 % с точки зрения некого абстрактного космического наблюдателя. (При этом Лесли предполагает, что мы живём в детерминистическом мире, то есть, эта вероятность твёрдо определена самими свойствами нашей цивилизации, хотя мы этого и не знаем.) Теперь, если применить теорему Байеса и модифицировать эту априорную вероятность с учётом того факта, что мы обнаруживаем себя так рано, то есть среди первых 100 млрд. людей, мы получим сдвиг этой априорной вероятности в тысячу раз (разница между миллиардами и триллионами). То есть вероятность того, что мы попали в ту цивилизацию, которой суждено умереть относительно рано, стала 99,95 %.
  Проиллюстрируем это примером из жизни. Допустим, в соседней комнате сидит человек, который с равной вероятностью читает или книгу, или статью. В книге - 1000 страниц, а в статье 10 страниц. В случайный момент времени я спрашиваю этого человека какой номер страницы он читает. Если номер страницы больше, чем 10, я однозначно могу заключить, что он читает книгу, а если номер страницы меньше 10, то здесь мы можем применить теорему Байеса. Номер страницы меньше 10 может получиться в двух случаях:
  А) человек читает книгу, но находится в её начале, вероятность этого - 1 % из всех случаев, когда он читает книгу.
  Б) Человек читает статью, и здесь эта вероятность равна единице из всех случаев, когда он читает статью.
  Иначе говоря, из 101 случая, когда номер страницы может оказаться меньше 10, в 100 случаях это будет потому, что человек читает статью. Это значит, что вероятность того, что он читает статью, после получения нами дополнительной информации о номере страницы, стала 99 %.
  Свойство приведённых рассуждений состоит в том, что они резко увеличивают даже очень небольшую вероятность вымирания человечества в XXI веке. Например, если она равна 1 % с точки зрения некого внешнего наблюдателя, то для нас, раз мы обнаружили себя в мире до этого события, она может составлять 99.9 % в предположении, что в галактической цивилизации будет 200 триллионов человек.
  Из этого следует, что, несмотря на абстрактность и сложность для понимания данных рассуждений, мы должны уделять не меньшее внимание попыткам доказать или опровергнуть рассуждение Картера-Лесли, чем мы тратим на предотвращение ядерной войны. Многие учёные стараются доказать или опровергнуть аргумент Картера-Лесли, и литература на эту тему обширна. И хотя он мне кажется достаточно убедительным, я не претендую на то, что доказал этот аргумент окончательно. Я рекомендую всем, кто сомневается в логичности приведённых выше рассуждений, обратиться к литературе по этой теме, где подробно рассмотрены различные аргументы и контраргументы.
  Рассмотрим ещё несколько замечаний, которые работают за и против аргумента Картера-Лесли. Важным недостатком DA по Картеру-Лесли является то, что время будущего выживания людей зависит от того, каким мы выберем число людей в 'длинной' цивилизации. Например, при вероятности вымирания в XXI веке в 1 % и при будущем числе людей в длинной цивилизации в 200 триллионов происходит увеличение силы аргумента в 1000 раз, то есть мы имеем 99,9 процентов вымирания в XXI веке. Если пользоваться логарифмической шкалой, это даёт 'период полураспада' в 10 лет. Однако если взять число людей в длинной цивилизации в 200 квинтильонов, то это даст шанс в одну миллионную вымирания в XXI веке, что есть степени, и ожидаемый 'период полураспада' только в 5 лет. Итак, получается, что, выбирая произвольную величину времени выживания длинной цивилизации, мы можем получать произвольно короткое ожидаемое время вымирания короткой цивилизации. Однако наша цивилизация уже просуществовала на наших глазах больше, чем 5 или 10 лет.
  Чтобы учесть это различие, мы можем вспомнить, что чем больше людей в длинной цивилизации, тем менее она вероятна в соответствии с формулой Готта. Иначе говоря, вероятность того, что цивилизация вымрет рано - высока. Однако, судя по всему, рассуждение Картера-Лесли ещё больше увеличивает эту вероятность. При этом сложно сказать, корректно ли применять рассуждение Картера-Лесли вместе с формулой Готта, потому что здесь может получиться так, что одна и та же информация учитывается дважды. Этот вопрос нуждается в дальнейших исследованиях.
  Оригинальное рассуждение Лесли содержит и ряд других логических проколов, которые обобщил Бостромом в своих статьях, и основные из них относится к проблеме выбора референтного класса, а также к сомнениям в том, что выборка является действительно случайной. Объём рассуждений на эту тему настолько велик и сложен, что здесь мы только вкратце очертим эти возражения.
  Проблема референтного класса состоит в выборе того, кого именно мы должны считать людьми, к которым относится данное рассуждение. Если мы вместо людей возьмём животных, наделённых мозгом, то их будут тысячи триллионов в прошлом, и мы вполне можем ожидать такое же их количество в будущем. Я вижу решение проблемы референтного класса в том, что, в зависимости от того, какой именно референтный класс мы выбираем, соответствующее событие должно считаться концом его существования. То есть каждому референетному классу соответствует свой 'конец света'. Например, то, что в будущем будет только ещё несколько сотен миллиардов людей, никак не мешает тому, что в будущем будут ещё тысячи триллионы наделённых мозгом существ. В результате получаем очень простой вывод: Конец существования данного референтного класса есть 'конец света' для данного референтного класса. (При этом конец существования не означает смерть, а может означать просто переход в другой класс: например, младенец вырастает и становится дошкольником).
  Вторая логическая ошибка в рассуждении Картера-Лесли состоит в неслучайности выборки. Дело в том, что если бы я родился до ХХ века, то я бы никогда не узнал о рассуждении Картера-Лесли и никогда бы не мог задаться вопросом о его применимости. Иначе говоря, здесь имеется эффект наблюдательной селекции - не все наблюдатели равноценны. Поэтому рассуждение Картера-Лесли может применяться только теми наблюдателями, которые знают о нём.
  Однако это резко ухудшает наши шансы на выживание, даваемые DA. Ведь DA известен только с 80-х годов ХХ века, то есть примерно 30 лет. (Более того, в начале он был известен только более узкому кругу людей. То есть эти 30 лет смело можно сократить до 20.) Если взять эти 30 лет, и применить к ним формулу Готта, мы получим 50 % вероятности гибели в промежуток от 10 до 90 лет с настоящего момента, что примерно означает более 50 % для XXI века. Как ни странно, эта оценка не сильно расходится с двумя предыдущими.
  Можно произвести рассуждение и по-другому. Рассмотрим промежуток времени, в течение которого существуют глобальные риски. При этом в качестве точки отсчёта возьмём 1945 год, а в качестве точки случайного наблюдения - тот момент, когда я узнал о возможности ядерной войны, как одного из глобальных рисков - 1980 год. (В качестве длящегося события здесь мы рассматриваем период от начала периода подверженности риску до его окончания.) Итак, в момент случайного наблюдения этот риск уже существовал в течение 35 лет. Формула Готта даёт промежуток 50 % для шансов реализации риска с 12 до 105 лет (от 1980 года). То, что это событие до сих пор не случилось, вносит определённый сдвиг в оценку, но, тем не менее, мы можем сказать, что эти 50 % всё ещё действуют на остаток от промежутка в 90 лет с 1980 года, то есть до 2070 года. Иначе говоря, вероятность прекращения ситуации с глобальными рисками составляет более 50 % в XXI веке. Опять примерно тот же результат. Прекращение это может быть как реализация риска, так и переход в некое иное безрисковое состояние, о котором пока сказать ничего невозможно. Если же принять во внимание, что в реальности плотность риска росла в промежуток с 1945 по 70-е годы, то это значительно ухудшит нашу оценку.
  На самом деле Doomsday Argument не означает окончательного вымирания в ближайшее время. Для него достаточно резкого снижения численности населения. Например, если население Земли сократится до нескольких тысяч человек (существ), которые просуществуют миллион лет и потом исчезнут, то всё равно наибольшая доля людей из всех когда-либо живших будет жить в XX-XXI веке, когда население было несколько миллиардов и вероятнее всего обнаружить себя именно сейчас.
  Может оказаться тогда, что это будет вовсе не катастрофа, а просто снижение рождаемости плюс возникновение неких постлюдей. (Но это может быть и племя дикарей, и группа выживших в бункере, или подмножество учёных, которые способны понять DA - если оно будет меньше нынешнего подмножества, которое и так мало.) Сказанное даёт шанс на экспериментальное измерение DA. Но только теми, кто родился сейчас. Если я проживу 100 лет и увижу, что население Земли резко сократилось, то это будет хорошим подтверждением DA. (Правда, и многомирного бессмертия тоже.)
  22.6 Непрямая оценка вероятности природных катастроф
  Если не учитывать эффекты наблюдательной селекции, мы получаем очень хорошие шансы на выживание в XXI веке от любых природных (но не антропогенных) катастроф - от галактического до геологического масштабов, поскольку из того, что их не было за время существования Земли и нашего вида, следует очень малая вероятность того, что они произойдут в XXI веке. Поскольку ни одна природная катастрофа не уничтожила человеческих предков за прошедшие 4 млрд. лет, можно заключить, что наши шансы на гибель XXI веке от природных катастроф составляют менее чем 1 к 40 миллионам. (А с учётом высокой человеческой живучести и приспособляемости, и того меньше.) К сожалению, такие рассуждения принципиально неверны, так как не учитывают малоочевидный эффект наблюдательной селекции.
  В силу этого эффекта ожидаемое будущее время существования будет меньше, чем прошлое (см. подробнее мою статью 'Природные катастрофы и антропный принцип' и главу о наблюдательной селекции в разделе о природных катастрофах). Всё же вряд ли вклад наблюдательной селекции составляет больше одного порядка. Однако для разных уровней природных катастроф мы имеем разные характерные периоды времени. Например, жизнь на Земле существует уже 4 млрд. лет, и, с учётом сказанного, она могла бы существовать ещё не менее 100 - 400 млн. лет. (Наблюдательная селекция здесь состоит в том, что мы не знаем, какая доля планет земного типа гибнет в процессе эволюции; предположив, что доля уцелевших составляет от 1 к 1000 до 1 к триллиону, и получаем оценки в 100-400 млн. лет как период полураспада.) То есть непрямая оценка вероятности природной катастрофы, которая уничтожит всё живое, была бы 1 к 4 000 000 за сто лет. Это пренебрежимо малая величина на фоне других рисков. Что касается времени существования нашего вида, то последняя природная катастрофа, угрожавшая ему, была гораздо ближе во времени, 74 000 лет назад (вулкан Тоба), и поэтому мы имеем ожидаемое время существования только 7000 лет с учётом максимально возможного эффекта наблюдательной селекции. Наблюдательная селекция здесь состоит в том, что если бы люди были очень мало живучим видом, который вымирает с периодичностью раз в несколько тысяч лет, мы не могли бы заметить этого, так как мы можем заметить только ту ветвь нашего вида, которая прожила достаточный срок для формирования цивилизации, в которой мы можем задаться данным вопросом. 7000 лет соответствовало бы, с учётом огромной погрешности таких рассуждений, примерно шансам в 1 % вымирания в XXI веке в результате природных катастроф или внутренней присущей виду неустойчивости - причём это максимальная оценка в наихудшем случае. Если не брать в расчет наблюдательную селекцию, то шансы природной катастрофы любого рода, ведущей к вымиранию человечества, на основании прошлого времени существования можно вычислить с помощью формулы Готта (применяемой к времени существования Homo sapiens), и они будут 1 к 1500 за 100 лет, то есть, 0,066 %.
  Наконец, есть третьего рода катастрофы, вероятность которых мы можем косвенно оценить по прошлому времени, а именно, по времени, в течение которого существует письменная история, то есть 5000 лет. Мы можем смело утверждать, что за 5000 лет не произошло ни одной катастрофы, которая бы прервала письменную историю. Здесь тоже возможна, но маловероятна наблюдательная селекция, поскольку сильнее действуют не природные, а антропогенные факторы. Та катастрофа, которая могла бы прервать письменную историю 3000 лет назад, например, извержение сверхвулкана в Средиземноморье, сейчас бы уже не могла сделать это. Поэтому можно смело сказать, что природная катастрофа, прерывающая письменную традицию (такой, как она была в прошлом, а не сейчас) имеет шансы не более 1 % в XXI веке, считая по формуле Готта (применяя её ко всему времени существования письменной традиции). А поскольку сейчас письменная традиция гораздо прочнее, чем в прошлом, то можно эту оценку смело уменьшить вдвое: до 0,5 %. И даже такая катастрофа, которая прервала бы письменность в прошлом, не прервёт её сейчас и не убьёт всех людей.
  Наконец, эффект наблюдательной селекции может проявляться и в отношении антропогенных катастроф, а именно, к глобальному риску ядерной войны. (В предположении, что всеобщая ядерная война уничтожила бы человечество или отбросила бы его настолько назад, что написание книг стало бы невозможным.) Эффект наблюдательной селекции здесь состоит в том, что мы не знаем, каковы были шансы нашей цивилизации выжить в период с 1945 до 2007 года, то есть за время существования ядерного оружия. Может быть, в девяти из десяти 'параллельных миров' это не удалось. Соответственно, в результате мы можем недооценивать глобальные риски. Если бы интенсивность изменения числа наблюдателей была бы очень велика, то это оказывало бы 'прижимающее' воздействие на дату, в которой бы мы себя обнаруживали - то есть мы бы вероятнее всего обнаруживали себя достаточно рано. См. подробнее статью Бострома и Тегмарка [Bostrom, Tegmark 2005], где предложены точные выкладки для катастроф космологических масштабов. Если бы вероятность риска вымирания составляла бы 90 % в год, тогда бы я, скорее всего, жил бы не в 2007, а в 1946. То, что я всё ещё жив в 2007 году, даёт определённый верхний предел (с определённой заданной достоверностью) на темп вымирания (для исторических условий XX века). А именно: 5 летний период 'полураспада' можно исключить примерно с вероятностью 99,9 % (так как за 50 лет прошло 10 циклов по 5 лет, и 2 в 10 степени это 1024. то есть за 50 лет уцелела бы только одна тысячная доля планет.) Рассуждая дальше подобным образом можно достаточно достоверно исключить периоды 'полураспада' цивилизации меньшие, чем 50 лет. Однако большие мы исключить не можем. Это, конечно не значит, что реальный период 'полураспада' и есть 50 лет, однако, если исходить из принципа предосторожности, то надо предположить, что это так. Такой период полураспада означал бы наши шансы дожить до XXII века примерно в 25 %. И это - в предположении, что уровень угроз останется неизменным с середины XX века.
  Выводы: различные независимые методы непрямых рассуждений дают оценки вероятности гибели цивилизации в XXI веке в десятки процентов Это не должно нас успокаивать в том смысле, что как будто бы это гарантирует нам достаточно высокую вероятность выживания. Потому что, если учесть степень неопределённости таких рассуждений, то это события категории 'десятки процентов', которая, как мы предположили в начале, означает риски от 1 до 100 %.
  22.7 Рассуждение о Симуляции
  Рассуждение о Симуляции это логическая теорема, которую разработал Ник [Bostrom 2003] (мы уже упоминали её в контексте рисков внезапного отключения 'Матрицы' и принципиально новых открытий). Вот как рассуждает Бостром:
  Исходя из текущих тенденций в развитие микроэлектроники, кажется вполне вероятным, что рано или поздно люди создадут саморазвивающийся искусственный интеллект. Нанотехнологии обещают предельную плотность процессоров в триллион штук на грамм вещества (углерода) - с производительностью порядка 10 флопс. Так же нанотехнологии позволят превращать залежи каменного угля в огромный компьютер (поскольку основным строительным материалом для него, возможно, станет углерод). Это открывает перспективу превращения всей Земли в 'компьютрониум' - одно огромное вычислительное устройство. Мощность такого устройства оценивается в 10 операций в секунду. (Что соответствует превращению миллиона кубических километров вещества в компьютрониум, который покроет всю Землю слоем в 2 метра.) Использование всего твёрдого вещества в Солнечной системе даст порядка 10 флопс. Очевидно, что такая вычислительная мощь могла бы создавать детальные симуляции своего человеческого прошлого. Поскольку предполагается, что для симуляция одного человека нужно не более чем 10 флопс (это число основано на количестве нейронов и синапсов в мозгу, и частоте их переключения), то это даст возможность симулировать одновременно 10 людей, или 10 цивилизаций, подобных нашей, с нашей же скоростью развития. Вряд ли компьютрониум направит все свои ресурсы на симулирование людей, но даже если он выделит на это одну миллионную усилий, это будет всё ещё порядка 10 человеческих цивилизаций. Итак, даже если только одна из миллиона реальных цивилизаций порождает компьютрониум, то этот компьютрониум порождает порядка 10 цивилизаций, то есть на каждую реальную цивилизацию приходится 10 виртуальных. Здесь важны не конкретные цифры, а то, что при вполне реалистичных предположениях множество симулированных цивилизаций на много-много порядков больше множества реальных.
  Отсюда Бостром делает вывод, что верно по крайней мере одно утверждение из трёх:
  1) Ни одна цивилизация не способна достичь технологического уровня, необходимого для создания всемирного компьютрониума.
  2) Или КАЖДЫЙ возможный компьютрониум во вселенной будет абсолютно не заинтересован в моделировании своего прошлого.
  3) Или мы уже находимся внутри имитации в компьютрониуме.
  При этом пункт 2 можно исключить из рассмотрения, потому что есть причины, по которым хотя бы некоторые компьютрониумам будет интересно, каковы именно были обстоятельства их возникновения, но нет такой универсальной причины, которая могла бы действовать на все возможные компьютрониумы, не позволяя им моделировать своё прошлое. Причина интереса к своему прошлому может быть много - например, это может быть вычисление вероятности своего возникновения, чтобы оценить плотность других сверхцивилизаций во вселенной или симуляция какой бы то ни было реальности исключительно ради развлечения.
  П.1 означает, что или компьютрониум и симуляции в нём технически невозможны, или что все цивилизации гибнут раньше, чем обретают возможность его создать, что, однако, не означает с необходимостью вымирания носителей этой цивилизации, то есть в нашем случае людей, а только крах технического прогресса и откат назад. Однако пока не видно объективных причин, делающих компьютрониум невозможным. (Например, утверждения о том, что симуляция сознания невозможна, поскольку сознание является квантовым эффектом, не работает, так как возможны квантовые компьютеры.) При этом нельзя сказать, что компьютрониум невозможен в принципе, так как люди свойственно видеть сны, не отличимые изнутри от реальности (то есть являющиеся качественной симуляцией), а значит, с помощью генетических манипуляций можно вырастить супермозг, который видит сны непрерывно.
  Таким образом, рассуждение о симуляции сводится к острой альтернативе: 'Или мы живём в мире, который обречён погибнуть, или мы живём в компьютерной симуляции'.
  Итак, гибель мира в этом рассуждении не означает вымирания всех людей, а только гарантирует прекращение научно-технологического прогресса до того, как компьютрониум будет создан. Гарантированность означает, что это произойдёт не только на Земле, но и на всех остальных возможных планетах. Это означает, что имеется некий очень универсальный закон, который препятствует подавляющему (на много-много порядков) большинству цивилизаций создать компьютрониум. Возможно, это происходит просто потому, что компьютрониум невозможен, или потому что моделирование человеческого сознания на нём невозможно. Но может быть, что это происходит потому, что ни одна цивилизация не может достичь уровня компьютрониума, так как сталкивается с некими неразрешимыми противоречиями и или погибает, или откатывается назад. Эти противоречия должны носить универсальный характер, а не быть связаны только, скажем, с атомным оружием, потому что тогда цивилизации на тех планетах, в коре которых нет урана, смогут устойчиво развиваться. Примером такого универсального противоречия может быть теория хаоса, которая делает системы выше определённого уровня сложности принципиально нестабильными. Другой пример универсального закона, ограничивающего существование систем - это старение. Оно работает так, что ни один человек не может прожить больше 120 лет, хотя для каждого находятся свои конкретные причины смерти. Можно сказать, что ускорение прогресса - это старение наоборот.
  Отметим, что наличие универсального процесса уничтожения, дающего верхний предел существованию всех цивилизаций, существование которого подчёркивает Универсальный DA Виленкина и Олума, означает гораздо более мощное давление на среднестатистические цивилизации. Например, наличие верхнего предела продолжительности жизни человека в 120 лет означает среднюю продолжительность жизни около 70 лет. Универсальный процесс уничтожения должен подавлять даже самые живучие цивилизации, а мы, скорее всего, являемся среднестатистической цивилизацией. Следовательно, на нас этот процесс должен начать действовать раньше и с избыточной силой.
  Известное возражение на эти рассуждения опирается на то, что симуляция реальности вовсе не обязательно является копией того, что было в прошлом. (См. обзор возражений рассуждению о симуляции в статье Данилы Медведева 'Живём ли мы в спекуляции Ника Бострома?' ) И если мы находимся в сконструированном мире, то это не позволяет нам делать выводы о том, каков реальный мир. Как, например, не может персонаж из компьютерной игры догадаться о реальном устройстве мира людей. Однако то, что мы не знаем, каков мир за пределами симуляции, не мешает нам знать, что мы всё же находимся в симуляции. Здесь важно различать два смысла слова 'симуляция' - как компьютерной модели, и как того факта, что эта модель напоминает некое историческое событие из прошлого. При этом можно предположить, что большинство симуляций не являются точными копиями прошлого, и значительная доля симуляций вообще не имеет отношения к прошлому той цивилизации, которая их затем создала. Также как в литературе большинство романов не является историческими романами, и даже исторические романы не точно совпадают с прошлым.
  Если мы находимся внутри симуляции, нам угрожают все те же риски гибели, которые могут случиться и в реальности, плюс вмешательство со стороны авторов симуляции, которые нам могут подкинуть некие 'трудные задачки' или исследовать на нас некие экстремальные режимы, или просто поразвлечься за наш счёт, как мы развлекаемся, смотря фильмы про падение астероидов. Наконец, симуляция может быть просто внезапно выключена. (У симуляции может быть предел ресурсоёмкости, поэтому авторы симуляции могут просто не позволить нам создавать настолько сложные компьютеры, чтобы мы могли запускать свои симуляции.)
  Итак, если мы находимся в симуляции, это только увеличивает нависшие над нами риски и создаёт принципиально новые - хотя появляется шанс внезапного спасения со стороны авторов симуляции.
  Если же мы не находимся в симуляции, то велик шанс, что любые цивилизации по причине катастроф не достигают уровня создания компьютрониума, который мы могли бы достичь к концу XXI века. А это означает, велика вероятность неких глобальных катастроф, которые не позволят нам достичь этого уровня.
  Если мы придерживаемся Байесовой логики, нам следовало бы приписывать равные вероятности независимым гипотезам. И тогда мы должны были бы приписать гипотезе о том, что наша цивилизация не достигнет уровня компьютрониума 50 % вероятности (что означает либо невозможность достижения его, либо неизбежность краха цивилизации). Эта оценка совпадает по порядку величины с оценками, которые мы получили другими способами.
  Получается, что рассуждение о симуляции действует таким образом, что обе его альтернативы ухудшают наши шансы выживания в XXI веке, то есть его нетто вклад отрицательный, независимо от того, как мы оцениваем шансы одной из двух альтернатив. (Моё мнение состоит в том, что вероятность того, что мы находимся в симуляции, - выше на много порядков, чем вероятность того, что мы реальная цивилизация, которой суждено погибнуть.)
  Интересно отметить повторяющийся паттерн: альтернатива с SETI также имеет отрицательный нетто-эффект - если они рядом, то мы в опасности, если их нет, то мы тоже в опасности, поскольку это значит, что некоторые факторы мешают им развиваться.
  22.8 Интеграция различных непрямых оценок
  Все приведённые выше непрямые оценки выполнены независимо друг от друга, хотя дают примерно одинаковые и неутешительные результаты, состоящие в том, что вероятность человеческого вымирания в XXI веке достаточно высока. Однако поскольку эти рассуждения относятся к одной и той же реальности, возникает желание объединить их в более целостную картину. Рассуждение о симуляции Бострома существует логически отдельно от рассуждения конце света Картера-Лесли (которое ещё надо связать с формулой Готта), и соответственно возникает соблазн их 'поженить'. Такая попытка предпринимается в работе Иштвана Араньоси 'The Doomsday Simulation Argument' [Aranyosi 2004]. Их, в свою очередь, интересно связать с многомирным бессмертием в духе Хигго и с влиянием эффекта наблюдательной селекции.
  Интересная попытка такого рода предпринята в уже упоминавшейся статье Кноба, Олума и Виленкина 'Философское значение космологической инфляции' [Knobe, Olum, Vilenkin 2006]. В противовес 'частному Doomsday argument' в духе Картера-Лесли, они выдвигают 'Вселенский Doomsday argument'. А именно, они показывают, что из того, что мы обнаруживаем себя в ранней форме человечества, следует, с высокой вероятностью, то, что множество людей, находящееся в короткоживущих цивилизациях, больше множества всех людей, находящихся во всех долгоживущих цивилизациях по всей вселенной, или, иначе говоря, количество долгоживущих цивилизаций крайне мало. Это опять-таки означает, что шансы нашей цивилизации не прожить миллионы лет и не заселить галактику - весьма велики, однако меняет вероятные причины вымирания: а именно, это скорее произойдёт не из-за какой-то частной причины, относящийся только к Земле, а из-за некой универсальной причины, которая бы действовала на все планетарные цивилизации. Мы должны быть озабочены, пишут они, не орбитой конкретного астероида, а тем, что во всех планетарных системах существует настолько много астероидов, что это делает выживание цивилизаций маловероятным; мы должны быть озабочены не тем, что некая конкретная ближайшая звезда станет сверхновой, а тем, что смертоносность сверхновых существенно недооценивается. Отметим, что тот же вывод о том, что множество короткоживущих цивилизаций значительно превосходит множество долгоживущих, следует и из рассуждения о симуляции Бострома, если в качестве короткоживущих цивилизаций считать симуляции.
  Я полагаю, что интеграция непрямых оценок нужна для того, чтобы выяснить, какие рассуждения перекрывают другие, то есть какие из них являются более сильными в логическом смысле. (При этом возможно, что последующие исследования смогут дать более точную картину интеграции, и сведут все отдельные выкладки к одной формуле.) Я вижу такой порядок мощности высказываний (более сильные утверждения, отменяющие более слабые, сверху). При этом не все они могут быть истины.
  1. Качественная теория сознания, основанная на понятии о квалиа. Квалиа - это философский термин, обозначающий качественную сторону в любом восприятии, например, 'красность'. Природа и реальность квалиа являются объектом интенсивных дискуссий. Теории о квалиа пока не существует, есть только несколько логических парадоксов, с этим связанных. Однако, судя по всему, теория о квалиа может исключать представления о множественности миров и линейности времени. В силу этого такая теория, будь она создана и доказана, сделала бы неправомочными любые нижеследующие рассуждения.
  2. Рассуждение о бессмертии Дж. Хигго, основанное на идее о множественности миров. В этом случае всегда найдётся мир, где я, и часть земной цивилизации соответственно, не погибла. Рассуждение о бессмертии Хигго является очень сильным, потому что оно не зависит ни от конца света, ни от того, находимся ли мы в симуляции или нет. Бессмертие по Хигго делает личный конец света невозможным. Ни один хозяин симуляции никак не может повлиять на работу рассуждения Хигго, потому что всегда найдётся бесконечное количество других симуляций и реальных миров, в точности совпадающих с данной в текущий момент времени, но имеющих с ней разные будущие. Однако рассуждение Хигго опирается на 'self-sampling assumption' - то есть идею о том, что 'Я' являюсь одним из экземпляров из множества своих копий - а на эту же идею опираются и все последующие рассуждения - аргумент о симуляции, формула Готта, рассуждение о конце света Картера-Лесли. Любые попытки опровергнуть бессмертие по Хигго, основанное на невозможности рассмотрения себя как одного из экземпляров из множества своих копий одновременно опровергают и все эти рассуждения.
  3. Рассуждение о симуляции Бострома. Оно тоже работает в предположении о множественности миров, тогда как последующие рассуждения не учитывают этот факт. Кроме того, если мы на самом деле находимся в симуляции, то мы не наблюдаем мир в случайный момент времени, поскольку симуляции, скорее, должны быть привязаны к исторически интересным эпохам. Наконец, рассуждения в духе DA требуют возможной непрерывной нумерации людей или непрерывного счёта времени, что в случае множества симуляций не работает. Поэтому любые формы DA утрачивают силу, если рассуждение о симуляции верно. Рассуждение о симуляции сильнее рассуждения о конце света Картера-Лесли и формулы Готта, потому что оно работает независимо от того, сколько ещё людей появится в нашем реальном мире. Более того, оно существенно размывает понятия о количестве людей и о том, что такое реальный мир, поскольку неясно, должны ли мы считать будущих людей из других симуляций так же, как и реальных. Непонятно также, должна ли каждая симуляция моделировать весь мир от начала до конца, или только некий отрезок его существования только для нескольких людей, а в пределе - только для одного человека (так называемые я-симуляции) и как это влияет на подсчёт ожидаемого будущего времени. Всё же DA может быть применён к самим симуляциям - а именно, предположим, что есть длинные и короткие симуляции - то есть в одних симуляциях моделируется мир только до конца 21 века - а во вторых - вплоть до освоения всей галактики людьми. Тогда из DA следует, что большинство симуляций - короткие, и что мы живём в одной из них. Кроме того, можно различать дорогие и дешёвые симуляции. Последними могут быть симуляции, создаваемые внутри симуляций, то есть подсимуляции самого нижнего уровня. В дешёвых симуляциях гораздо более вероятны вирусы и ошибки. Опять же количество дешёвых симуляций должно превосходить дорогие (как число стекляшек превосходит число алмазов). Так что скорее всего мы должны обнаруживать себя в дешёвой симуляции самого нижнего уровня - что также объясняет то, что она короткая во времени. Поскольку каждая симуляция симулирует предшествующие ей во времени события, и в результате число симуляций самых ранних исторических эпох максимально.
  4. Формула Готта. Формула Готта уверенно работает в отношении событий, не связанных с изменением числа наблюдателей, например, в отношении радиоактивного распада, даты сноса берлинской стены, предсказания продолжительности человеческой жизни и т. д. Однако она даёт гораздо более мягкую оценку будущей продолжительности существования человечества, чем аргумент Картера-Лесли, а также является более простым и понятным инструментом для оценки будущего, чем рассуждение Картера-Лесли, хотя бы потому, что формула Готта предлагает конкретные числовые оценки, а рассуждение Картера-Лесли даёт только поправку к исходным вероятностям (которые нам неизвестны). Далее, формула Готта применима к любым референтным классам, так как для любого класса она даёт оценку времени завершения именного этого класса. А в рассуждении Картера-Лесли упоминается обычно именно смерть наблюдателя, и следовательно это рассуждение надо адаптировать к ситуациям, где наблюдатель не умирает. Вопрос о том, следует ли поправки, предлагаемые рассуждением Картера-Лесли, применять к оценкам, которые дала формулой Готта, требует дальнейшего исследования.
  5. Рассуждение Картера-Лесли. Важным условием аргумента Картера-Лесли (в его интерпретации Бостромом) является несуществование других цивилизаций, помимо земной. Кроме того, очень трудно придумать реальный эксперимент, с помощью которого можно было бы проверить силу этого рассуждения. А мысленные эксперименты работают с определёнными натяжками.
  6. Парадокс Ферми тоже находится внизу этого списка, поскольку рассуждение о симуляции очевидным образом отменяет его значение: в симуляции плотность цивилизаций может быть любой, равно как и риск их агрессии, в зависимости от прихоти владельцев симуляции.
  Всё сказанное здесь о непрямых способах оценки находится на тонкой грани между доказуемым и гипотетическим. Поэтому я предлагаю осторожно относиться к сделанным выводам, но и не оставлять их без внимание при дальнейших исследованиях. К сожалению, исследования непрямых способов оценки вероятности глобальной катастрофы могут пролить свет на наше ожидаемое будущее, но не дают никаких возможностей к его изменению.
  Глава 23. Наиболее вероятные сценарии глобальной катастрофы
  Теперь мы можем попытаться обобщить результаты анализа, представив наиболее вероятный сценарий глобальной катастрофы. Речь идёт не об объективной оценке реальных вероятностей, которые мы можем вычислить только относительно падения астероидов, а о субъективной оценке, то есть 'best guess' - наилучшей догадке. Очевидно, что такая оценка будет окрашена личными предпочтениями автора, поэтому я не стремлюсь выдавать её за объективную точно вычисленную вероятность и буду корректировать по мере появления новой информации.
  В этой оценке я учитываю как вероятность самих событий, так и их близость к нам по времени. Поэтому я приписываю малые вероятности нанотехнологической серой слизи, которая, хотя и возможна технически, но затмевается более ранними рисками, связанными с биотехнологиями. Точно так же создание ядерного оружия судного дня требует многих лет и экономически нецелесообразно, поскольку ущерб такого масштаба дешевле и быстрее будет нанести с помощью биологического оружия.
  Эти предположения сделаны относительно предполагаемых угроз даже с учётом того, что люди будут стараться им противостоять настолько, насколько позволяют их возможности. Итак, я вижу два наиболее вероятных сценария окончательной глобальной катастрофы в XXI веке, ведущей к полному вымиранию человечества:
  1) Внезапный сценарий, связанный с неограниченным ростом искусственного интеллекта, который имеет недружественные в отношении человека цели.
  2) Системный сценарий, в котором ведущую роль играет биологическое оружие и прочие продукты биотехнологий, но также применяется ядерное оружие и микророботы. Кроме того, свою роль играют распространение сверхнаркотиков, загрязнение среды, исчерпание ресурсов. Суть этого сценария в том, что какого-то одного уничтожающего людей фактора не будет, а возникнет вал множества факторов, превосходящий все возможности по выживанию.
  Наиболее вероятное время действия обоих сценариев - 2020-2040 годы. Иначе говоря, я полагаю, что если уж эти сценарии реализуются, то с шансами более 50 % они произойдут в указанный промежуток времени. Эта оценка обоснована тем, что в свете текущих тенденций обе технологии вряд ли созреют до 2020 года или после 2040 года.
  Теперь попытаемся проинтегрировать все возможные сценарии с учётом их взаимного влияния так, чтобы итоговая вероятность была равна 100 % (при этом следует рассматривать эти цифры как мою предварительную оценку с точностью до порядка). Оценим общую вероятность вымирания человечества в XXI веке, в соответствии со словами сэра Мартина Риса, в 50 %. Тогда кажутся убедительными следующие оценки вероятности вымирания:
   15 % - недружественный ИИ или борьба разных ИИ уничтожает людей. Я приписываю ИИ такую высокую вероятность, потому что именно ИИ будет обладать способностью обнаруживать всех людей без исключения и воздействовать на них, в большей мере, чем другие факторы.
   15 % - системный кризис с многократным применением биологического, нано и ядерного оружия.
   14 % - нечто неизвестное.
   1 % - неудержимое глобальное потепление и другие варианты природных катастроф, вызванных деятельностью человека.
   0,1 % - естественные природные катастрофы,
   0,9 % - неудачные физические эксперименты
   1 % - серая слизь: внезапная нанотехнологическая катастрофа
   1 % - SETI-атака
   1 % - ядерное оружие судного дня
   1 % - прочие.
  Оставшиеся 50 % приходятся на шансы того, что в XXI веке люди не вымрут. Они видятся состоящими из:
   15 % - Позитивная технологическая сингулярность. Переход на новый этап эволюционного развития.
   10 % - Негативная сингулярность, в ходе которой люди выживают, но утрачивают значение. Варианты: выжившие в бункере, люди как домашние животные у сверхлюдей, безработные у телевизора. Власть переходит к ИИ и машинам.
   5 % - Sustainable development - человеческая цивилизация развивается без скачков в технологиях и без катастроф. Это предлагается традиционными футурологами в качестве наилучшего варианта.
   20 % - Откат на стадию постапоклиптического мира. Разные уровни деградации.
  Теперь рассмотрим возможное влияние на эти цифры разных форм DA. Формула Готта, взятая в отношении всего количества людей на Земле, даёт не очень большие шансы вымирания в XXI веке - на уровне 10 %, однако значительно ограничивает шансы человечества прожить следующее тысячелетие или больший срок.
  Ещё один вариант рассуждений с использованием DA и формулы Готта состоит в её рефлексивном применении, - и правомерность такого применения серьёзно оспаривается . А именно, если применить формулу Готта к моему в множестве всех людей, которые знают о формуле Готта (то есть к номеру по дате вхождения в это множество), то либо DA будет скоро окончательно опровергнут, либо шансы выживания в XXI веке оказываются призрачными. Это связано с тем, что одно из самых экстремальных и спорных решений проблемы референтных классов, к которым относится DA, состоит в том, что он относится только к тем людям, которые о нём знают. Такое решение проблемы референтных классов предложил ещё сам первооткрыватель DA Картер, когда впервые докладывал о DA на заседании Королевского общества. Экстремальность этого решения в том, что поскольку в прошлом было очень немного людей, которые знают о DA (примерно десятки тысяч в настоящий момент), то тот факт, что я обнаруживаю себя так рано (то есть первых десятках тысяч) в этом множестве, говорит, согласно логике самого DA, что и в будущем будет примерно столько же знающих о нём людей. Поскольку число знающих о DA непрерывно нелинейно растёт, то уже через несколько десятков лет оно должно было бы достигнуть миллионов. Однако, согласно логике самого DA, это маловероятно, раз я обнаружил себя так рано в этом множестве. Следовательно, что-то помешает тому, что множество знающих о DA достигнет такой большой величины. Этим фактором может быть или опровержение DA, или то, что просто не будет людей, которые будут им интересоваться. Как и многие другие варианты DA, этот вариант можно опровергнуть, указав на то, что я не являюсь случайным наблюдателем DA в случайный момент времени, а некие априорно присущие мне особенности привели к тому, что я интересуюсь разными непроверенными гипотезами на ранних стадиях обсуждения.
  Рассуждение Картера-Лесли не даёт прямой оценки вероятности, а только модифицирует априорную оценку. Однако вклад этой модификации может быть столь значителен, что конкретная величина априорной оценки вероятности становится не важна. Например, Дж. Лесли приводит следующий пример применения рассуждения Картера-Лесли в своей книге: априорную вероятность вымирания человечества в ближайшее время полагается равной в 1 %, и разрыв между численностью человечества при 'плохом' и при 'хорошем' сценарии в тысячу раз. Тогда этот априорный 1 % превращается у него через формулу Байеса в апостериорные 50 %. Однако если мы применим те же положения к нашей априорной вероятности в 50 %, то получим шансы вымирания в 99,9 %.
  Наконец, третий вариант Доказательство Конца Света в формулировке Бострома-Тегмарка, адаптированной мной к менее масштабным природным процессам, не оказывает существенного влияния на вероятность природных катастроф в XXI веке, так как ограничивает степень недооценки их частоты одним порядком, что всё равно даёт шанс меньше 0,1 %. Наихудшим (но совершенно не обязательным) проявлением эффекта наблюдательной селекции была бы недооценка вероятности глобальной ядерной войны. Эта недооценка бы повысила ожидаемую частоту ядерной войны от одного события раз в несколько десятков лет до одного события раз в несколько лет. Всё же верхняя граница - это ещё не само значение, так что последствия не столь плохи.
  Итак, непрямые способы оценки вероятности глобальной катастрофы или подтверждают оценку порядка 50 % в XXI веке, или резко увеличивают её до 99 % ѓ- однако те варианты рассуждений, в которых вероятность резко возрастает, не обладают столь же высокой степенью доказанности (99 %). Поэтому мы можем остановиться на суммарной оценке в 'более, чем 50 %'.
  Гораздо проще придумывать сценарии глобальной катастрофы, чем способы её предотвращения. Это наводит на мысль о том, что вероятность глобальной катастрофы весьма велика. При этом все описанные сценарии могут реализоваться в XXI веке. Ник Бостром оценивает вероятность глобальной катастрофы как 'не менее 25 процентов'. Мартин Рис - в 30 процентов (на 500 ближайших лет). По моему субъективному мнению, она больше 50 процентов. При этом её погодовая вероятность больше 1 процента и продолжает расти. Пик этого роста придётся на первую половину XXI века. Следовательно, очень многое сейчас зависит от нас.
  Вместе с тем предсказать конкретный сценарий в настоящий момент нереально, так как это зависит от множества неизвестных и случайных факторов. Однако растёт число публикаций на темы глобальных катастроф, составляются досье по рискам, через несколько лет эти идеи начнут проникать и в органы власти всех стран. Становится понятным оборонное значение нанотехнологий и допускается возможность создания 'серой слизи'. Понимание серьёзности рисков должно сплотить всех людей на переходный период, чтобы они могли объединиться перед лицом общей угрозы.
  Анализ рисков глобальных катастроф даёт нам новую точку зрения на историю. Теперь мы можем оценивать режимы и политических деятелей не с точки зрения того, что хорошего они сделали для своей страны, а с той точки зрения, с которой видно, насколько эффективно они предотвращали глобальную катастрофу. С точки зрения будущих жителей XXII века будет важно не то, как хорошо или плохо мы жили, а насколько мы постарались, чтобы вообще дожить до будущего.
  В заключение имеет смысл высказаться о принципиальной непредсказуемости глобальных катастроф. Мы не знаем, произойдёт ли глобальная катастрофа, и если да, то как и когда. Если бы мы могли это знать, то 'заранее подстелили бы соломку'. Это незнание похоже на то незнание, которое есть у каждого человека о времени и причине его смерти (не говоря уже о том, что будет после смерти), но у человека есть хотя бы пример других людей, который даёт статистическую модель того, что и с какой вероятностью может произойти. Наконец, хотя люди и не очень-то любят думать о смерти, но всё же время от времени каждый о ней думает и как-то учитывает в своих планах. Сценарии же человеческого вымирания практически вытеснены в общественное бессознательное. Глобальные катастрофы отгорожены от нас пеленой как технического незнания, связанной с нашим незнанием реальных орбит астероидов и тому подобного, так и психологической, связанной с нашей неспособностью и нежеланием их предсказывать и анализировать. Более того, глобальные катастрофы отделены от нас и теоретическим незнанием - мы не знаем, возможен ли Искусственный интеллект, и в каких пределах, и мы не знаем, как правильно применять разные версии Доказательство Конца Света, которые дают совершенно разные вероятностные оценки времени человеческого выживания.
  Мы должны признать, что на каком-то уровне катастрофа уже произошла: окутывающая нас тьма непостижимости затмила ясный и понятный мир предсказуемого прошлого. Недаром одна из статей Ника Бострома называется: 'Технологические революции: Этика и политика во тьме' [Bostrom 2007]. Нам потребуется собрать всю имеющуюся у нас ясность сознания, чтобы продолжить путь в будущее.
  
  
  
  Часть 2. Когнитивные искажения в оценке глобальных рисков
  Глава 1. Общие замечания. Ошибка как интеллектуальная катастрофа
  
  Можно предложить следующую метамодель глобальных рисков: основным глобальным риском является, с одной стороны, то, что цивилизация одновременно порождает много разных глобальных рисков, а с другой стороны - принципиальная не способность человека и созданных им систем всемирной власти управлять глобальными рисками. Это доходит до уровня парадокса: то, что нам угрожает - это, как выразился Билл Джой, "знания массового поражения". Однако наша неспособность противостоять этим угрозам связана с нашим незнанием. Незнанием самих рисков, а потом незнанием деталей того, кто и где начал реализовывать конкретный риск. Избыток знаний с одной стороны сталкивается с крайним недостатком знаний с другой стороны. Отсюда и единственный (но малоприятный) вывод: уровень контроля должен быть пропорционален уровню угрозы. Знание угроз должно быть равно угрозе от знаний.
  Анализу первой половины этой дилеммы была посвящена первая часть этой книги. Здесь же мы рассмотрим причины неспособности человека и созданных им всемирных систем управления адекватно реагировать на возникающие глобальные риски. Полный анализ теории принятия решения относительно глобальных рисков ещё пока написан, и здесь мы ограничимся оставлением списка основных когнитивных искажений, который могут влиять на оценку глобальных рисков и принятие решений.
  Когнитивные искажения в оценке глобальных рисков можно уподобить искажениям на неком канале связи. В начале этого канала стоит сама возможность глобальной катастрофы, а в конце - реализация этой возможности. Среда этого канала - это человеческое общество в своей исторической конкретике. Описание этого как 'канала связи' условно, но оно поможет нам упорядочить огромную массу когнитивных искажений и прочих ошибок в принятии решений.
  То есть когнитивные искажения не витают сами по себе в пространстве. Они приобретают значение в той мере, в какой современное общество оказывается неспособным предотвратить те риски, которые оно технически могло бы предотвратить. Рассмотрим разные этапы прохождения этого сигнала. Для примера возьмём условный физический эксперимент, ведущий к образованию 'синей слизи'.
  1. Фаза незнания. На первой стадии никто не знает о самой возможности 'синей слизи'. В начале нет никакой возможности об этом догадаться, но потом оказывается , что вообще-то, если бы поставили некие опыты или продумали последствия, то можно было бы догадаться и раньше.
  2. Фаза идеи. На следующей стадии появляется человек, который предположил, что 'синяя слизь' возможна. Затем он предполагает, что 'синяя слизь' приведёт к глобальной катастрофе.
  3. Фаза споров. На этой фазе он начинает взаимодействовать с другими людьми, обсуждая возможность 'синей слизи'. Он сталкивается с огромным количеством непонимания, отвержения. Здесь играет масса когнитивных искажений.
  4. Фаза партий. В какой-то момент возникает группа единомышленников. Тут можно вспомнить теорию научных революций Куна. Эта группа единомышленников стремится сообщить о своих идеях лицам, принимающим решения. Идёт политическая борьба.
  5. Фаза правительств. Наконец, большинство мировых правительств соглашаются с опасностью 'синей слизи'. Начинается правительственная активность по борьбе с 'синей слизью'. Создаются комитеты, принимается протокол по 'синей слизи'. Аналог - борьба с глобальным потеплением. При этом идея 'синей слизи' искажается. Цветут теории заговора о том, что 'синей слизи' не существует.
  6. Фаза реагирования. Поступают сообщения, что возник очаг 'синей слизи' в одной республике. Необходимо немедленно принимать оперативные меры.
  Наши рассуждения о глобальных рисках подвержены тем или иным систематическим ошибкам и искажениям, которые оказывают влияние на конечные выводы этих рассуждений, а, следовательно, и на нашу безопасность. 'Ошибки' не вполне точное слово - по-английски это называется 'cognitive biases', что можно перевести как 'предубеждения' или 'отклонения в ходе рассуждений', или, если употребить точный психологический термин, 'когнитивные искажения'. Когнитивные искажения являются естественным свойством человеческого ума, и в этом нет никакого оттенка 'вины', который со школьной скамьи связан с нашим представлением об 'ошибках'. Однако важно знать, что поскольку когнитивные искажения - это естественное свойство человека, возникшего эволюционным путём, то каждый подвержен им и может найти их в своих рассуждениях. Основной способ исправления когнитивных искажений - эксперимент - не может помочь нам в случае глобальных рисков. Поэтому мы должны гораздо ответственнее подойти к задаче безошибочного мышления о них. При этом важно помнить, что любые списки когнитивных искажений предназначены для поиска ошибок в своих мыслях, а не для победы в спорах с другими людьми, поскольку во втором случае это приведёт только к накоплению ошибок в своей системе и закрытости к новой информации.
  Даже если вклад каждой из нескольких десятков возможных ошибок мал, вместе они могут отклонить вероятностную оценку того или иного сценария в разы и привести к неправильному приложению средств обеспечения безопасности. Не трудно убедиться в силе этих ошибок - достаточно опросить нескольких людей, знающих одни и те же факты о человеческой истории, и попросить их дать уверенный прогноз на XXI век - и вы увидите, насколько будут различаться конечные выводы: одни будут уверены в неизбежности исчерпания нефти, другие верить в торжество ветроэнергетики, третьи ожидать мировой пандемии; одни буду считать вероятность применения ядерного оружия огромной, другие полагать, что это крайне маловероятно. Исследователь глобальных рисков должен знать об этих подводных камнях. В этом разделе предпринимается попытка составить список таких ошибок. Использованы работы зарубежных и российских исследователей, а также авторские наработки. Базовым текстом по проблеме является статья Елиезера Юдковского 'Систематические ошибки в рассуждениях, потенциально влияющие на оценку глобальных рисков' [Yudkowsky 2008а] в упоминавшемся уже сборнике 'Риски глобальной катастрофы'. Данный список не заменяет эту статью, в который приведён математический и психологический анализ ряда приведённых здесь когнитивных искажений. Однако многие описания факторов ошибок взяты из другой литературы или обнаружены самим автором. Анализ возможных ошибок в рассуждениях о глобальных рисках является шагом на пути к созданию методологии работы с глобальными рисками, а значит, и к их предотвращению. Интересно стремление разных групп, исследующих альтернативные сценарии будущего, составить своё список интеллектуальных ловушек. Например, недавно появилась статья о 'cognitive biases', влияющих на оценку теории 'пика Хуберта', то есть исчерпания запасов нефти .
  Цель работы - свести возможные когнитивные искажения в удобный и структурированный список. При этом максимальное внимание уделено полноте списка, а не доказательству каждого отдельного пункта. Однако уже сейчас понятно, что данный список неполон, и его нетрудно расширить по крайней мере вдвое, например, взяв список всех открытых когнитивных искажений и проверив его применимость к глобальным рискам.
  Данный список не претендует ни на полноту, ни на точность классификации, и некоторые его пункты могут оказаться тождественны другим, но сказанным иными словами. Подробное разъяснение каждой отдельной возможной ошибки в оценке риска заняло бы весь объём статьи. (См. например, мою статью 'Природные катастрофы и антропный принцип' [Турчин 2007b], где одна из приведённых в этой статье возможных причин ошибок разбирается на более чем 20 печатных страницах.)
  Вместе с тем важно помнить, что ошибкам в рассуждениях в той же мере свойственная патологическая самоорганизация, как и ошибкам и цепочкам событий, которые приводят к реальным катастрофам. Это означает, что даже небольшие ошибки, приводящие к небольшому отклонению оценок, имеют тенденцию зацепляться одна за другую, взаимоусиливаясь, особенно при возникновении положительной обратной связи с ними.
  Ложный вывод - это интеллектуальная катастрофа. Нетрудно проследить на примере реальных аварий, как ошибочные рассуждения пилотов самолётов приводили к катастрофам, и даже обозначить, какие именно ошибки в рассуждениях они совершили. Можно сказать, что почти любая катастрофа происходит из-за человеческих ошибок. Эти ошибки хронологически выстраиваются так: вслед за ошибками в рассуждениях о возможностях идут ошибки в конструировании, в 'предполётной' подготовке, в пилотировании, в управлении критической ситуацией, в устранении последствий аварии и в анализе её причин. Наши рассуждения о глобальных рисках в основном относятся к первой стадии, к рассуждениям о возможности и предварительной оценке вероятностей тех или иных рисков. Нет смысла выстраивать стратегию противостояния глобальным рискам до того, как определились приоритеты. Соответственно, приведённые в данной статье ошибки также относятся, в первую очередь, к самой ранней фазе противодействия глобальным рискам. Однако они могут проявлять себя и позже, на стадии конструирования механизмов зашиты и принятия конкретных решений. Тем не менее, в этом тексте не ставится задача об анализе ошибок на более поздних стадиях защиты от глобальной катастрофы, хотя и упоминается ряд причин ошибочных действий 'операторов'.
  Отдельным вопросом является то, когда именно такие ошибки могут случиться. Одни из этих ошибок происходят в процессе дискуссий в 'мирное время', когда общество решает, к каким именно рискам ему стоит готовиться. Другие в полной мере проявляются в аварийных ситуациях, когда люди вынуждены быстро оценить их опасность и принять решения. Грубо говоря, принято разделять все ошибки на ошибки 'конструктора' и 'пилота'. Ошибки 'конструктора' совершаются большими группами людей в течение многих лет, тогда как ошибки пилота совершаются одним или малой группой людей в течение секунд или минут. Это может быть, вообще говоря, неверно относительно глобальных катастроф, в случае, если ситуация начнёт развиваться настолько быстро, что проектирование и управление будут развиваться фактически в одном темпе.
  Есть также вероятность, что некоторые описания ошибок, которые я здесь привожу, могут оказаться объектами моего неверного понимания - то есть тоже быть ошибочными. И нет ни малейших сомнений, что этот список не полон. Поэтому данный список следует использовать скорее как стартовую площадку для критического анализа любых рассуждений о глобальных рисках, но не как инструмент для постановки окончательного диагноза.
  Опасная иллюзия состоит в том, что ошибки в рассуждениях о глобальных рисках или невелики, или легко обнаружимы и устранимы. Корни этой иллюзии в следующем рассуждении: 'Раз самолёты летают, несмотря на все возможные ошибки, и вообще жизнь на Земле продолжается, то значение этих ошибок невелико'. Это аналогия неверна. Самолёты летают потому, что в ходе их эволюции, конструирования и испытаний разбились тысячи машин. И за каждой этой аварией стояли чьи-то ошибки, которые каждый раз учитывались и в целом не повторялись. У нас нет тысячи планет, которые мы можем разбить, чтобы понять, как нам правильно обращаться с взрывоопасной комбинацией био, нано, ядерных и ИИ-технологий. Мы не можем использовать и тот факт, что Земля ещё цела для каких-либо выводов о будущем (см. мою статью 'Природные катастрофы и антропный принцип'), потому что нельзя делать статистических выводов по одному случаю. И, конечно, особенно потому, что будущие технологии принципиально изменят жизнь на Земле. Итак, мы лишены привычного способа устранения ошибок - проверки. И, тем не менее, именно сейчас нам важнее всего в истории человечества не ошибиться.
  Возможно, что есть ряд когнитивных искажений и логических парадоксов, которые проявляются только в рассуждениях о глобальных рисках, и которые нами пока не обнаружены, но полностью меняют всю весь ход рассуждений. Точно также я не хочу сказать, что все исследователи допускают все перечисленные здесь ошибки. Наоборот, большинство этих ошибок, вероятно, самоочевидны большинству исследователей - или вообще не кажутся ошибками. Однако есть шанс, что какие-то ошибки пропущены.
  Под термином 'когнитивные искажения' я имею в виду здесь не только нарушения логики, но и любые интеллектуальные конструкции, которые могут оказать влияние на конечные выводы и увеличить риск глобальной катастрофы. Некоторые приведённые ошибки могут не приводить в текущих обстоятельствах к каким-либо последствиям, тем не менее, полезно их иметь в виду.
  Возможные виды ошибок и когнитивных искажений разделены на следующие группы:
  1. Ошибки, возможные только относительно глобальных рисков в силу их специфики.
  2. Ошибки, возможные относительно оценки любых рисков, применительно к глобальным рискам.
  3. Факторы, оказывающие влияние на принятие неверных решений, могущие проявиться в ситуациях глобального риска.
  4. Общелогические ошибки, могущие проявиться в рассуждениях о глобальных рисках.
  5. Специфические ошибки, возникающие в дискуссиях об опасности неконтролируемого развития искусственного интеллекта (а также специфические ошибки в рассуждениях о нано-, био- и других прорывных и опасных технологиях - в том числе в ядерных технологии и астрономии.) В печатаном варианте книги они рассматриваться не будут.
  
  Глава 2. Ошибки, возможные только относительно угроз существованию человечества
  
  1. Путаница относительно глобальных катастроф и просто очень больших катастроф. Часто путают глобальные катастрофы, ведущие к вымиранию человечества (англ. термин 'existential risks'), и любые другие колоссальные катастрофы, которые могут принести огромный ущёрб, отбросить цивилизацию далеко назад и истребить значительную часть человечества. Для первых в Критерием глобальных катастроф является необратимость. Для них в русском языке пока нет устоявшегося краткого термина. Так, Моисеев называл их цивилизационными рисками или катастрофами. В данном труде используется название 'глобальные катастрофы'. Существует также термин-калька - экзистенциальные риски. (Подробнее про определение глобальных катастроф и их специфику см. статью Ника Бострома 'Угрозы существованию. Анализ сценариев человеческого вымирания и подобных опасностей' [Bostrom 2001].) Разница между этими видами катастроф - не в количестве погибших и испытанных людьми страданий, а в будущем планеты после них. Если уцелеет хоть одно племя в 100 человек, то через несколько тысяч лет на Земле вновь будут государства, города и самолёты, и погибшая цивилизация будет в каком-то смысле воскрешена по древним текстам (от древних греков остался, по некоторым оценкам, лишь 1 Гб информации, а влияние их на культуру оказалось огромным). Критерием же глобальных катастроф является необратимость.
  Примером такой разницы могут служить две катастрофы: в одной вымирает всё человечество, в другой - гибнут все, кроме нескольких человек, которые затем воссоздают человеческую популяцию, как ветхозаветный Ной. На взгляд отдельного человека никакой зримой разницы между двумя случаями нет. И в том, и в другом он погибнет почти наверняка, вместе со всем, что для него ценно. Однако для человечества как целого разница равнозначна различию между смертью и очень тяжёлой болезнью. Болезнь может быть долгой и мучительной, но закончится выздоровлением, а смерть - лёгкой и мгновенной, но обязательно необратимой.
  2. Недооценка неочевидных рисков. Глобальные риски делятся на очевидные и неочевидные. Неочевидные риски в некотором смысле гораздо опаснее, потому что неизвестен их объём и вероятность неизвестны, а для их снижения ничего не предпринимается. Некоторые неочевидные риски известны лишь узкому кругу специалистов, а мнения в оценке их реальности и вероятности зачастую диаметрально противоположны. Для стороннего наблюдателя эти мнения могут выглядеть в равной мере обоснованными, что заставляет выбирать между ними или исходя из личных предпочтений, или 'бросая монетку'. Однако неочевидные риски несут вполне реальную угрозу и до того, как научное сообщество окончательно определится с их параметрами. Это заставляет уделять внимание тем областям знаний, в которых остаётся ещё много белых пятен.
  С ростом знаний о природе и могущества техники постоянно растёт число известных причин возможного человеческого вымирания. Более того, этот рост ускоряется. Потому вполне разумно ожидать, что есть важнейшие риски, о которых мы не знаем ничего. И хуже из них те, о которых мы физически не можем ничего узнать, пока они не реализуются.
  Кроме того, очевидные риски гораздо удобнее анализировать. Огромные объёмы данных по демографии, военному потенциалу и запасам сырья, которые можно исследовать детально и подробно, попросту могут заслонять тот факт, что есть и другие риски, о которых известно очень мало. Такие риски не годятся для анализа в численной форме, но тоже смертельно опасны (например, проблемы с неправильно запрограммированным ИИ).
  Известно, что в момент развития аварийной ситуации, например, в авиации, самые страшные последствия имеет именно непонимание пилотами происходящего: ошибки в оценке высоты, степени опасности процесса и т.д.. Наоборот, когда такое понимание имеется, самолёт часто удаётся спасти в совершенно невероятных условиях. И хотя апостериори причины катастрофы понятны, пилотам в тот момент они были совершено неочевидны.
  
  3. Глобальные риски нетождественны национальной безопасности Государства тратят на национальную безопасность больше средств, чем на глобальную. Однако глобальные риски - гораздо большая угроза для каждой страны в отдельности, чем национальные: просто потому, что если погибнет мир, то и страна вместе с ним. Причём часто действия, которые увеличивают безопасность данной страны на текущем этапе, уменьшают всеобщую безопасность. Например, безопасность некой страны повышает, - во всяком случае, по мнению её руководства - наращивание запасов ядерного и бактериологического оружия. Однако гонка вооружений снижает безопасность мира в целом! Или, например, проблемой РФ является депопуляция, а для всего мира - перенаселение (равно как и для Москвы). Ещё пример: один американский фонд (Lifeboat.com) реализует проект по предотвращению глобальных рисков и террористических атак на США. Но для нас понятно, что первое и второе - не одно и тоже.
  4. Ошибка, связанная с психологизацией проблемы. Издавна существует архетип сторонника 'конца света', толкователя апокалипсиса, - как отверженного обществом индивида, пытающегося нелепыми высказываниями повысить свою социальную значимость и компенсировать, таким образом, неудачи в финансах и личной жизни. Однако истинность или ложность такой интерпретации психологических мотивов не влияет на степень рисков. Только точные вычисления могут определить реальный вес риска. Психологические исследования показали, что люди в состоянии депрессии дают более точные предсказания о будущих событиях, чем обычные люди, если дело не касается их собственной жизни.
  5. Отождествление глобальной катастрофы со смертью всех людей и наоборот. Вымирание человечества не означает гибели всех людей, и наоборот. Легко представить сценарии, когда большая часть человечества гибнет от некой эпидемии, но один остров уцелеет и за 200 лет восстановит человеческую популяцию. Однако если все люди заболеют вирусом, переводящим мозг в состояние непрерывного созерцательного блаженства... Или если, - допустим такой фантастический сценарий, - инопланетяне завоюют Землю и распродадут людей по космическим зоопаркам... Это будет означать конец цивилизации, хоть огромное большинство людей и останется в живых в течение значительного времени
  Более того, все живущие в настоящий момент люди, если не изобрести радикальное средство продления жизни, вымрут к началу XXII века, равно как к настоящему моменту вымерли люди, жившие в XIX веке. Однако это мы не рассматриваем как глобальную катастрофу, так как сохраняется непрерывность человеческого рода. Настоящая же глобальная катастрофа лишит нас будущего.
  6. Стереотип восприятия катастроф, который сложился в результате работы СМИ. СМИ создают ложный образ глобальной катастрофы, что может оказывать подсознательное влияние на оценки. Опыт просмотра телевизионных репортажей с мест катастроф выработал стереотип, что конец света нам покажут по CNN. Однако глобальная катастрофа затронет каждого, и смотреть репортажи будет некому. Равно как и показывать.
  Риски в СМИ регулярно освещаются непропорционально. Например, интересно сравнить масштабы возможного ущерба от глобального потепления и мутации птичьего гриппа в опасный вирус. Не вдаваясь в дискуссии, скажу: реальный ущерб часто непропорционален его информационному освещению. Поскольку человек склонен к бессознательному обучению, да и вообще количество утверждений, которые можно воспринять критически, ограничено, сообщения СМИ создают определённый информационный фон для любых рассуждений о глобальных рисках (наравне с кино и научной фантастикой).
  7. Возможные ошибки, связанные с тем, что глобальная катастрофа ещё ни разу с нами не происходила.
  А) Отвержение некоего сценария как фантастического - но ведь глобальная катастрофа и есть по сути некое 'фантастическое' событие!
  Б) Ошибка, порождённая неосознанием факта, что глобальную катастрофу можно опознать лишь апостериори, - не заранее и не в процессе событий. Возможно, никто не узнает, что на самом деле произошла глобальная катастрофа. Лишь со смертью последнего человека катастрофа станет глобальной. (Хотя в сценариях медленного вымирания люди могут это осознавать - или заблуждаться на этот счёт. Возможный пример подобного сценария описан в романе Невила Шюта 'На берегу', где люди медленно вымирают от последствий радиоактивного загрязнения.)
  В) Неприменимость логической операции 'индукции' для рассуждений о глобальных катастрофах. Индукция как логический метод состоит в предположении, что если некое утверждение верно в моменты 1,2, 3 ... N, то оно верно и при N+1 (или при всех N). Оно не обладает абсолютной логической достоверностью, но даёт хорошие результаты при очень больших N и гладких условиях. Например, все физические законы основаны на конечном количестве экспериментов, то есть возникли в результате индукции.
  Индукция как логический метод имеет границы применимости. Она неприменима в ситуациях, когда будущее не похоже на прошлое. Иначе говоря, мы не можем на основании того, что нечто было в прошлом всегда, сказать, что так будет и в будущем. Особенно опасно применение индукции в рассуждениях типа: раз этой катастрофы не случилось в прошлом, то её не будет никогда.
  Тем не менее, индукция как логическая процедура применима в вопросах безопасности: с точки зрения обеспечения безопасности трёхразовое периодическое повторение опасного события - очень значимо, тогда как с точки зрения доказательства истинности некой закономерности - нет.
  8. Когнитивное искажение, состоящее в том, что размышления о глобальных рисках автоматически включают некий архетип 'спасателя мира'. При этом недооценивается опасность конкуренции между группами людей, защищающими разные модели спасения мира. В конце концов, каждая мировая религия занимается спасением всего человечества, а остальные ей только мешают. Так что борьба спасителей мира между собой может сама по себе стать глобальным риском. Можно вспомнить анекдот советских времён: 'Войны не будет, но будет такая борьба за мир, что от мира камня на камне не останется'.
  9. Недооценка глобальных рисков из-за психологических механизмов игнорирования мыслей о собственной смерти.
  Людей не волнуют глобальные риски. Личная смерть в ближайшие десятилетия и без того мнится неизбежной, и большинство выработало устойчивые психологические механизмы защиты от 'нехороших' мыслей. Наибольший срок реального планирования можно определить по долгосрочным реальным инвестициям людей. Типичное отражение подобного планирования - покупка дома в ипотеку, пенсионные накопления и воспитание детей. Предельный срок таких проектов - 30 лет, за редким исключением. Обычно же - меньше 20. Не факт, однако, что и такое планирование на самом деле эффективно; и люди в большинстве сознают, что жизнь гораздо более непредсказуема. В любом случае, у каждого есть некий горизонт событий, и происходящее за пределами этого горизонта представляет для индивида чисто умозрительный интерес. А ведь большинство людей считает, что глобальные риски отстоят от нас на многие десятилетия!
  10. Ошибки, связанные с тем, что исследователь глобальных катастроф вынужден полагаться на мнения экспертов в разных областях знания. Как правило, по каждой проблеме существует множество мнений, которые выглядят в равной мере аргументировано. А.П.Чехов писал: 'Если от болезни предлагается много средств, значит, она неизлечима'. Следовательно, исследователь глобальных рисков должен быть экспертом по правильному отбору и сопоставлению экспертных мнений. Поскольку это не всегда возможно, всегда есть вероятность неправильного выбора пула экспертов и неправильного понимания их результатов.
  11. Ошибка, связанная с тем, что глобальным рискам как целому уделяют меньше внимания, чем рискам катастрофы отдельных объектов. Глобальные риски должны оцениваться по той же шкале, что и риски всех других составляющих цивилизацию объектов. Например, нет смысла закладывать в самолёт вероятность аварии один на миллион, если вся цивилизация с множеством самолётов имеет меньшую надёжность.
  12. Ошибка, связанная с тем, что риск, приемлемый для одного человека или проекта, распространяется на всё человечество. Идеи такого рода: 'Человечеству стоит рискнуть на одну сотую процента ради этого нового необычайного результата' являются порочными. Ведь если так рассуждает одновременно очень много исследователей и конструкторов, каждый из которых при этом завышает безопасность своего проекта, в сумме - риск может стать чрезвычайно высоким.
  13. Отсутствие ясного понимания того, к кому обращены указания на глобальные риски. Обращены ли они к гражданам? Но ведь те всё равно бессильны перед лицом глобальных рисков! К гражданской ответственности учёных, существование которой ещё надо доказать? Правительствам крупных мировых держав? Или, может, ООН, занятой своими делами? Возможно, к комиссиям и целевым фондам, созданным для предотвращения глобальных рисков, но увы, - даже их способность влиять на ситуацию неизвестна. Удручает и отсутствие систематического досье на все риски - с которым все были бы согласны.
  14. Особенность связи теоретического и практического в отношении глобальных рисков. Вопрос о глобальных рисках является теоретическим, поскольку такого события ещё ни разу не происходило. И мы не хотим проверить ни одну возможность экспериментально. Более того, мы и не можем это сделать, поскольку мы, исследователи, не переживём глобальной катастрофы. Однако необходимы практические меры, чтобы этого не случилось. При этом может наблюдаться положительный результат: а именно, что некий риск не реализовался. Но трудно выделить причины благополучного исхода. Невозможно сказать, почему не произошла термоядерная война - потому что была невозможна, или по нашему невероятному везению, или же это результат борьбы за мир.
  15. Ошибочные модели поведения, связанные с эволюционно сложившимися особенностями человеческого поведения. Стратегия личного выживания, привитая нам в ходе эволюции, подразумевает правило: кто больше рискует, тот захватывает большую территорию, получает больший авторитет в стае, становится альфа-самцом и, в конце концов, оставляет большее потомство. Те виды, что готовы пожертвовать тысячами особей, направляя их на освоение неизвестных территорий, достигают того, что хоть одна особь попадёт на новые земли. Очевидно, эта стратегия смертельна в применении к человечеству. Даже если оно будет рисковать собой на 1 процент в год, это означает почти гарантированное вымирание в течение столетия. Тем не менее, соображения такого рода не останавливали отдельные страны при вступлении в опаснейшие конфликты.
  16. Ошибочное представление о том, что глобальные риски есть что-то отдалённое и не имеющее отношения к ближайшему будущему. В действительности, шанс погибнуть в глобальной катастрофе для молодого человека в текущих исторических условиях, возможно, выше, чем от других причин личной или групповой смертности. Многие факторы глобального риска уже созрели, а другие могут оказаться более зрелыми, чем нам об этом известно (передовые био- и ИИ- исследования).
  17. Легкомысленное отношение к глобальным рискам, связанное с представлениями о мгновенности смерти. Это заблуждение порождено ошибочными представлениями, будто гибель в глобальной катастрофе обязательно лёгка и безболезненна, - словно выключили свет. В реальности, наоборот, она может быть мучительна и морально (осознание своей вины и столкновение со смертью близких), и физически. Например, длительное, но неизбежное вымирание от радиоактивного заражения.
  18. Представление о том, что книги и статьи о глобальных рисках могут значительно изменить ситуацию. Ситуация в крупных компаниях при принятии критически опасных решений удручает. Даже высказавшийся 'против' член правления, высокопоставленное лицо, рискует быть проигнорированным! Так, перед катастрофой шаттла 'Челленджер' один из ответственных специалистов до последнего возражал против запуска, понимая опасность. Тем более не стоит ожидать, что люди прислушаются или хотя бы прочитают высказывания кого-то за пределами их 'тусовки'. Можно вспомнить уместный здесь закон Мерфи: 'Что бы ни случилось, всегда найдётся человек, который скажет, что он так и знал, что это произойдёт'.
  19. Ошибочность мнения о том, что глобальные риски либо неизбежны, либо зависят от случайных, неподвластных человеку факторов, либо зависят от далёких правителей, повлиять на которых невозможно. Напротив, циркуляция в обществе идей о возможности глобальных рисков, о необходимости прилагать усилия для их предотвращения, создаст важный фон и косвенно повлияет на различные механизмы принятия решений. Кроме того, уже сейчас мы подошли вплотную к рубежу, когда риски зависят от решений и действий каждого.
  20. Гордыня исследователя. Занятия анализом глобальных рисков может вызвать у человека ощущение, будто он занят важнейшим делом во вселенной, а потому является сверхценной личностью. Это может привести при определённых обстоятельствах к информационной глухоте: исследователь 'закроется' для новых сведений! Окружающие легко будут считывать это состояние личности исследователя, что будет компрометировать тему, которой он занимается. Также не следует забывать закон Паркинсона: каждый человек стремится достичь уровня своей некомпетентности. Глобальный уровень является наивысшим для всех областей знаний. Защита от этого - относиться к глобальным рискам нейтрально, как, например, к препарированию лягушек.
  21. Интуиция как источник ошибок в мышлении о глобальных рисках. Поскольку глобальные риски относятся к событиям, которые никогда не случались, они контринтуитивны. Интуиция может быть полезна для рождения новых гипотез, но не как способ предпочтения и доказательства. Вера в силу интуиции ещё больше способствует ослеплению своими откровениями. Кроме того, интуиция, как проявление бессознательного, может находиться под воздействием неосознанных предубеждений, например, скрытого нежелания видеть разрушения и гибель - или наоборот, потребности видеть там, где их нет.
  22. Научное исследование глобальных рисков также сталкивается с рядом проблем. Эксперимент не является способом установления истины о глобальных рисках, ибо экспериментальная проверка - именно то, чего хотим избежать. В связи с невозможностью эксперимента невозможно объективно измерить, какие ошибки влияют на оценку глобальных рисков. Статистика по глобальным рискам невозможна. Фундаментальная концепция 'опровержимости' также неприменима к теориям о глобальных рисках.
  23. Ошибки, связанные с неучётом малоизвестных логических следствий абсолютности глобального риска. Только в случае глобальных рисков начинают действовать такие парадоксальные логические рассуждения, как 'Доказательство Конца Света' (Doomsday Argument), а также эффекты наблюдательной селекции. Однако большинству людей они неизвестны, а значительная доля исследователей их отвергает.
  24. Методы, применимые к управлению экономическими и прочими рисками, не применимы к глобальным рискам. От глобальных рисков не застраховаться, на них невозможно ставить пари: некому и нечего будет выплачивать в страховом случае. И даже малейшая их вероятность неприемлема. Потому же некому оплачивать их исследования. Если же эти исследования проводятся в рамках одной страны или культуры, в результатах может наблюдаться сдвиг от вопросов общечеловеческого выживания к проблемам национальной безопасности.
  25. Трудности в определении понятия глобального риска в связи с нечёткостью его объекта.
  Нечёткость относится как к тому, как проводить границы человечества, так и к тому, что именно считать 'необратимым повреждением его потенциала'. 'Пограничный вопрос' касается обезьян-приматов, неродившихся детей, коматозников, преступников, неандертальцев, разумных искусственных интеллектов и других крайних случаев. Важно помнить историческую изменчивость этих границ: ещё пару веков назад дикаря или раба не считали за человека даже образованные люди, а теперь нередко к разумным существам причисляют китов и дельфинов. Было ли истребление неандертальцев, с точки зрения неандертальцев, гибелью человечества? Согласны ли мы, чтобы нас заменили разумные роботы? Не лучше ли смерть насильственного зомбирования во враждебную религию? Дело даже не в самих этих вопросах, а в том, что ответ на них зависит от человеческого произвола. Одни группы людей сочтут 'глобальной катастрофой' то, что другие готовы приветствовать. Это рождает возможность опасной конфронтации.
  26. Психологическая особенность восприятия рисков: 'пренебрежение масштабом'. Спасение жизни одного ребёнка, миллиона человек, миллиарда или ста миллиардов вызывает почти одинаковое побуждение действовать, в том числе выражаемое в готовности потратить деньги [Yudkowsky 2008b]. В результате большая часть денег и внимания уходит на проекты, защищающие меньшую часть жизней.
  27. Преувеличение прогностической ценности экстраполяции
  Потенциальная ошибочность надежды на то, что 'кривая (то есть график роста) вывезет'. Для некоторых людей стал религией закон Мура об удвоении числа транзисторов на процессоре каждые два года. Увы, весь опыт футурологии говорит о том, что экстраполяция кривых годится только для краткосрочных прогнозов. В более прикладной футурологии, каковой является биржевая аналитика, наработан огромный аппарат анализа поведения кривых, многократно превосходящий линейную экстраполяцию, столь комплексный, как если бы эти кривые были самостоятельными живыми организмами. В частности, развито понимание того, что быстрый рост кривой может означать близкий разворот тенденции, 'отскок' или 'свечу'. Тем не менее, даже биржевая аналитика кривых не даёт высокоточных результатов без привлечения 'фундамента' - анализа реальной экономики. Особенно за счёт эффекта обратной связи между предсказаниями и самими будущими событиями. Количество ошибок в футурологии, основанных на экстраполяции кривых, огромно. Начиная со знаменитого казуса, что уровень навоза в Лондоне сделает движение по городу невозможным, и вплоть до прогнозов освоения Марса к концу XX века на заре успехов космонавтики. В отношении глобальных рисков есть определённые ожидания, что прогресс в области техники сам собой приведёт нас в 'золотой век', где глобальных рисков не будет. Действительно, есть надежды, что будущие технологии искусственного интеллекта станут основной гораздо более быстрого и эффективного решения проблем. Однако если технический прогресс застопорится, глобальные риски не исчезнут.
  28. Ошибочное представление о том, что люди в целом не хотят катастрофы и конца света. А.П. Назаретян [Назаретян 2001] описывает базовую потребность людей в сильных эмоциях и экстремальных ощущениях. Эта потребность побуждает их нарушать скоростной режим движения машин, вести войны, заводить любовниц, короче, находить приключения. Типичный пример: физическое ограничение скорости машин до 50 км/час заметно сократило бы число автомобильных аварий, но большинство водителей на это не согласится. И нельзя недооценивать эту 'скуку'. При этом люди всегда 'рационализируют' свои иррациональные потребности.
  29. Смутность представлений о том, что именно является 'поражающим фактором' в разных сценариях глобального риска. С детства выученные представления о поражающих факторах ядерного оружия существенно отличаются от факторов принятия решения о его применении, - и всем эта разница очевидна. В сфере глобальных рисков супервирусы и ИИ перечисляются через запятую. Но вирус убивает непосредственно, а ИИ сам по себе не может причинить вреда - он может только управлять разными видами оружия.
  Пример из жизни: ситуация, когда человек погиб на войне, и ситуация, когда его застрелили. Эти два множества пересекаются только частично. Если человек погиб на войне, это лишь очерчивает множество возможных причин его смерти, но не сообщает однозначно, что его застрелили. И наоборот, если человек погиб от огнестрельного оружия, это не означает, что он погиб на войне: дело может быть в бытовой ссоре, или самоубийстве, или даже несчастном случае на охоте. Ясно, что война и выстрел - относятся к двум разным классам причин смерти: опасных ситуаций и непосредственных причин. Однако в отношении глобальных рисков такое разделение проводится более смутно, и упор делается в основном на непосредственные причины, а не на ситуации их возникновения.
  30. 'Шок будущего': когнитивные искажения, связанные с разными горизонтами возможного будущего в представлении разных людей. Выделяют пять уровней 'Шока будущего'. Само понятие введено футурологом Э.Тоффлером. Эти уровни описывают не реальные границы возможного, которые нам пока неизвестны, а психологические границы восприятия, разные от человека к человеку. Каждому уровню возможного будущего соответствуют свои глобальные риски - и способы противостояния им. При этом все варианты будущего относятся их сторонниками к XXI веку. Те, кто продвинулся очень далеко в оценке шоков будущего, могут недооценивать традиционные опасности. Есть следующая классификация шоков будущего:
  Шок 0-ого уровня - уровень обычных технологий, используемых сейчас в быту. (Уровни катастрофы: ядерная война, исчерпание ресурсов.)
  Шок 1-ого уровня - уровень технологий, предлагающихся в продвинутых журналах и на компьютерных выставках. (Биологическая война и применение боевых роботов.)
  Шок 2-ого уровня - технологии, описанные классической научной фантастикой середины ХХ века. (Отклонение астероидов в сторону Земли, вторжение инопланетян)
  Шок 3-его уровня - сверхтехнологии, возникшие на горизонте лишь в конце ХХ века: нанотехнологии ('умная пыль'), ИИ, равный человеку, загрузка сознания в компьютер, полная перестройка человеческого тела. (Катастрофы: 'серая слизь', сверхчеловеческий ИИ, перерабатывающий всё земное вещество в роботов, супервирусы, изменяющие поведение людей)
  Шок 4-ого уровня - концепция о 'Сингулярности' - гипотетическом моменте в будущем, связанным с бесконечным ускорением человеческого прогресса, неким качественным переходом и сменой модели развития (риски: непредсказуемы). См. главу 'технологическая сингулярность'.
  Каждый исследователь будущего имеет свой горизонт возможного и невозможного, определяемый скорее психологическим комфортом, чем точными знаниями. Чем старше человек, тем труднее ему принять новое. Наоборот, возможна и ситуация 'ослепления будущим', когда угрозы невероятных катастроф затмят в глазах человека обычные риски. Это порождает специфические ошибки прогнозирования, связанные с уровнем шока будущего. При этом реальные риски глобальной катастрофы имеются на каждом уровне, и крайне сложно учесть все одновременно.
  Катастрофа ядерной войны 'понятнее', чем 'псевдодружественный ИИ'.
  31. Представление о том, что глобальная катастрофа будет вызвана какой-то одной причиной. Обычно о глобальных катастрофах думают, как об однократном массовом вымирании, вызванном или вирусом, или падением астероида, или ядерной войной. Однако существуют способы самоорганизации опасных возможностей, ведущие к системному эффекту. Например, система, ослабленная одним событием, может быть легко повержена другим. Или, например, две медленно текущие болезни, соединяясь, могут вызвать быстротекущую - как, например, СПИД и туберкулёз у человека. Возможны разные сценарии конвергенции, например, нанотехнологии упростят создание ядерных бомб, ИИ упростит продвижение нанотехнологий, а нанотехнологии позволят раскрыть тайны мозга, что приблизит создание ИИ. Громадное количество обратных связей приводит к сложным взаимозависимостям глобальных рисков.
  Конвергенция рисков происходит параллельно с конвергенцией ключевых современных технологий, называемых NBIC (nano-bio-info-cogno), то есть нанотехнологий, биотехнологий, систем искусственного интеллекта и науки о мышлении и мозге.
  32. Недооценка системных факторов глобального риска. Системные факторы - это не отдельные события, вроде внезапного появления супервируса, а некие свойства, которые относятся ко всей системе. Например, противоречие между природой современной цивилизации, основанной на непрерывной экспансии, и конечностью любых ресурсов. Это противоречие не локализовано в каком-то одном месте, и не зависит ни от одного конкретного ресурса или организации. Реальны самовоспроизводящиеся кризисные ситуации, которые в каждый момент времени вовлекают всё большее число участников, но не зависят от поведения ни одного из них и не имеют центра.
  33. Призыва типа: 'Мы все должны бороться за мир'. Нескоординированное приложение усилий в борьбе за спасение планеты приводит к ситуации, описанной в знаменитой басне. Множество людей и организаций тащит эту телегу с той же эффективностью, как 'лебедь, рак да щука'.
  34. Недооценка предкризисных событий как элементов наступающей глобальной катастрофы. Если в результате некоторых событий вероятность глобальной катастрофы возросла (иначе говоря, выросла уязвимость человечества к катастрофе), то это событие само может рассматриваться как часть глобальной катастрофы. Например, если в результате ядерной войны выживут отдельные группы людей, то они - немногочисленные и лишённые технологий - окажутся гораздо уязвимее к любым другим факторам риска. Это поднимает значение тех факторов, которые обычно обозначаются как 'глобальные риски'. Например, падение астероида, размером с Апофис (Apophis 99942, пролёт Земли в 2029 году, диаметр около 400 м.) само по себе не может истребить человечество. Взрыв составит лишь порядка 800 мегатонн, что сопоставимо с взрывом вулкана Санторин в древней Греции, погубившим остров Крит, и только в 4 раза сильнее взрыва вулкана Кракатау в 1883 году (~200 мегатонн тротилового эквивалента). Однако в силу высокой связности современной цивилизации, резко возрастает роль отдалённых последствий катастрофы - как экономических, так и структурных. Огромная волна-цунами от падения Апофиса привела бы к прекращению торговли в тихоокеанском регионе и всеобщему экономическому кризису, чреватому переходом к военному - с соответствующим нарастанием необратимых последствий.
  35. Когнитивное искажение, основанное на мысли: 'Это слишком плохо, чтобы быть правдой'. Человеку свойственно мысленно защищаться от негативных сценариев, приписывая им меньшую вероятность или вообще отказываясь о них думать. Например, нетрудно представить абстрактный 'разбитый автомобиль', но труднее представить будущие обломки своего автомобиля. Иначе говоря, вместо того, чтобы избегать некого события, человек избегает самой мысли о нём. Очевидно, глобальная катастрофа, уничтожающая всё, что нам ценно, в наибольшей мере соответствует определению 'слишком плохого'. Глобальная катастрофа хуже, чем смерть, потому что включает её в себя.
  36. Когнитивное искажение, основанное на мысли: 'Это слишком невероятно, чтобы быть правдой'. Имеется множество исторических примеров, как нечто 'невероятное' вдруг стало возможным, и даже обыденным: самолёты, атомные бомбы, Интернет. Более того, стало смертельно опасным. Надо отделять 'невероятное' от физически невозможного. Но даже и последнее может обрести в будущем реальную вероятность.
  
  37. Идеи о торможении создания и распространения новых технологий как способе противостояния глобальным рискам. Эта идея кажется привлекательной, так как обещает видимый результат в краткосрочной перспективе. Но любая группа стран, которая продвигает эту идею, в конечном счёте, проиграет другой группе, которая тайно или явно продолжает развивать опасную, но эффективную технологию.
  38. Представления о том, что человеческая адаптируемость высока и продолжает неограниченно расти благодаря новым технологиям. Это верно, однако опасность состоит в том, что средства разрушения, доступные людям, совершенствуются быстрее, чем средства защиты.
  39. Неспособность системы смоделировать саму себя. Хотя мы не можем исследовать глобальные катастрофы экспериментально, можно рассчитывать, что, благодаря успехам компьютерного моделирования, станет возможно просчитать некоторые модели в виртуальном пространстве. Однако эта возможность ограничена рядом обстоятельств. Во-первых, мы всё равно не учтём неизвестные факторы - например, расположение опасных комет или особенности физических законов. Во-вторых, такая модель не может быть полна, так как она не включает моделирование того, что мы осуществляем акт моделирования. Иначе бы получилась бесконечно большая модель, как в случае отражения двух зеркал друг напротив друга. Это является следствием математического принципа: множество не может содержать, в качестве элемента, само себя. То есть одно дело - прогноз будущего, а другое - прогноз с учётом влияния, которое окажет данный прогноз. Только достаточно грубая модель может быть рассчитана. Если мы исследуем будущее системы с искусственным интеллектом, то это не работает, так как модель мира также должна содержать ИИ, который имеет в себе модель мира, в результате чего получается бесконечная цепочка.. В-третьих, наши данные о мире и принципы моделирования должны быть абсолютно точны, что тоже трудно достижимо. Невозможно выбрать правильную модель, не проведя эксперимент. Чтобы предсказать возможность глобального потепления, нам нужна правильная модель. Чтобы узнать, какая именно модель правильная, нам нужен эксперимент. И этот эксперимент будет надёжным, только если в ходе него произойдёт глобальное потепление, иначе это будет лишь интерпретация, то есть ещё одна модель.
  40. Неспособность человека представить собственную смерть. Неспособность людей представить собственную смерть ведёт к недооценке ситуаций, в которых она может произойти, поскольку и сами ситуации непредставимы - или представимы только с точки зрения внешнего наблюдателя, который выжил. Человек не может представить 'ничто', которое наступит, в соответствии с атеистическими концепциями, после смерти. На это накладывается нежелание признавать свою смертность. Поэтому легче представлять глобальную катастрофу с точки зрения выжившего, что, соответственно, делает её не глобальной.
  41. Подход к жизни в духе: 'После нас хоть потоп'. В этой модели мышления ожидаемый полезный результат должен быть получен в некий короткий промежуток времени в будущем. Самым ярким примером является ситуация, описанная в приведённой пословице, где граница полезности совпадает с ожидаемой продолжительностью жизни. Однако часто бывает, что эта граница даже ниже. Например, для автогонщика или наркомана вся ожидаемая полезность должна быть получена сегодня вечером, а что будет дальше - не важно. У нормальных людей ожидаемая полезность распространяется на детей и внуков, что закреплено эволюционно, но на прапрапраправнуков - нет. Таким образом, существует определённый психологический горизонт полезности, события после которого человека уже не волнуют - во всяком случае, настолько, чтобы тот был готов ради них на какие-то траты. Конечно, это оправдывается тем, что 'они сами там со всем разберутся'.
  Более того, мысль о том, что 'я умру не один, а вместе со мной умрёт всё человечество', может быть более привлекательна, чем мысль, что 'я умру, а другие останутся наслаждаться жизнью'. Отчасти поэтому некоторые больные СПИДом нарочно стараются заразить как можно больше людей.
  42. Любая этическая позиция, которая не рассматривает выживание людей в качестве главной цели, более важной, чем любые другие цели. Подобная позиция подразумевает, что можно рискнуть выживанием человечества ради некоторых других целей. Ник Бостром определяет эту позицию через принцип Максипока: 'Максимизируйте вероятность позитивного исхода, где 'позитивный исход' - это любой исход, при котором не происходит глобальной смертельной катастрофы'.
  43. Религиозные мировоззрения и эсхатологические культы. Изучению проблем глобальных рисков мешает то, что эта территория испокон веков закреплена за религией. Поэтому за любыми дискуссиями тянется шлейф ненаучности. Ключевое отличие эсхатологических культов - концентрация на дате события и 'откровение' или пророчество как способ её обнаружения (в духе распространённого поверия о том, что календарь Майя, и мир вместе с ним, заканчиваются в 2012 году). Такие культы часто носят социально-деструктивный характер, побуждая людей отказаться от жизни в 'обречённом' обществе, и поэтому вызывают враждебность в обществе. Так, в 2007 году внимание СМИ привлекла группа сектантов, закрывшихся в пещере в Пензенской области в ожидании 'конца света'. Наоборот, для научного анализа 'дата конца света' не принципиальна, а важны вероятности и механизмы рисков.
  Надо отметить цикличность общественного внимания в связи с этими прогнозами. Регулярно возникает очередная 'дата' конца света, которая эксплуатируется в кино и в жёлтой прессе, одни люди в связи с этим начинают интересоваться проблемами глобальных катастроф, другие публикуют опровержения. Эта цикличность не согласуется с относительно плавным распределением глобальных рисков.
  45. Неопределённость значений новых терминов. Описывая угрозы глобальной катастрофы, мы пользуемся терминами, значения которых пока ещё не имеют однозначной интерпретации, хотя бы в силу того, что они описывают ещё не случившиеся события и не созданные технологии. Совместное использование нескольких таких терминов увеличивает 'люфт' возможных значений и приводит к непониманию. Если бы мы знали, что такое 'искусственный интеллект', мы бы уже могли его создать. Это создаёт принципиальную неопределённость в значении этого термина до того, как ИИ будет создан.
  Глава 3. Как когнитивные искажения, которые могут касаться любых проблем, влияют на оценку глобальных рисков
  1. Основной причиной человеческих ошибок является сверхуверенность. Сверхуверенность означает повышенную убеждённость в правильности своей картины миры и неспособность её существенно изменить при поступлении новой информации. Иначе говоря, сверхуверенность означает неспособность человека предположить, что он в настоящий момент ошибается. Поэтому в каком-то смысле сверхуверенность относится к ошибкам о природе ошибок. Сверхуверенность закреплена несколькими психологическими механизмами, и вероятно, имела эволюционное значение. Поэтому обнаружить её в себе и искоренить очень трудно. Человек, демонстрирующий большую уверенность, может претендовать на большую власть в обществе. И, вероятно, само устройство человеческого мышления противоречит идее рассмотрения множества равновероятных вариантов будущего: гораздо привычнее думать о том, что нечто или есть, или его нет. Само слово 'будущее' употребляется в единственном числе, как будто оно одно. Наконец, выбор, сделанный однажды в пользу некой интерпретации идеи, становится фильтром, который подбирает информацию так, чтобы она подтверждала эту идею.
  
  2. Чрезмерное внимание к медленно развивающимся процессам и недооценка быстрых. Медленные процессы удобнее анализировать, и по ним накоплено больше данных. Однако системы легче адаптируются к медленным изменениям и часто гибнут от быстрых. Катастрофы опаснее угасания. При этом медленное угасание делает систему уязвимой к быстрым катастрофам. Разработка новых технологий - нано-, био-, ИИ, когнитивных наук - относится к быстрым процессам. Их стремительное развитие затмевает любые процессы, которые будут проявлять себя после 2030 года. Однако это не значит, что надо совсем отказаться от анализа медленных вековых изменений.
  3. Возрастные особенности восприятия глобальных рисков.
  Молодёжь склонна недооценивать глобальные риски, поскольку они в большей мере биологически нацелены на завоевание новых пространств, а не на безопасность. Более пожилые люди склонны придавать достаточно большое значение безопасности, но им труднее принять возможность принципиально новых технологий.
  4. Споры о глобальных рисках не рождают истину.
  Дискуссии между людьми обычно приводят к поляризации мнений. Человек, который сначала имел две гипотезы, и приписывал им равные вероятности, редуцирует свою позицию до одной гипотезы, противоположной гипотезе оппонента. Таким образом, он сужает своё представление о возможном будущем. Подробнее см. статью Юдковски об оценке рисков [Yudkowsky 2008a].
  5. Навык ведения споров вреден.
  Как я уже говорил в предисловии, Юдковски подчёркивает, что навык ведения споров вреден, так как позволяет переспорить любого оппонента, не вникая по существу в его позицию. Особенно опасно применение данного списка когнитивных искажений для того, чтобы обвинять в них оппонента. Это может привести к интеллектуальной слепоте.
  6. Желание смерти.
  Фрейд высказал идею о Танатосе, стремлении к смерти, которое есть у каждого. Подобные идеи высказывались и другими учёными. Это желание может неосознанно влиять на человека, заставляя его недооценивать или переоценивать риски или стремиться к ним. Можно предположить, что любой, кто отвергает идею жить 1000 лет, испытывает определённое стремление к смерти. Это может подталкивать человека к бессознательному выбору стратегий поведения, ведущих к глобальным рискам.
  7. Консервативность мышления, связанная с естественным отбором наиболее устойчивых систем мировоззрения.
  Ч. Докинз, автор книги 'Эгоистичный ген' [Докинз 2005], рассматривает каждую отдельную идею, циркулирующую в обществе, в качестве репликатора, способного к разной скорости самораспространения, и называет подобные идеи мемами (meme). Чтобы защитится от мемов, человеческое сознание вынуждено вырабатывать своеобразную 'иммунную систему', одним из наиболее эффективных вариантов которой является система 'отбрасывай всё новое'. История полна примерами того, как очевидно полезные новые идеи отвергались без видимых причин в течение длительного периода. Например, от предложения использовать закись азота для анестезии в хирургии в конце XVIII века до начала реального применения в 1840-е годы прошло почти 50 лет, то же самое касается и правила мыть руки перед операциями. Однако в наш век перемен нужно очень гибкое и свободное мышление, чтобы учесть и принять всерьёз все варианты глобальных рисков.
  8. Обнаружение ошибок в рассуждении о возможности конкретной катастрофы не является способом укрепления безопасности.
  Есть два вида рассуждений - доказательства безопасности некой системы и доказательства её опасности. Эти рассуждения неравноценны логически - в первом случае речь идёт обо всех возможных случаях, тогда как во втором - хотя бы об одном случае. Чтобы опровергнуть всеобщее утверждение, достаточно одного контрпримера. Однако опровержение одного контрпримера почти не прибавляет истинности всеобщему утверждению.
  Например: для того, чтобы доказать опасность определённой модели самолёта, достаточно обратить внимание на то, что в некоторых экспериментах материал обшивки проявил склонность к эффекту 'усталости металла'. Однако для того, чтобы доказать безопасность этой модели, совершенно недостаточно обнаружить некорректность в проведении экспериментов по измерению усталости металла. Вместо этого необходимо доказать, что выбранный материал действительно выдержит данный режим нагрузок.
  Иначе говоря, если направить все интеллектуальные усилия на опровержение различных катастрофических сценариев, не уделяя равного внимания их возможностям и ошибкам в системе безопасности, - то суммарная безопасность системы понизится. Все перечисленные правила должны применяться для поиска ошибок в рассуждениях о том, что некая катастрофа невозможна, - тогда это способствует повышению безопасности. В проектах сложных технических систем всегда есть 'технические обоснования безопасности', где описывается 'максимальная проектная авария' и способы её локализации. Реальным доказательством безопасности какого-либо устройства является строгое доказательство того, что с ним ничего не может случиться ни при каких обстоятельствах плюс практический опыт использования данного устройства во всех возможных режимах в течение длительного времени.
  С точки зрения науки мы должны доказывать существование объекта, а с точки зрения безопасности ѓѓ- доказывать, что нечто не существует. Обязанность доказательства безопасности полётов лежит на конструкторах самолёта, а не на пассажирах. Поэтому, когда разработчики обращаются к сторонним экспертам с требованием типа 'докажите, что данный риск реален', это наносит ущерб общей безопасности.
  9. Ни одно из направлений исследований в области новых технологий не может обеспечивать свою безопасность само по себе.
  Общепринятой практикой является отделение контролирующих органов от объектов контроля. Потому что каждая система стремится к самосохранению, а разговоры об опасности новых технологий могут привести к закрытию новых проектов. Например, сайт 'Коммерческая биотехнология' перепечатывает в основном те статьи, которые опровергают угрозы биотерроризма, а потом сам же публикует на них опровержения. Или схожая ситуация в случае с реакторами: сторонники АЭС будут тратить свои усилия не на поиск уязвимостей в безопасности станций, а на споры с экологами и попытки доказать, что существующая конструкция безопасна.
  10. Ошибочное представление о том, что проблемы надо решать по мере их поступления.
  Наиболее серьёзные проблемы, как правило, возникают внезапно. Например, несчастные случаи. Чем серьёзнее проблема, тем больше её энергия и быстрее темп её развития. И, соответственно, тем труднее к ней готовиться. Глобальные катастрофы - это мощные проблемы. Поэтому они могут развиваться слишком быстро, для того чтобы было время на подготовку к ним в процессе. Кроме того, у нас нет опыта, который позволил бы определить предвестников глобальной катастрофы.
  11. Конкретные риски воспринимаются как более опасные, чем риски описанные в общих словах.
  Например, "мятеж на ядерной подводной лодке" выглядит более устрашающим, чем "крупная морская катастрофа". Юдковски пишет: 'С точки зрения теории вероятностей, добавление дополнительной детали к истории делает её менее вероятной... Но с точки зрения человеческой психологии добавление каждой новой детали делает историю всё более достоверной' [Yudkowsky 2008b].
  12. Представления о том, что мышление о глобальных рисках - пессимистично.
  Это приводит к тому, что людей, думающих о 'конце света', осуждают - а значит, и отрицают их идеи. Но по минному полю надо идти осознано: танцевать на нём с закрытыми глазами - это не оптимизм.
  13. 'Теории заговора' как препятствие для научного анализа глобальных рисков.
  Циркулирующие в обществе разнообразные 'теории заговоров' (вроде новой хронологии Фоменко) набили оскомину. Тем более, что большинство из них, если не все, ложно, а предсказания их сторонников почти никогда не сбываются. Часто 'теории заговоров' тоже предсказывают некие риски. Но они структурно отличаются от научного анализа рисков. Теория заговора обычно утверждает, что человечеству угрожает только один риск, и этот риск реализуется конкретным образом в конкретный момент времени: Например, 'доллар рухнет осенью 2007'. Как правило, автор подобного предсказания также знает рецепт борьбы с этим риском. Тогда как правильнее допускать, что человечеству угрожает каскадная реакция из нескольких рисков, и мы не знаем, когда и что случится.
  Чем меньше степень уверенности в наших прогнозах на будущее, тем оно опаснее. Главная опасность будущего - его непредсказуемость. 'Теории заговора' вредны для предсказания будущего, так как сужают представление о множестве будущих возможностей. При этом они предполагают сверхуверенность в собственных прогностических способностях. Правильно сделанный прогноз на будущее не предсказывает конкретные факты, а описывает пространство возможных сценариев. И на основании этого знания можно выделить узловые точки этого пространства и защитить их.
  Более того, такие "предсказания" подрывают доверие к здравым идеям, лежащим в их основе, например, о том, что крупный теракт может ослабить доллар и вызвать цепную реакцию обвала. И что Бен Ладен, например, на это, возможно, рассчитывает. 'Теории заговора' всегда подразумевают, что есть некие ОНИ, которые что-то делают с нашим сознанием, скрывают какие-то важные знания и т. д. Это подрывает осознание своей ответственности за происходящее в мире, и что не менее важно, отвергает роль случайности, как важного фактора катастрофического процесса. Кроме того, 'теории заговора' неспособны стыковаться друг с другом, формируя пространство возможностей. И ни одна теория заговора не признаёт себя в качестве маргинальной теории. Эти теории распространяются в обществе как мемы, самокопирующиеся информационные единицы.
  Вместе с тем из того, что сам принцип теории заговоров скомпрометирован и большинство из них ложно, не следует, что некоторые из таких теорий не могут оказаться правдой. Как говорится в китайской пословице: 'Даже если вы не можете поймать чёрного кота в чёрной комнате - это ещё не значит, что его там нет'.
  14. Ошибки, связанные с путаницей в понятиях о краткосрочных, среднесрочных и долгосрочных прогнозах. Краткосрочные прогнозы учитывают текущее состояние системы, к таковым относится большинство обсуждений политических тем. Среднесрочные учитывают возможности системы и текущие тенденции. Долгосрочные учитывают только развитие возможностей. Поясню это следующим примером:
  Допустим, у нас есть корабль с порохом, по которому ходят матросы и курят махорку. Краткосрочно можно рассуждать так: одни матросы стоят высоко на рее, а другие спят, поэтому сегодня взрыва не будет. Но в среднесрочной перспективе важно только количество пороха и количество курящих матросов, которые определяют вероятность взрыва, потому что рано или поздно какой-нибудь курящий матрос окажется в непосредственной близости от пороха. Тогда как в дальнесрочной перспективе в счёт идёт только количество пороха, а уж огонь как-нибудь да найдётся. Точно так же и с угрозой ядерной войны. Когда мы обсуждаем её вероятность в ближайшие два месяца, для нас имеет значение конкретное поведение мировых держав. Когда мы говорим о ближайших пяти годах, в счёт идёт количество ядерных держав и ракет. Когда мы говорим о перспективе на десятки лет, учитывается только количество наработанного плутония.
  При этом в разных областях знания временной масштаб краткосрочности прогноза может различаться. Например, в области угледобычи 25 лет - это краткосрочный прогноз. А в области производства микропроцессоров - 1 год.
  15. Особенности человеческой эмоции страха. Способность человека бояться включается в ответ на конкретный стимул в конкретной ситуации. Наша эмоция страха не предназначена для реакции на отдалённые риски. Это выражено в русской пословице: 'Пока гром не грянет, мужик не перекрестится'. С другой стороны, страх может подавлять мысли о возможных опасностях. Например, когда человек отказывается сдавать анализы, потому что боится, что у него что-то найдут.
  В отношении глобальных катастроф и реакции на их угрозу получается замкнутый круг: для того, чтобы вероятность некой надвигающейся глобальной катастрофы стала общепризнанной - должен 'грянуть гром' - то есть должно произойти какое-то событие, однозначно её определяющее, и, возможно, делающее её практически неизбежной.
  16. Недооценка значения удалённых событий (discount rate). Естественным свойством человека является то, что он придаёт меньшее значение событиям, удалённым в пространстве и отдаленным по времени. Например, случившееся в древности наводнение, погубившее миллион человек, будет эквивалентно по значимости современной катастрофе с тысячью жертв в отдалённой стране или пожару в соседнем доме с несколькими жертвами. Это явление известно как 'discount rate' - 'уровень скидки' . Эта скидка действует в отношении оценки полезности и риска будущих событий. При этом она имеет как рациональный, так и иррациональный характер. Рациональный уровень скидки - это скидка, которую делает экономический субъект, предпочитая получить, скажем, 100 долларов сегодня, а не 105 через год, - и эта скидка есть медленно убывающая функция от времени. Наоборот, эмоциональная оценка ситуации включает очень быстро падающий уровень скидки, который гиперболически убывает во времени. Это приводит к тому, что глобальная катастрофа, отстоящая на годы от настоящего момента, приобретает почти нулевой вес.
  17. Сознательное нежелание знать неприятные факты. Этот феномен проявляется в ситуации, когда человек откладывает поход к врачу, чтобы не знать неприятный диагноз. Хотя это уменьшает его шансы выжить в отдалённом будущем, зато он выигрывает в спокойном ближайшем будущем - то есть здесь тоже проявляется уровень скидки.
  
  18. Эффект смещения внимания. Чем больше внимания человек уделяет одной возможной причине глобальной катастрофы, тем меньшее значение он придаёт другим, и в результате его знания приобретают определённый сдвиг в сторону его специализации. Поэтому переоценка какого-то одного глобального риска ведёт к недооценке других и так же вредна.
  19. Интернет как источник возможных ошибок. Интернет, как подчёркивает сэр Мартин Рис [Rees 2003], позволяет создать газету 'я сегодня', путём отбора только тех сайтов, которые поддерживают исходную точку зрения субъекта, который затем укрепляет себя в выбранной позиции, постоянно читая только своих единомышленников. Не говоря о том, что уровень достоверности информации в Интернете весьма низок, поскольку значительная часть хорошей достоверной информации находится в платных изданиях (например, статьи в Nature по 30 долларов за статью), а любой человек может свободно выложить свои тексты в сети, создавая высокий информационный шум. При этом более сенсационные материалы распространяются быстрее, чем менее сенсационные. Иначе говоря, если раньше печатная продукция способствовала более быстрому распространению более качественных текстов, то теперь Интернет способствует более быстрому распространению менее качественных, но более назойливых в своей рекламе источников. С другой стороны, Интернет упрощает доступ к информации и ускоряет её поиск.
  20. Верования. Трудно отрефлексировать свои верования, так как они воспринимаются как достоверное знание или как неподсудный императив, но легко заметить, как те или иные суеверия влияют на оценку рисков другими людьми. Например, высокая аварийность в Турции связана, в частности, с принципом 'иншала' - на всё воля Аллаха: поскольку судьбы всех людей уже записаны в книге у Аллаха, то не важно, что ты делаешь - день твоей смерти уже назначен. Поэтому можно как угодно рисковать. Сэр Мартин Рис пишет [Rees 2003], что в администрации Рейгана за окружающую среду отвечал религиозный фундаменталист Джеймс Уатт, который верил, что Апокалипсис наступит раньше, чем исчерпаются запасы нефти, погибнут леса и наступит глобальное потепление, так что расточать ресурсы - это почти что наша обязанность. Многие верования могут носить более тонкий, околонаучный или 'научный' характер, например, вера в правоту или неправоту Эйнштейна, опасность или безопасность того или иного риска и т. д. Верования не подразумевают возможность фальсификации. Чтобы выявить верование полезно задаться вопросом: 'Какое событие или рассуждение заставило бы меня изменить мою точку зрения на этот вопрос?'
  21. Врождённые страхи и приобретённые фобии. У многих людей есть врождённые страхи - боязнь змей, высоты, воды, болезней. Нетрудно предположить, что такие люди будут переоценивать события, напоминающие эти страхи, и недооценивать те, которые на них непохожи. На оценку рисков может влиять и посттравматический синдром, когда запоминается некий сильный испуг и начинают пугать все похожие вещи. Сильные желания, наоборот, могут подавлять страхи, в духе поговорки: 'Если нельзя, но очень хочется, то можно'. Например, человек с врождённой брезгливостью может переоценивать риск биологической войны и недооценивать риск падения астероида, а, человек, переживший автокатастрофу, будет преувеличивать риск падения астероида, и недооценивать биологические риски.
  22. Ошибка, возникающая в результате борьбы не с источником риска как таковым, а с сообщениями о риске. В данном случае недовольство переносится не на сам источник риска, а на человека, который о нём сообщил, в духе восточного правила: 'Убить гонца, принёсшего плохую весть'. Так, в попытках вынести на обсуждение те или иные риски автор неоднократно сталкивался с жёсткой критикой, направленной на его 'личные недостатки', вплоть до обвинений в паранойе.
  23. Трудность в определении границ собственного знания. Я не знаю того, чего я не знаю. Это создаёт ощущение того, что я знаю всё, потому что я знаю всё, что я знаю. То есть создаёт ложное ощущение всеведения, ведущее к интеллектуальной слепоте и нежеланию принять новые сведения. Как справедливо заметил А. Камю: 'Гений - это ум, осознавший свои пределы' [Камю 1990]. Но пока мы полностью не познаем мир, мы не можем исчерпать список глобальных рисков.
  24. Юмор как фактор возможных ошибок. Шутка даёт человеку право законно говорить неправду. Соответственно, те, кто слышит неожиданную новость, часто воспринимают её как шутку. Например, перед терактом 7 августа 1998 охранник американского посольства в Кении позвонил напарнику и сообщил, что к воротам подъехали террористы с пистолетом; тот не поверил и выключил связь; бомба взорвалась. Поскольку мы не знаем, в какой форме к нам может прийти глобальная угроза, мы можем воспринять сообщение о ней, как шутку. Можно вспомнить и шутку Рейгана о том, что ядерная атака на СССР начнётся через 5 минут, которую он сказал для проверки микрофона перед выступлением, что привело к приведению Советской армии в боевую готовность .
  25. Паника. Гипертрофированная реакция на стресс приводит к ошибочным и опасным действиям. Например, человек может выпрыгнуть из окна при пожаре, хотя огонь ещё не дошёл до него. Очевидно, что паника оказывает влияние и на мысли человека в состоянии стресса. Например, Бэрнс Уоллес [Rees 2003], в мирное время придерживавшийся ахимсы (принцип йоги о ненасилии), во время войны разрабатывал план взрыва дамб в Германии с помощью прыгающих бомб, чтобы затопить города. То есть паника может быть достаточно длительным состоянием, существенно изменяющим модели поведения. Но и кратковременная паника опасна, поскольку угроза глобального риска может развиваться очень быстро, в течение часов и даже минут, и за это время нужно будет успеть принять стратегические решения.
  26. Сонливость и другие факторы естественной неустойчивости человеческого сознания, влияющие на появление ошибок. По одной из версий, Наполеон проиграл Ватерлоо, потому что был простужен. Каким образом можно ожидать, что президент примет верное решение, будучи разбуженным среди ночи? Сюда можно добавить и принципиальную неспособность человека точно следовать инструкциям, и конечность длины инструкций, которые он может понять и выполнить. Хотя этот фактор относится в первую очередь к ошибкам операторов, можно представить, что состояние временного помутнения сознания повлияет и на выводы конструктора или составителя некой инструкции, приведя к, допустим, ошибке в чертеже.
   27. Склонность людей бороться с опасностями, которые уже были в прошлом. Например, после цунами 2004 года в Индонезии, все стали строить системы предупреждений о цунами, отвлекаясь от других проектов. Но в будущем может произойти катастрофа, отличная от цунами. При этом с течением времени тревога людей убывает, а вероятность повторного сильного землетрясения (но не афтершока) - возрастает.
  28. Усталость от ожидания катастрофы. Типичная ошибка, состоящая в том, что после некой катастрофы, все начинают ожидать её повторения в ближайшем будущем, и после того, как это ожидание не оправдывается, переводят эту катастрофу в разряд 'это было давно и неправда'. Так было после теракта 11 сентября 2001 г. Сначала ожидались повторные атаки на небоскрёбы, и их строительство в мире затормозилось. Теперь же об этом почти забыли, и строительство небоскрёбов идёт ударными темпами. Это противоречит тому, что в реальности катастрофы такого масштаба могут происходить с периодичностью во много лет, и поэтому именно после длительного промежутка времени их вероятность реально возрастает. Усталость от ожидания катастрофы выражается и в утрате чувствительности общества к предупреждениям.
  29. Экспертные оценки, не основанные на строгих вычислениях, не могут служить мерой реальной вероятности. В отличие от ситуации на фондовых рынках, где среднестатистическая оценка лучших экспертов используется для предсказания будущего результата, мы не можем оценивать и отбирать экспертов по глобальным рискам по количеству угаданных ими катастроф. И то, что ставка в оценке глобальных рисков очень высока, - выживание человечества, - не приводит автоматически к более точным предсказаниям.
  В экспериментах по предсказанию обнаружена следующая статистика: 'Только 73 % ответов, на которые сделали ставки 100:1, были верны (вместо 99,1 %). Точность возросла до 81 % при ставках 1000:1 и до 87 % при 10 000:1. Для ответов, на которые ставили 1 000 000:1, точность составляла 90 %, то есть соответствующий уровень доверия должен был бы порождать ставки 9:1. В итоге, испытуемые часто ошибались даже при высочайших уровнях ставок. Более того, они были склонны делать очень высокие ставки. Более чем половина их ставок была более чем 50:1' [Yudkowsky 2008b].
  'Подобные уровни ошибок были обнаружены и у экспертов. Hynes и Vanmarke (1976) опросили семь всемирно известных геотехников на предмет высоты дамбы, которая вызовет разрушение фундамента из глинистых пород, и попросили оценить интервал 50 % уверенности вокруг этой оценки. Оказалось, что ни один из предложенных интервалов не включал в себя правильную высоту' [Yudkowsky 2008b]. Причиной этой ошибки является 'сверхуверенность экспертов', - например, ситуация, когда эксперт боится потерять свой статус эксперта, если будет слишком сомневаться в своих предположениях.
  30. Игнорирование какого-либо из рисков по причине его незначительности по мнению эксперта. Даже если некая теория действительно неразумна, стоит потратить время и усилия, чтобы опровергнуть её ясным и убедительным для всех образом в открытой дискуссии. Кроме того, незначительность не означает невозможность. Незначительность риска должна быть результатом исследования, а не поводом отказаться от исследования. Кроме того, нужно правильное понимание незначительности. Например, если мы сочтём оценку 10 для вероятности глобальной катастрофы незначительной (а именно так оценивает ЦЕРН риск катастрофы на новом ускорителе), то если проводить эксперименты с подобными шансами на катастрофу каждый день, то это даст 3 % вероятность вымирания в течение 100 лет или гарантированное вымирание в течение 3000 лет.
  31. Недооценка или переоценка нашей способности противостоять глобальным рискам. Если мы недооцениваем нашу способность противостоять глобальным рискам, то в силу этого мы не будем предпринимать тех действий, которые могли бы нас спасти. Если мы переоцениваем наши способности им противостоять, то это может привести нас к излишнему благодушию.
  32. Стокгольмский синдром. Речь идёт об эффекте лояльности заложников по отношению к похитителю или даже влюблённости в него. В каком-то смысле этот эффект может проявляться в так называемом 'смертничестве' - философской концепции, которая одобряет смертность человека и ограниченность его срока жизни одной сотней лет. ('Ты - вечности заложник. У времени в плену'. - Пастернак.) То есть люди склонны оправдывать конечность человеческой жизни в качестве механизма психологической компенсации своего страха смерти. Но если смертность человека одобряется, то отсюда один шаг до одобрения смертности всего человечества.
  33. За ошибками оператора стоит неправильная подготовка. За конкретными ошибками пилотов, операторов, диспетчеров и политиков часто стоят концептуальные ошибки в их отборе и подготовке. Например, потакание авторитету (случай со знаменитым египетским пилотом рейса 604 Flash Airlines, который по определению не мог ошибаться - и разбил самолёт) и экономия на обучении специалистов. Распространение знаний о глобальных рисках можно рассматривать как часть подготовки для лиц, которые будут принимать важные решения.
  34. Группа людей может принимать худшие решения, чем каждый человек в отдельности. В зависимости от формы организации группы, она может способствовать или препятствовать выработке разумных решений. Хороший вариант группы - штаб или НИИ, плохой - любая толпа или страна, охваченная гражданской войной. До тех пор, пока в мире нет единой общепризнанной группы, принимающей решения о предотвращении глобальных рисков, ситуация с организованностью групп в данном случае ближе к плохому варианту. В некоторых случаях группа может быть эффективнее отдельного человека, и это используют так называемее 'рынки предсказаний'.
  
  35. Нехватка внимания по причине естественных ограничений рабочей памяти мозга. Ограниченность числа свободных регистров в уме человека и модель мышления, отражающаяся в каждом предложении: субъект-объект-действие являются возможными источниками ошибок. Эта ограниченность заставляет человека концентрироваться на одних аспектах проблемы, например, нападёт ли А на Б, уменьшая при этом (погружая в тень внимания) другие аспекты. Ни один человек не может охватить своим умом все мировые проблемы так, чтобы ранжировать их по степени опасности и приоритетности. Даже целая организация вряд ли на такое способна.
  36. Раскол футурологии на разные независимые друг от друга дисциплины.
  Есть несколько направлений мышлений о будущем, и они имеют склонность странным образом не пересекаться, как будто речь идёт о разных мирах:
   Прогнозы наступления 'Сингулярности'. Суперкомпьютеры, биотехнологии, и нанороботы.
   Прогнозы системных кризисов в экономике, геополитике и войнах.
   Прогнозы в духе традиционной футурологии о демографии, ресурсах, потеплении.
  Особый тип прогнозов - большие катастрофы: астероиды, супервулканы, сверхвспышки на Солнце, переполюсовка магнитного поля Земли, а также религиозные сценарии и фантастические произведения.
  37. Ситуация, когда вслед за меньшей проблемой следует большая, но мы неспособны этого заметить ('Беда не приходит одна'). Глобальная катастрофа может наступить в результате цепочки событий, масштаб которых нарастает по мере их возникновения, однако первое из этих событий может приглушить для нас восприятие последующих рисков. Причинами этого могут быть:
  1) Наше внимание в момент аварии полностью отвлекается. Например, попав в маленькую аварию, водитель начинает ходить вокруг машины, оценивая ущерб, и попадает под другую машину.
  2) Влияние состояния аффекта.
  3) Человек сам совершает ещё большую ошибку в процессе исправления мелкой. Например, когда мелкий воришка стреляет в полицейского, чтобы скрыться.
  4) Непонимание того, что первая авария создаёт неочевидную цепочку причин и следствий, которая может запуститься в самый неожиданный момент.
  5) Первая неприятность постепенно ослабляет сопротивляемость организма к более быстрым и внезапным переменам. Например, при неправильном лечении грипп чреват воспалением лёгких.
  6) Непонимание того, что обе аварии могут быть вызваны некой общей причиной. Например, в доме что-то обваливается, человек идёт посмотреть, что происходит, и попадает под новый обвал.
  7) Эйфория от преодоления первой катастрофы может заставить потерять благоразумие. Например, у человека, стремившегося выйти из больницы пораньше, расходятся швы.
  38. Эффект избирательности внимания. Часто у людей, следящих за некими предсказаниями, например в экономике, возникает вопрос: 'По какой причине то, что должно вот-вот рухнуть, всё не рушится и не рушится?' Вероятно, мы имеем дело со специфической ошибкой в оценке рисков. Замечая трещины в фундаменте, мы говорим себе: "Так! Оно же вот-вот рухнет", и начинаем искать другие трещины. Разумеется, мы их находим, и нам нетрудно связать их в умозрительную сеть. Но, занимаясь поискам трещин, мы перестаём смотреть на опоры. Наше внимание становится избирательным, нам хочется подтвердить свою гипотезу.
  Мы попадаем в порочный круг избирательного накопления информации только об одном аспекте неустойчивости системы, игнорируя причины её неустойчивости, а также другие риски, связанные с этой системой. Завышение некоторых рисков, в конечном счёте, приводит также к их недооценке, поскольку общество приобретает иммунитет к негативным прогнозам и утрачивает доверие к экспертам. Например, перед станцией предупреждения о цунами на Гавайях перед приходом небольшой волны встала дилемма: если предупредить население о риске цунами, то в следующий раз предупреждению не поверят, а если не предупредить - возможно, что именно в этот раз цунами окажется опасным. Таиландская служба оповещения в 2004 году решила не предупреждать людей о цунами, боясь напугать туристов, что привело к большим жертвам.
  39. Подсознательное желание катастрофы. Стремление эксперта по рискам доказать правоту своих прогнозов вызывает у него неосознанное желание того, чтобы прогнозируемая катастрофа всё-таки случилась. Это подталкивает его или придать большее значение предвестникам катастрофы, или даже попустительствовать тем событиям, которые могут к ней привести. Люди также могут хотеть катастроф от скуки или в силу мазохистского механизма 'негативного наслаждения'.
  40. Использование сообщений о рисках для привлечения внимания к себе, выбивания денег и повышения своего социального статуса. Этот тип поведения можно определить как 'синдром Скарамеллы', - в честь итальянского мошенника, выдававшего себя за эксперта по вопросам безопасности. В крайне остром случае человек выдумывает некие риски, потому что знает, что общество и масс-медиа на них резко отреагируют. Эта модель поведения опасна тем, что из общего контекста выдёргивается несколько самых зрелищных рисков, а не менее опасные, но не столь завлекательно звучащие риски умалчиваются. Кроме того, у общества возникает привыкание к сообщениям о рисках, как в притче о мальчике, который в шутку кричал 'Волки, волки!'. Когда же волки пришли на самом деле, никто мальчику не поверил. Более того, возникает общественная аллергия на сообщения о рисках, и они начинают трактоваться в контексте пиара и деления денег.
  41. Использование темы глобальных рисков в качестве сюжета для развлекательных масс-медиа. Выделение адреналина в критических ситуациях по-своему приятно, и небольшой укол его можно получить, посмотрев фильм-катастрофу. Это приводит к тому, что разговоры о рисках начинают восприниматься как нечто несерьёзное, не имеющее отношение к личной реальности и проблемам, и даже как нечто приятное и желанное.
  42. Логическая ошибка генерализации на основании художественного вымысла. Описана у Бострома [Bostrom 2001] как 'искажение в духе 'хорошей истории'. Регулярное потребление развлекательных произведений - фильмов, романов - подсознательно формирует модель риска, который назревает, угрожает, интересно развивается, но затем зрелищно преодолевается, - и вся игра идёт почти на равных. Реальные риски не обязаны соответствовать этой модели. Даже если мы стараемся избегать воздействия художественных произведений, фильм 'Терминатор' сидит у нас в подсознании, создавая, например, ошибочное представление, что проблемы с Искусственным Интеллектом - это обязательно война с роботами. Одна из форм этой ошибки состоит в том, что в фантастическом романе берётся неизменным обычный мир и к нему добавляется одна фантастическая деталь, а затем рассматриваются возможные последствия этого. Другая форма ошибки заключается в том, что противники создаются равными по силе. Третья - в том, что нормой завершения истории считается 'хэппи-энд'. Однако в деле предотвращения глобальных рисков не может быть никакого конца вообще - если мы предотвратили все риски в XXI веке, то тоже надо делать и в XXII веке и так далее.
  43. Идеи о противостоянии глобальным рискам с помощью организации единомышленников, связанных общей целью - обеспечить благо человечества. Эта идея порочна, потому что всегда, когда есть 'мы', есть и 'они'. У любой организации есть самостоятельная групповая динамика, направленная на укрепление и выживание этой организации. У любой организации есть конкурент. Внутри организации запускается групповая динамика стада-племени, побуждающая бороться за власть и реализовывать другие скрытые цели. В результате возможна борьба спасителей человечества между собой.
  44. Секретность как источник ошибок в управлении рисками. Исследования по безопасности, ведущиеся в секрете, утрачивают возможность получать обратную связь от потребителей этой информации и, в итоге, могут содержать больше ошибок, чем открытые источники. Засекречивание результатов неких испытаний и катастроф обесценивает их значение для предотвращения последующих катастроф, потому что этих результатов почти никто не знает.
  45. Интеллектуальная установка на острую критику мешает обнаруживать опасные катастрофические сценарии. Сверхкритичность препятствует начальной фазе мозгового штурма, на которой набирается банк возможных идей. Поскольку безопасности часто угрожают невероятные стечения обстоятельств, 'тяжёлые хвосты', то именно странные идеи могут быть полезными. Корни критической настройки могут быть, например в том, что критикующий начинает претендовать на более высокий социальный статус.
  46. Ошибочность идеи о том, что безопасность чего-либо можно доказать теоретически. Однако единственный реальный критерий безопасности - практика. Десятки лет безотказной работы - лучший показатель. История знает массу примеров, когда приборы или проекты, теоретически имевшие высокую безопасность, рушились из-за непредусмотренных сценариев развития событий. Например, падение самолёта 'Конкорд' в Париже, вызванное фрагментом шасси другого самолёта на взлётно-посадочной полосе. Герой фильма Стивена Спилберга 'Парк Юрского периода' хорошо сказал об этом: 'Чтобы заключить, что ваша система безопасности ненадёжна и не может во всех случая обеспечить изоляцию полигона от окружающей среды, мне вовсе не обязательно знать, как именно она устроена'.
  47. Недооценка человеческого фактора. От 50 до 80 % катастроф происходят в результате ошибок операторов, пилотов и других людей, осуществляющих непосредственное управление системой. Ещё более значительная доля катастрофических человеческих ошибок приходится на техническое обслуживание, предполётную подготовку и ошибки при конструировании. Даже сверхнадёжную систему можно привести в критическое состояние определённой последовательностью команд. Человек достаточно умён, чтобы обойти любую 'защиту от дурака' и натворить глупостей. Поэтому мы не можем отвергнуть ни один из сценариев глобальной катастрофы, исходя из того, что люди никогда не будут воплощать его в жизнь.
  48. Ошибочность идеи о том, что можно создать безошибочную систему, многократно проверив её проект и исходный код. Сами проверки вносят некоторое число новых ошибок, и, в силу этого, на определённом уровне число ошибок стабилизируется. (Этот уровень примерно соответствует квадрату числа ошибок, - то есть, если человек делает одну ошибку на 1000, то, сколько бы он ни проверял себя, он не создаст безошибочный 'код' длиною более 1 000 000.)
  49. Статистика как источник возможных ошибок. В самой природе статистики есть возможность совершения ошибок, намеренных искажений и ложных интерпретаций. Это связано с тем, что статистика является не описанием однократно свершившихся фактов, а обобщением множества фактов при помощи описаний. Проблемы статистики связаны, в частности, со способом выборки, разными методами вычисления среднего показателя, со степенью округления, с интерпретацией полученных результатов и способами их зрительного представления для других людей.
  50. Ошибка, связанная со склонностью людей большее значение придавать широко известным или легко запоминающимся фактам. Все помнят, какого числа на Хиросиму сбросили атомную бомбу, но мало кто знает, где и когда впервые зафиксирован грипп 'испанка', унёсший в 100 раз больше жизней (по одной из версий - 8 марта 1918 г., около Канзас-Сити, США). В результате одни риски переоцениваются, и уже в силу этого другие риски остаются без внимания. Юдковски в своей статье об оценке рисков [Yudkowsky 2008b] называет это когнитивным искажением, связанным со степенью доступности информации.
  51. Двойная ошибка. Многие перечисленные источники ошибок могут приводить как к переоценке наших способностей противостоять рискам, так и к недооценке самих факторов риска. Следовательно, каждая ошибка может сказаться дважды.
  52. Анализ глобальных рисков не есть создание прогнозов. Прогноз содержит конкретные данные о времени и месте события. Но такие точные попадания очень редки и, скорее, случайны. Более того, прогноз и анализ рисков требует разных реакций от властей. Неудачные прогнозы компрометируют свою тему и людей, которые их дают. Поэтому некоторые люди дают очень много прогнозов, надеясь, что хоть один из них попадёт в цель и даст возможность прославиться. Анализ рисков, к примеру, в авиации требует усовершенствования разных механизмов самолёта, а прогноз авиакатастрофы предполагает, что люди откажутся от рейса в данный день.
  53. Иллюзия знания задним числом. Иногда люди, говоря 'Я знал это с самого начала', переоценивают свои прогностические способности, и ожидают подобных догадок от других. В отношении глобальных рисков у нас, естественно, не может быть никакого знания задним числом. А в отношении многих других, обычных, рисков оно есть. Это приводит к тому, что нам кажется, будто глобальные риски так же легко оценить. Иначе говоря, эффект знания задним числом в отношении глобальных рисков приводит к их недооценке. Подробнее см. в статье об ошибках Юдковски [Yudkowsky 2008b], который называет эту систематическую ошибку 'hindsight bias'.
  54. Эффект настройки на источники информации. Читая литературу, человек может стать проводником идей, которые в него вкладывает автор. Это позволяет ему сходу отвергать концепции других людей. В результате он становится невосприимчивым к новой информации, и его эффективность в анализе рисков падает. Ощущение собственной правоты, образованности, навыки ведения споров - всё это усиливает информационную 'глухоту' человека. Поскольку глобальные риски - вопрос в первую очередь теоретический (ведь мы не хотим экспериментальной проверки), то теоретические разногласия имеют тенденцию проявляться в нём особенно ярко.
  55. Принятие малого процесса за начало большой катастрофы. Например, изменение курса доллара на несколько процентов может восприниматься как предвестник глобального краха американской валюты. Это приводит к преждевременным высказываниям в духе: 'ну вот, я же говорил!', - что затем, когда выясняется незначительность изменений, подрывает веру, в первую очередь, свою собственную, в возможность катастрофы и её предвидения.
  56. Более простое объяснение катастрофы подменяет более сложное. На выяснение более сложного варианта уходят годы анализа, например, так часто бывает при анализе авиакатастроф. (Не говоря о том, что участники анализа стремятся немедленно подтасовать факты, если эти факты означают их уголовную и финансовую ответственность.) Это более сложное объяснение не доходит до широкой публики и остаётся в качестве некоторого информационного фона. Чем позже будет найдено точное определение причин аварии, тем дальше отодвигается возможность защиты от аварии подобного рода. Когда речь идёт о быстрых процессах, такое отставание понимания может стать критическим.
  57. Использование апокалиптических сценариев, чтобы привлечь внимание к своим проектам и добиться их финансирования. Действительно, подобная форма саморекламы распространена, особенно среди представителей псевдонауки, что приводит к аллергии на такого рода заявления. Даже если 99,9 % людей, придумывающих разные апокалиптические сценарии, явно не правы, выдвигаемые ими гипотезы, вероятно, следует принимать к сведению, так как ставки в игре слишком велики, и неизвестные физические эффекты могут угрожать нам и до того, как их официально подтвердит наука. Иначе говоря, суммарные расходы на проверку почти наверняка ложных идей меньше, чем возможный ущерб от того, что хотя бы одна из них окажется верной.
  58. Стремление людей установить некий приемлемый для них уровень риска. У каждого человека есть представление о норме риска. Поэтому, например, водители более безопасных машин предпочитают более опасный стиль езды, что в целом сглаживает эффект безопасности машины. Как бы ни была безопасна система, человек стремится довести её до своей нормы риска. Поскольку ожидаемая продолжительность жизни человека имеет порядок 10 000-20 000 дней, то, установив для себя норму риска в 1 к 100 000 в день (по своим интуитивным представлениям или в духе 'все так делают'), человек не сильно изменит свою ожидаемую продолжительность жизни. Однако по отношению к глобальным рискам такая позиция означала бы 30 % шансы вымирания в ближайшие 100 лет. При этом есть отдельные 'лихачи' с гораздо более высокой нормой риска.
  59. Эффект 'сверхуверенности молодого профессионала'. Он возникает у водителей и пилотов на определённом этапе обучения, когда они перестают бояться и начинают чувствовать, что уже всё могут. Переоценивая свои способности, они попадают в аварии. Человечество в целом, возможно, находится на такой стадии по отношению к сверхтехнологиям. (Хотя на ядерных технологиях уже хорошо обожглись в Чернобыле.)
  60. Ощущение неуязвимости у выживших. Сверхуверенность молодого профессионала усугубляется эффектом наблюдательной селекции. Его можно наблюдать в случае с отвоевавшими определённый срок без ранений солдатами, когда они начинают чувствовать свою 'неуязвимость', и всё более и более повышает свою норму риска. То же самое может происходить и с цивилизацией, - чем дольше не реализуются угрозы атомной войны, тем в большей мере кажется, что она вообще невозможна, а значит можно проводить более рискованную политику.
  61. Переоценка собственных профессиональных навыков. Поскольку глобальные риски охватывают все сферы знаний - от биологии до астрофизики и от психологии до политики, - то, чтобы получить адекватную картинку ситуации, любой специалист вынужден выйти за пределы своих знаний. Поскольку чувствовать себя профессионалом приятно, человек может испытывать склонность к преувеличению своих способностей. Это мешает ему проконсультироваться по существенным вопросам у специалистов. Стереотип 'спасителя мира' как героя-одиночки, который способен на всё, может помешать ему скооперироваться с другими исследователями и сделать свой ценный вклад в общее дело. В равной мере и представление об ордене 'джедаев', тайно спасающих мир, может быть некорректным и целиком заимствованным из развлекательного кино.
  62. Ошибка, связанная с концентрацией на мерах по предотвращению небольшой катастрофы вместо мер по предотвращению максимально возможной. Например, в Йеллоустоунском национальном парке так успешно предотвращали пожары в течение многих лет, что в лесу скопилось очень много сухих деревьев, и в результате произошёл колоссальный пожар, справиться с которым было почти невозможно. Юдковски [Yudkowsky 2008b] приводит пример со строительством дамб на одной реке в США, в результате которого количество наводнений уменьшилось, а ущерб от каждого отдельного наводнения увеличился, и в сумме ежегодный ущерб оказался выше, чем до строительства. Это было связано с тем, что после строительства дамб люди чувствовали себя увереннее, и возводили более дорогие постройки на более низко расположенных землях, поэтому, когда наводнение всё же случалось, оно наносило больший ущерб.
  63. Усталость исследователя. Энтузиазм отдельных людей нарастает волнами. В силу этого человек, который, допустим, начал выпускать некий бюллетень, может, утратив энтузиазм, начать выпускать его всё реже, что с точки зрения стороннего наблюдателя будет означать снижение интенсивности событий в этой области. Тем более, что работа исследователя глобальных рисков неблагодарна - он никогда не увидит реализации своих пророчеств, даже если они сбудутся. И у него никогда не будет уверенности, что ему на самом деле удалось что-то предотвратить. Только в кино спаситель мира получает за свою работу благодарность всего человечества и любовь красавицы. Не будем забывать, что Черчилль проиграл выборы сразу после войны, хотя верил, что заслужил переизбрания. Чтобы избежать эффекта 'перегорания', на американском флоте во время Второй мировой войны применяли регулярную ротацию высшего состава - одна смена воевала, а другая отдыхала на берегу. Юдковски [Yudkowsky 2008b] по этому поводу пишет: мы никогда не слышали о героических превентивных мерах.
  64. Страх исследователей перед потерей социального статуса. Существует ряд тем, интерес к которым нашим обществом воспринимается как симптом определённого рода неполноценности. Люди, интересующиеся этими вопросами, автоматически считаются (или даже выдавливаются в соответствующие 'экологические ниши') второсортными, сумасшедшими, клоунами и маргиналами. И другие исследователи даже могут стремиться избегать контакта с такими людьми и чтения их работ. Клеймлению подвергнуты темы телепатии и прочей парапсихологии, НЛО, а также сомнение в реальности мира. Однако важно отметить, что если хотя бы одно сообщение об НЛО было истинно и необъяснимо, то это потребовало бы переделки всей имеющейся картины мира, и не могло бы не влиять на вопросы безопасности (военные воспринимают подобные сообщения гораздо серьёзнее, чем учёные). Более того, те исследователи, которые потеряли свой статус, проявив интерес к НЛО и т. п., утратили вместе с ним и возможность доносить свои мысли до представителей власти. Военные исследования в этой области настолько засекречены, что неизвестно, имеются ли такие исследования вообще, и соответственно, неясно, в какой мере можно доверять людям, говорящим от имени исследователей необъяснимых явлений. Иначе говоря, секретность настолько инкапсулирует некую исследовательскую организацию, что она перестаёт существовать для внешнего мира, как чёрная дыра, которая не выпускает своих лучей - особенно в том случае, если высшее руководство страны ничего не знает о ней. (Характерен пример с канцлером Германии А. Меркель, которой отказывались говорить, что за люди ходят по резиденции, пока она категорически не потребовала объяснений,- это оказались сотрудники службы безопасности.)
  65. Количество внимания, которое общество может уделить рискам, ограничено. Поэтому преувеличение некоторых рисков не менее опасно, чем умалчивание о других, так как съедает то количество внимания (и ресурсов), которое можно потратить на анализ более опасных рисков. Кроме того, оно создаёт ложную успокоенность у отдельно взятого человека, которому кажется, что он сделал достаточный вклад в спасение Земли, например, заправив свой автомобиль спиртом.
  66. Пренебрежение экономикой. Такие выражения, как 'деньги - это только бумажки', или 'банковские вклады - это только нолики в компьютерах' могут быть отражением широко распространённого мнения, что крах экономики не так важен, как, скажем, война или некие более зрелищные катастрофы. Однако экономика - это материальное воплощение структурности всей человеческой деятельности. Для понимания роли экономики важно отметить, что кризис 1929 года нанёс США ущерб в 2 раза больший, чем Вторая мировая война, а крах СССР произошёл не в результате прямой агрессии, а результате структурно-экономического кризиса. Даже вымирание динозавров и другие крупные вымирания биологи связывают не с космической катастрофой, а с изменением условий конкуренции между видами.
  Все риски имеют стоимостное выражение. Экономические последствия даже небольших катастроф (в сравнении с глобальными) могут иметь огромное стоимостное выражение. Теракты 11 сентября 2001 г. нанесли ущерб американской экономике в 100 млрд. долларов, и возможно, ущерб будет гораздо больше, если учесть потенциальные потери от политики снижения процентных ставок (пузырь на рынке недвижимости), а также триллионы долларов, потраченных на войну в Ираке. При этом цена разрушенных зданий составляла только несколько миллиардов долларов. 7 писем с сибирской язвой отправленных в США террористами в 2001 г. нанесли ущерб в 1 миллиард долларов.
  Итак, даже небольшие аварии могут наносить огромный ущерб и приводить к утрате стабильности экономики, а крах экономики сделает систему менее устойчивой к ещё большим катастрофам. Это может привести к положительной обратной связи, то есть к самоусиливающемуся катастрофическому процессу.
  По мере глобализации экономики, всё больше возрастает опасность глобального системного кризиса. Конечно, трудно поверить, что мир погибнет от того, что несколько крупных банков обанкротились, однако это может запустить 'эффект домино'.
  67. Ошибки, связанные с переоценкой или недооценкой значения морального состояния общества и его элит. Одна из версий крушения Римской империи - деградация её элит, состоящая в том, что люди, из которых рекрутировались правители всех уровней, действовали исключительно в своих личных краткосрочных интересах, иначе говоря, глупо и эгоистично (что, по одной из теорий, может быть связано с тем, что они употребляли воду из водопровода со свинцовыми трубами, отрицательно влиявшую на мозг). При этом предполагается, что эффективное действие в своих долгосрочных интересах совпадает с интересами общества в целом, что, вообще говоря, не бесспорно. Другой метафорой является сравнение 'морального духа', например, войска - со способностью молекул некого вещества образовывать единый кристалл (подробно на эту тему рассуждал Лев Толстой в 'Войне и мире').
  С другой стороны, на падение нравов жаловались ещё сами древние римляне, и до сих пор этот процесс не помешал развитию производственных сил общества. Корень ошибки здесь может быть в конфликте поколений, а именно в том, что опытные и старые оценивают молодых и задиристых, не внося возрастную поправку и забывая, что сами были такими же.
  Однако в случае современных глобальных рисков огромный ущерб может быть нанесён небольшой группой, скажем, террористов, которые в рамках своей стратегии действуют долгосрочно и эффективно. Или конфликтом двух обществ, каждое из которых внутри себя продвигает некие позитивные идеалы. Причём конфликт может быть вокруг точных определений этих идеалов, например, что лучше: демократия или религия? Наконец, даже высокоморальный человек может уничтожить мир по ошибке. В то время как человек, лишённый морали, будет безопасен, так как будет коротать свой срок в тюрьме, например, за мелкую кражу, и никогда не получит доступа к высоко опасным технологиям.
  68. Ошибка, связанная со стремлением доказывать идею, вместо того, чтобы проверять её на истинность. Одни идеи проще доказывать, чем другие. Это приводит к сдвигу в оценке вероятностей. Юдковский [Yudkowsky 2008b] пишет об этом в связи с систематической ошибкой, связанной со степенью доступности информации. Чем более очевидна идея, тем легче превратить её яркий агитационный фильм. Например, легче устраивать шумиху вокруг угрозы от глобального потепления, чем от Искусственного интеллекта, потому что последняя незрима. Кроме того, человеку свойственно вовлекаться в процесс доказывания идеи массам, что приводит к отождествлению исследователя с этой идеей, стремлению сделать её проще и доступнее.
  69. Склонность людей без раздумий предлагать 'простые' и 'очевидные' решения в сложных ситуациях. А затем упорствовать, защищая их и подбирая под них аргументацию. Человеку очень трудно 'передумать'. Здесь можно вспомнить закон Мёрфи: 'Любая сложная проблема имеет простое, очевидное и неправильное решение'. Юдковски [Yudkowsky 2008b] подробно пишет о важности того малого промежутка времени между моментом возникновения вопроса и тем моментом, когда человек сделал окончательный выбор в пользу одного из ответов, в течение которого, собственно, и происходит мышление. Людям психологически трудно передумать, потому что это якобы означает признать себя глупыми и способными ошибаться, и особенно трудно передумать, если позиция уже оглашена публична и стала предметом спора.
  70. Общественная дискуссия о рисках разных исследований может привести к тому, что учёные будут скрывать возможные риски, чтобы их проекты не закрыли. Юдковски [Yudkowsky 2008b] пишет об этой проблеме, честно признавая, что не видит никакого её решения: 'И если власти вводят закон, по которому даже мельчайший риск существованию человечества достаточен для того, чтобы закрыть проект; или если де-факто нормой политики становится то, что ни одно возможное вычисление не способно перевесить груз однажды сделанного предположения, то тогда ни один учёный не рискнёт больше высказывать предположения'.
  71. Ошибка, связанная с неправильной корреляцией силы и безопасности. Эмоционально нам кажется, что технологии делятся на хорошие, то есть сильные и безопасные, и плохие - то есть слабые и опасные. Однако, на самом деле, чем сильнее некое орудие, чем больше его влияние на мир, - тем оно опаснее, тем больше способов направить его на разрушение. 'Анализ, основанный на недостаточной информации, преподносит эмоциональную оценку технологий, в результате чего информация о преимуществах имеет тенденцию смягчать воспринимаемый риск', - пишет Юдковски [Yudkowsky 2008b]. Понятно так же, что новые технологии сильнее старых технологий, - иначе бы не было коммерческого смысла их создавать.
  72. Преждевременные инвестиции. Если бы в середине XIX века люди поняли, что в XX веке им угрожает атомное оружие, и на предотвращение этого риска были бы выделены миллионы, то нет сомнений, что эти деньги были бы потрачены не по назначению, и у будущих поколений выработалась бы аллергия на такие проекты. Возможный пример: по некоторым данным, СССР в 80-е годы получил дезинформацию о том, что США вовсю разрабатывают беспилотные летательные аппараты, и развернул свою огромную программу, в результате которой возникли такие аппараты как 'Пчела' - автоматические самолёты-разведчики весом около тонны, огромной стоимости и малой надёжности. В результате российские военные разочаровались в БПЛА именно к тому моменту, когда в США была принята программа их реального создания. Другой пример: до 1939 года было абсурдно бороться против атомного оружия, а после - уже поздно.
  73. Склонность людей смешивать свои ожидания вероятного и наилучшего исходов. 'Реальность, как оказалось, зачастую выдаёт результаты, худшие, чем самый плохой ожидаемый исход', - пишет Юдковски [Yudkowsky 2008b], приводя в своей статье эксперимент со студентами, где их просили оценить наиболее вероятное и наихудшее ( в смысле самое позднее) время сдачи дипломной работы. В результате среднее время сдачи дипломной работы оказалось хуже, чем наихудший случай. Даже ясное предупреждение о том, что людям свойственно совершать такую ошибку в оценке не привело к тому, что испытуемые правильно скорректировали свои ожидания. Даже я сам, невзирая на то, что перевёл вышеупомянутую статью и хорошо знал о необходимости поправки, всё равно пал жертвой этой ошибки, оценивая ожидаемые сроки выхода данной книги в печать.
  74. Апатия прохожего. Глобальные риски не попадают под личную ответственность кого бы то ни было, поэтому весьма соблазнительно рассуждать в духе 'раз никто ничего не делает в связи с происходящим, почему я должен?'. Более того, подобный тип поведения возникает бессознательно, просто как стадный рефлекс. Типичный пример: когда человек лежит на тротуаре и мимо идёт толпа, как правило, никто не стремится помочь. Но если человек, идя по лесу в одиночестве, увидит на тропинке лежащего, он, скорее всего, остановится и предложит помощь. Юдковски [Yudkowsky 2008b] определяет эту модель поведения как важный фактор возможной недооценки глобальных рисков.
  75. Потребность в завершении. Эта концепция когнитивной психологии, обозначает стремление человека как можно скорее найти ответ на беспокоящий вопрос ('need for closure' - так её называет Круглански [Kruglanski 1989]). Это стремление приводит к тому, что человек предпочитает быстрое и неверное решение более долгому поиску правильного ответа. И хотя мы не можем искать правильную стратегию работы с глобальными рисками бесконечно долго - не стоит забывать, что мы ограничены во времени! - нам стоит хорошо подумать перед тем, как прийти к каким-то выводам.
  76. Влияние авторитета и социальное давление группы. Этот вопрос подробно рассматривается в книге 'Человек и ситуация' [Росс, Нисбетт 1999]. В частности, хорошо известны эксперименты Милграма, где одну группу испытуемых принуждали воздействовать на другую электрическим током со всё большим напряжением (на самом деле вторая группа состояла из 'подсадных уток', и ни какого тока на самом деле не подавалось), чтобы те 'учились', и при этом испытуемые доходили до смертельно опасного предела, - напряжения в 400 вольт, невзирая на то, что 'жертвы' просили и умоляли о прекращении испытания. Несмотря на то, что сначала люди из первой группы были уверены, что они не стали бы это делать, в реальных опытах 66 % испытуемых повели себя именно так. В качестве причин такого поведения было обнаружено влияние авторитета, удалённость жертвы и воздействие аналогичного поведения группы. Очевидно, что те же факторы могут действовать на нас, когда мы оцениваем риск, связанный с некоторым фактором или технологией. Если потенциальные жертвы её находятся от нас далеко во времени и в пространстве, если рядом с нами высокоавторитетная личность высказывается в пользу этой технологии, а также, если мы окружены группой людей, придерживающегося противоположного мнения, всё это окажет влияние на наш выбор.
  77. Разрыв между обзорными и точечными исследованиями, между 'деревом и лесом'. Обзорные исследования могут предлагать системные сценарии глобальной катастрофы или обсуждать последствия некоторых новых открытий, но не могут сказать, как именно сделать нечто опасное. Наоборот, прикладные исследования могут дать точную оценку рисков, скажем, отдельного астероида, но не суммарную оценку рисков ото всех причин. Этот разрыв ярко заметен в области нанотехнологий. Есть уровень обзорных проектных исследований, где в первую очередь уделяется внимание тому, что можно и нужно сделать, то есть идёт движение от заявленной цели к разным вариантам её воплощения. И есть уровень конкретных исследований свойств отдельных материалов. С точки зрения представителей первого направления прикладники 'за деревом не видят леса', с точки зрения прикладников - первые 'занимаются верхоглядством и фантастикой'. Причём оба обвинения могут быть отчасти справедливы.
  78. Ошибка, связанная с интеллектуальной проекцией.
  Эта ошибка возникает, когда мы неосознанно приписываем предметам обладание свойствами, которые на самом деле существуют только в наших представлениях о них. Пример такой ошибочности рассуждение вроде: 'ИИ будет добрый, поэтому он не может меня убить'. Тогда как доброта - это не свойство самого ИИ, а наша оценка его действия по отношению к нам, и причинная связь здесь обратная - мы называем ИИ 'добрым', потому что он нас не убивает. Юдковски её определяет так: 'Это частный случай глубокой, запутывающей и чрезвычайно распространённой ошибки, которую E. T. Jaynes назвал ошибочностью, связанной с умственной проекцией (mind projection fallacy). Jaynes, специалист по байесовской теории достоверности, определил 'ошибочность, связанную с умственной проекцией' как ошибку возникающую потому, что состояния знания перепутаны со свойствами объектов. Например, фраза 'мистический феномен' подразумевает, что мистичность - это свойство самого феномена - но если я неосведомлен относительно некого феномена, то это факт о моём состоянии сознания, а не о самом феномене.)'
  79. Представление о том, что изменять обстоятельства следует, уничтожая их причины. Однако спичка, от которой загорелся пожар, уже погасла. Стремление уничтожить любую систему, от государства до тараканов и микроорганизмов, приводит к тому, что эта система оптимизируется для борьбы, становится сильнее. А тот, кто с ней борется, вынужден приобретать качества своего врага, чтобы действовать с ним на одной территории.
  80. Забвение основного принципа медицины - 'Не навреди!' А вот другая формулировка этого принципа: 'Когда не знаешь что делать, - не делай ничего'. За этим стоит вековой опыт, который говорит, что необдуманные действия скорее принесут вред, чем помогут. Транслируя этот принцип на наш предмет, - глобальные катастрофы, можно сказать, что попытки их предотвращения могут, напротив, усугубить положение вещей.
  81. Путаница между объективными и субъективными врагами. Когда некто преследует цели, мешающие моим целям, он является моим объективным врагом. (тигр, который хочет съесть козу; противник в игре в шахматы; конкурент в бизнесе). Однако между людьми врагом становится тот, кто стремится уничтожить лично мое эго, меня. Это понятие сходно с кровной местью. И ловушка тут в том, что объективный враг начинает восприниматься как субъективный. Это подобно тому, чтобы, стоя перед мчащимся поездом, заявить, что именно он вознамеривается уничтожить меня. Однако между людьми бывает и реальные ситуации 'субъективной' вражды, когда один хочет уничтожить другого, не имея никаких иных за этим целей или полезностей. Применительно к глобальным рискам это означает, что люди, которые могут уничтожить мир, вовсе не будут лично ко мне злы или выглядеть как исчадия ада. Это могут быть честные, благородные, красивые люди, которые совершат некую очень маленькую и неочевидную ошибку.
  82. Предсказания или мечты о катастрофе, на самом деле обусловленные завистью. Яркий пример этого - множество форумов в Интернете, где люди, обиженные распадом СССР, мечтают увидеть крах США и выискивают признаки этого процесса. (Но это не значит, что в американской экономике нет проблем.) Один из вариантов того, когда неосознаваемые желания могут влиять на описание действительности.
  83. Страх утраты идентичности. Нежелание изменяться, трансформироваться, которое свойственно системе, связано с тем, что она опасается потерять самое себя. То есть для системы утратить свои определяющие свойство - равносильно смерти. Это одна из причин борьбы против глобализации. Некто может предпочесть смерть утрате идентичности. То есть предпочесть глобальную катастрофу трансформации того мира, в котором он живёт.
  84. Понятная катастрофа может быть привлекательнее непонятного будущего. В целом глобальную катастрофу проще представить, чем будущее, с некими ещё не открытыми технологиями. (То есть здесь действует когнитивное искажение, связанное с доступностью информации.) Непонятное может вызывать страх.
  85. Неправильное применение философского правила 'бритва Оккама'. Мы не должны отсекать сложные гипотезы на основании бритвы Оккама. Бритву Оккама можно рассмотреть через призму байесовой логики. Тогда гипотеза, требующая большего числа независимых предположений, оказывается менее вероятной. Например, гипотеза, базирующаяся на 10 независимых предположениях, будет иметь только 1 к 1024 шанс на истинность. Однако и это не мало, если речь идёт о гипотезе, которая означает риск вымирания человечества!
  86. Верхняя граница возможной катастрофы формируется на основании прошлого опыта. Вот что пишет Юдковски [Yudkowsky 2008b] в связи с уже упоминавшимися дамбами: 'Недавно пережитые наводнения, по-видимому, устанавливают границу потерь, начиная с которой хозяева верят, что появился повод для беспокойства. Когда дамбы и насыпи построены, они уменьшают частоту наводнений, таким образом, видимо, создавая фальшивое чувство безопасности, которое ведет к уменьшению предосторожности. В то время как строительство дамб уменьшает частоту наводнений, ущерб от каждого наводнения с построенными дамбами настолько возрастает, что среднегодовой ущерб, в конечном счете, увеличивается. Кажется, что люди не способны экстраполировать пережитые малые опасности на возможность более серьёзного риска; напротив, прошлый опыт малых опасностей устанавливает ощущаемую верхнюю границу для рисков'.
  87. Ошибка, связанная с неверным переносом закономерностей одной системы на другую.
  А) Игнорирование роста сложности структуры как фактора, снижающего надёжность системы. Если от растения можно отрезать большую часть, не повредив его способности к полноценному восстановлению, то, чтобы убить животное, достаточно удалить очень маленький кусочек организма. То есть, чем сложнее система, тем больше в ней уязвимых точек. Нельзя не отметить, что, по мере нарастания процессов глобализации, связность и структурность земной цивилизации растёт.
  Б) Снижение надёжности системы пропорционально четвёртой степени плотности энергии. Это эмпирическое обобщение (точное значение степенного показателя может отличаться в зависимости от разных факторов) можно обнаружить, сравнивая надёжность самолётов и ракет: при равных размерах, количестве и затратах надёжность ракет примерно в десять миллионов раз меньше - в значительной мере за счёт того, что плотность энергии в двигателях в несколько раз больше, и ряда других факторов. Похожее эмпирическое обобщение верно и для статистики смертельных аварий автомобилей в зависимости от скорости. Нельзя не отметить, что энерговооружённость человечества постоянно растёт.
  88. Двусмысленность и многозначность любого высказывания как источник возможной ошибки. С точки зрения авторов регламента работ на Чернобыльском реакторе персонал нарушил их требования, а с точки зрения персонала, пользовавшегося этим регламентом, он действовал точно в соответствии с его требованиями. Регламент требовал 'заглушить реактор' - но разработчики считали, что это надо произвести немедленно, а операторы - что постепенно. Другой вариант - когда автоматическая система спасения и пилот могут совершать набор действий, каждый из которых в отдельности спас бы самолёт, но вместе они накладываются друг на друга и приводят к катастрофе (гибель А310 в 1994 году в Сибири). Трудно достичь однозначного понимания терминов, когда у нас нет экспериментального опыта, как в случае с глобальными катастрофами.
  89. Отказ рассматривать некий сценарий по причине его 'невероятности'. Однако большинство катастроф случаются в результате именно невероятного стечения обстоятельств. Гибель 'Титаника' связана с экзотической, если так можно сказать, комбинацией 24 (!) обстоятельств.
  90. Переход от обмана к самообману. Сознательный обман других людей с целью получения определённой выгоды, в нашем контексте - сокрытия рисков - может незаметно принять форму самогипноза. Самообман может быть гораздо более устойчив, чем иллюзия или непреднамеренное заблуждение. Ещё один вариант такого опасного самогипноза - команда себе: 'Я подумаю об этом завтра' (но завтра никогда не наступает).
  91. Переоценка собственных возможностей вообще и выживаемости в частности. Просто проиллюстрирую это цитатой из статьи Бострома об угрозах существованию: 'Эмпирические данные о предубеждениях в оценке рисков двусмысленны. Доказано, что мы страдаем от систематических предубеждений, когда мы оцениваем наши собственные перспективы рисков в целом. Некоторые данные показывают, что людям свойственно переоценивать собственные способности и перспективы. Три четверти всех автолюбителей думают, что они более аккуратные водители, чем среднестатистический водитель. Согласно одному исследованию, почти половина социологов верит в то, что они принадлежат к лучшим десяти учёным в своей области, и 94 % социологов думают, что они лучше в своей работе, чем их коллеги в среднем. Также было показано, что находящиеся в депрессии люди имеют более точные предсказания, чем нормальные люди, за исключением тех предсказаний, которые касаются безнадёжности их ситуации. Большинство людей думает, что они сами с меньшей вероятностью подвержены обычным рискам, чем другие люди. Широко распространено убеждение, что публика склонна переоценивать вероятности часто освещаемых в печати рисков (таких, как катастрофы самолётов, убийства, отравления едой и т. д.), и недавнее исследование показывает, что публика переоценивает большое количество распространённых рисков здоровью в отношении себя. Другое недавнее исследование, однако, предполагает, что доступная информация согласуется с предположением, что публика рационально оценивает риск (хотя и с некоторым сужением из-за расхода мыслительных усилий на удержание в уме точной информации)'.
  92. Стремление к прекрасному будущему, заслоняющее восприятие рисков. Это явление можно заметить у революционеров. Опыт Великой Французской революции вполне мог научить, что революция ведёт к гражданской войне, диктатуре и внешним войнам, однако русские революционеры начала ХХ века питали те же иллюзии, что и их французские коллеги за 120 лет до них, хотя, в конечном счёте, получили аналогичный результат. И у современных сторонников радикального развития технологий есть необъективность такого же рода - то есть вера в том, что новые технологии не приведут новым видам оружия, его применению, и новым технологическим катастрофам. Психологически это связано с тем, что человек отвергает размышления о рисках, как препятствия на пути к светлому будущему.
  93. Фильтры, мешающие поступлению информации к руководству. Информация существует не в вакууме, а внутри конкретной системы. Ценность информации определяется её новизной и суммарной способностью системы реагировать на неё. Поэтому важно исследовать не только высказывания о глобальных рисках, но и то, как они могут распространяться в обществе. Г.Г. Малинецкий в книге 'Риск. Устойчивое развитие. Синергетика' [Капица, Курдюмов, Малинецкий 2001] пишет: 'Еще одна особенность информации в условиях возникновения ЧС состоит в том, что поступающие в систему управления данные проходят через ряд фильтров. Первыми из них являются используемые в системе управления методы изучения и анализа внешней среды, посредством реализации которых входная информация, прежде чем поступить к руководству, отсеивается. Этот фильтр, как правило, настроен на прошлое и настоящее, а не на возможные экстремальные изменения ситуации в будущем.
  Вторым фильтром является психологический, суть которого заключается в неприятии руководством информации вследствие ее стратегической новизны.
  Третий фильтр на пути поступающей информации образует руководящая иерархия. Новая информация не сможет влиять на формирование реакции на изменения, если руководители не будут обладать достаточной властью, чтобы официально признать актуальность этой информации.
  Четвертый фильтр связан с тем, что в последние годы информация рассматривается как ценный стратегический товар, к которому следует относиться бережно и не передавать его по первому требованию. Подчеркнем, что в условиях ЧС любые задержки в передаче исходной информации не только безнравственны, но и преступны'.
  94. Любопытство может оказаться сильнее страха смерти. Вовсе не любая информация о глобальных рисках полезна. Например, если мы произведём некий опасный эксперимент и в результате выживем, мы узнаем, что этот тип экспериментов безопасен. Но стоит ли это знание того риска, которому мы себя подвергли? Тем не менее, людям свойственно рисковать жизнью ради знаний или переживаний. Можно вспомнить, что были жертвы в толпе любопытных, наблюдавших штурм Белого дома в 93 году. И, я уверен, многим людям любопытно, каков будет 'конец света'. Кто-то может согласиться на опасные эксперименты попросту ради любопытства.
  95. Система и регламент. Глобальная катастрофа, как и любая обычная техногенная авария, может быть не результатом какой-то одной фатальной ошибки, а следствием случайного фатального совпадения десятка незначительных ошибок. Для гладкого функционирования системы приходится позволять нарушать регламент по мелочам. И в какой-то момент эти нарушения складываются подходящим образом - непотушенный окурок, незакрытый бак, упрощённая схема запуска - и приводят к образованию цепочки событий, ведущей к катастрофе. Дальше происходит следующее: 'Мне приходилось принимать участие в расследованиях (или изучать материалы) несчастных случаев и аварий в промышленности (неатомной). По их результатам я для себя сделал следующий вывод: практически никогда не бывает какой-то "единственной главной" причины и соответственно "главного виновного" (я имею в виду не официальные выводы комиссий, а фактическую сторону дела). Как правило, происходит то, что я для себя условно называю: десять маленьких разгильдяйств. Все эти маленькие разгильдяйства совершаются у всех на виду в течение многих лет подряд, а т.к. по отдельности каждое из них не способно привести к тяжелым последствиям, то в силу этого внимание на них не обращается. Но когда все они происходят в одно время, в одном месте и с одними людьми - это приводит к трагическому результату. Ну а когда происшествие имеет общественный резонанс - тогда обычно и назначают главного стрелочника по принципу: "кто не спрятался, я не виноват" .
  96. Эффект 'стрелочника'. Вместо поиска подлинных причин аварии ищут стрелочника, в результате чего подлинные причины не устраняются, и она становится возможной ещё раз. В отношении глобальной катастрофы этот может иметь тот смысл, что вместо того, чтобы обнаруживать и устранять общесистемные закономерности, ведущие к ней, будет вестись борьба с частными проявлениями. Общесистемными закономерностями, ведущими к глобальной катастрофе, являются технический прогресс, принципиальная невозможность экспериментальной проверки, сверхуверенность людей и т. д., тогда как распространение генетического кода одного взятого вируса - частным проявлениям этих закономерностей.
  97. Минимальный воспринимаемый риск. Существует минимальный воспринимаемый риск, то есть, если вероятность события меньше некого порога, человек воспринимает её как нулевую. Было выдвинуто предположение, что это обусловлено тем, что человек принимает решения, исходя не из реальных вероятностей, возможных вариантов событий pi, а из своих представлений о них f(pi). Например, ряд экспериментов показывает, что человек не воспринимает вероятности меньше 10 5, несмотря на очень большой возможный ущерб [Капица, Курдюмов, Малинецкий 2001]. Это мы выше объясняли исходя из того, что такой уровень риска незаметен на фоне ежедневного риска, которому подвергается человек.
  98. Отвержение новых идей. Люди и учёные часто отвергают новые идеи, так как это означало бы признать собственную неправоту. Динамика такого процесса обрисована Куном в его теории научных революций, и, к сожалению, дискуссии о новых идеях часто окрашены теми же моделями поведения, что и борьба за власть в стае обезьян. Часто предупреждения о новых рисках носят не вполне доказанный характер. Пример такого отвержения, стоивший миллионы жизней - длительное отвержение идей венгерского врача Игнаца Филиппа Земмельвейса (1818-1865), который утверждал, что родильная горячка связана с тем, что врачи не моют руки после вскрытия трупов.
  99. Воздействие эмоциональной реакции шока. Известно, что катастрофы провоцируют определённую последовательность психологических переживаний, каждое из которых влияет на объективность принимаемых решений. В книге 'Психогении в экстремальных условиях' сказано: '... психологические реакции при катастрофах подразделяются на четыре фазы: героизма, 'медового месяца', разочарования и восстановления' [Александровский 1991] при этом фазе героизма может предшествовать период отрицания, паники или паралича в первые мгновения катастрофы.
  Каждая из этих стадий создаёт свой вид необъективности. Если начнётся глобальная катастрофа, то она будет настолько ужасна, что вызовет реакцию отрицания в духе 'не может быть', 'это какая-то ошибка' и т. д. Например, видеокадры о теракте 11 сентября многие восприняли как кадры из нового голливудского кинофильма. Затем идёт стадия сверхреакции, которая может создать новые опасности из-за опрометчивого поведения. Например, лётчики, вылетевшие патрулировать 11 сентября небо над Нью-Йорком, были уверены, что началась война с русскими. В том же духе было и заявление президента Буша о том, что 'мы объявляем войну' в тот же день. Затем на стадии эйфории чувство опасности притупляется, хотя на самом деле опасная ситуация ещё не закончилась. Уныние, наоборот, связано не с уменьшением оценки риска, а с уменьшением мотивации с ним бороться, возможно, связанное с масштабами потерь и осознанием неизбежности. Принятие приводит к тому, что катастрофы забываются, а риск принимается как должное. То есть на этой стадии происходит и уменьшение оценки риски, и уменьшение мотивации по его преодолению. Такое описание относится к переживанию катастроф, которые начались и закончились, вроде землетрясений, и клинике острого горя при смерти близких. Однако глобальная катастрофа не относится к таким событиям - скорее, если её наступление удастся заметить, она будет выглядеть как всё более нарастающий грозный процесс.
  При этом важно то, что эмоции воздействует на поведение людей независимо от того, хотят они этого, или нет, даже если они знают об этом воздействии, и хотят его избежать. На этом основано действие рекламы. Кроме того, если начнётся глобальная катастрофа, например, всеобщая эпидемия, то у почти каждого будут близкие люди, умершие в результате неё или находящиеся в зоне повышенного риска. В голливудском кинематографе это изображается обычно так: главный герой успевает и страну спасти, и высвободить любимую девушку из завалов. Но это весьма сказочный, нереальный сценарий развития событий. Все люди, и принимающие решения, и исполнители, в случае глобальной катастрофы будут думать не только о судьбах планеты, но и о спасении своих близких (а также своих стран, родных городов и других общностей, с которыми они связаны), и в силу этого их выбор будет неоптимален. Даже если они примут решение пожертвовать своими близкими и целиком сосредоточиться на предотвращении катастрофы, эмоциональный стресс от такого решения нанесёт вред их объективности и работоспособности. Фактически, они будут находиться в состоянии острого горя или шока. Г. Г. Малинецкий пишет: 'Ряд специалистов по психологии риска считают, что доля руководителей, способных адекватно действовать в условиях ЧС, не превышает 0,5 %' [Капица, Курдюмов, Малинецкий 2001].
  100. Проблемы отбора экспертов. Поскольку по каждому отдельному вопросу мы вынуждены полагаться на мнение наиболее компетентных людей в этой области, нам нужен эффективный способ отбора таких людей - или их книг. Методики отбора экспертов обычно таковы: во-первых, имеют значение их регалии: индекс цитирования, научные звания, должности и т. д. Во-вторых, можно полагать на число сбывшихся прогнозов для того, чтобы определить вероятность их правоты. Третий способ состоит в том, чтобы не доверять никому, и перепроверять самому все чужие выкладки. Наконец, можно отбирать людей по тому, насколько они разделяют ваши убеждения - верят ли они в Сингулярность, Пик Хубберта, либеральную модель экономики и т.д. - очевидно, что в этом случае мы не узнаем ничего нового, кроме того, что и так подразумевалось нашим отбором. А очевидно, что все способы отбора экспертов содержат свои подводные камни. Например, в отношении глобальных катастроф не может быть сбывшихся прогнозов.
  101. Вина и ответственность как факторы предотвращения рисков. Нашему уму свойственно пытаться определить того, кто именно виноват в той или иной катастрофе. Вина опирается на концепции свободы воли, вменяемости и последующего наказания. Однако в случае глобальной катастрофы она утрачивает всякий смысл, так как не будет ни расследования, ни наказания, ни пользы от этого наказания, ни страха наказания. С другой стороны, концентрация на поиске виноватых отвлекает от видения целостной картинки катастрофы. Фактически, мы думаем, что если мы определим виноватых и заменим их на более эффективных исполнителей, то следующий раз катастрофы не будет, а всем разгильдяям будет хороший урок и дисциплина на производстве повысится. Очевидно, однако, что наказание виноватых бесполезно, когда речь идёт о глобальных катастрофах. Возможно, имело бы смысл 'судить победителей' - то есть людей, которые допустили некий глобальный риск, даже если катастрофы в результате не произошло. При этом важно повышать ответственность людей за сохранение мира, в котором они живут.
  102. Недооценка сил инерции как фактора устойчивости систем. Помимо общих соображений о сложности и механизмах обратной связи, делающих систему устойчивой, можно использовать формулу Готта (см. главу 'Непрямые способы оценки рисков') для того чтобы оценить время существования системы в будущем, исходя из прошлого времени её существования. Формула Готта математически подкрепляет такие вероятностные коллизии из повседневности, - например, если автобуса не было в течении часа, то маловероятно его прибытие в ближайшую минуту. То есть прошлое время существования системы создаёт, так сказать, 'временную инерцию'. Когда оказывается, что некая система более устойчива, чем нам казалось, исходя из наших теорий, мы начинаем сомневаться в наших теориях, которые могут быть по сути правильными, но ошибаться в датировке событий. Таким образом, недооценка устойчивости ведёт к недооценке рисков.
  103. Мнения, обусловленные мировоззрением. Суть ошибки состоит в предположении о том, что существуют истинные высказывания, не обусловленные мировоззрением. Все дискуссии о рисках глобальной катастрофы происходят на платформе определённого научного, культурного и исторического мировоззрения, которое для нас настолько очевидно, что кажется прозрачным и является незаметным. Однако возможно, что представитель другой культуры и религии будет рассуждать принципиально по-другому и предвзятость наших рассуждений будет для него также очевидна.
  104. Борьба за научный приоритет. Например, в отношении глобального потепления есть несколько разных терминов, выдвинутых разными авторами с целью закрепить свой приоритет на эту концепцию: 'планетарная катастрофа' у Ал. Гора, 'парниковая катастрофа' у А.В.Карнаухова, 'runaway global warming' в другой зарубежной литературе. Это приводит к тому, что поиск по одному из синонимов не выдаёт результатов по другому. Кроме того, важно отметить те трудности, которые испытывает наука с удостоверением уникальных событий, которые имели конечное число наблюдателей (весьма в духе известного решения французской Академии наук о том, что 'камни с неба падать не могут', касательно метеоритов.)
  Вообще, есть много разных тонких моментов, касающихся борьбы за гранты, здания, приоритет, рейтинг цитирования, влияние на политику, а также связанных с личной неприязнью, которые превращают науку из храма знаний в банку с пауками.
  105. Ошибка, связанная с сознательным и бессознательным нежеланием людей признать свою вину и масштаб катастрофы. И вытекающие из этого неправильное информирование начальства о ситуации. Сознательное - когда, например, военные скрывают некую аварию, чтобы их не наказали, желая справится своими силами. Когда люди не вызывают пожарных, сами туша пожар до тех пор, пока он не становится слишком обширным. Бессознательная - когда люди верят в то описание, которое уменьшает масштаб аварии и их вину. В Чернобыле организатор испытаний Дятлов верил, что взорвался не реактор, а бак с водой охлаждения - и продолжал подавать команды на несуществующий реактор. Вероятно, такое нежелание может распространяться и на будущее время, заставляя людей не принимать на себя ответственность за будущие глобальные катастрофы.
  106. Систематическая ошибка, связанная с эгоцентричностью. Она состоит в том, что люди приписывают себе большее влияние на результаты коллективных действий, чем это есть на самом деле. Иногда люди преувеличивают негативное влияние (мегаломания). По мнению Майкла Анисимова, по этой причине люди преувеличивают значение собственной смерти и недооценивают смерть всей цивилизации [Ross, Sicoly 1979].
  107. Систематическая ошибка, возникающая в связи с наличием или отсутствием явной причины событий.Людям свойственно более толерантно относиться к событиям, происходящим естественным образом (например, смерти от старости), чем к событиям, имеющим явную причину (смерти от болезни), и особенно - событиям, связанным со злым умыслом (убийство). В случае с глобальными рисками в настоящий момент нет объекта или человека, которого мы могли бы обвинить в том, что человеческая цивилизация находится под угрозой вымирания. Майкл Анисимов пишет: 'Поскольку на горизонте не видно плохого парня, чтобы с ним бороться, люди не испытывают такого энтузиазма, который бы они, например, испытывали, протестуя против Буша' .
  107. Зависимость реакции от скорости изменения величины.
  Человеку свойственно сильнее реагировать на внезапно возникшие угрозы, чем на угрозы той же силы, но развившиеся постепенно. Ал Гор в своём фильме о глобальном потеплении приводит в качестве примера опыт с лягушкой. Если лягушку бросить в горячую воду, она тут же выпрыгнет, но если поместить её в сосуд с холодной водой и нагревать, она будет сидеть в нём, пока не свариться. Точно так же и жители острова Пасхи так медленно сводили деревья, что для каждого поколения проблема была не заметна.
  108. Коммерческие интересы как причины сознательного и бессознательного искажения результатов.
  Ещё К. Маркс писал о том, что нет такого обмана, на который капитал не пойдёт ради прибыли, и о том, что мнения человека могут быть обусловлены его принадлежностью к тому или иному общественному классу (а также национальной группе, добавим мы сейчас), чьи интересы он вольно или невольно разделяет. Кроме того, неоднократно звучали обвинении фармацевтических компаний в подлоге или систематическом искажении результатов ради получения прибыли. Часть таких обвинений сама может быть результатом борьбы с конкурентами.
  Глава 4. Возможные общелогические ошибки в рассуждениях о глобальных рисках
  1. Путаница между вероятностью, как мерой изменчивости объекта, и степенью уверенности, как мерой информации об объекте. Первое понятие относится к вероятностному процессу, например, радиоактивному распаду, а второе к неизвестному процессу - например, угадыванию карты. Однако глобальные риски представляют собой явления, оценивая которые мы вынуждены высказывать вероятностные суждения о процессах, одновременно и вероятностных, и неизвестных. Таким образом, здесь идёт речь о степени уверенности в той или иной вероятности. В этом случае вероятность и степень уверенности перемножаются. Подробнее об этом мы говорили в 1 главе первой части, когда обсуждали смысл понятия вероятность применительно к глобальным катастрофам.
  2. Ошибки, связанные с подменой анализа возможностей анализом целей. К данному типу заблуждений можно отнести рассуждения в духе 'террористы никогда не станут применять бактериологическое оружие, потому что оно нанесёт удар и по тем, чьи интересы они защищают'. Однако в действительности структура целей может быть очень сложна или просто содержать в себе ошибки.
  3. Неверное употребление индуктивной логики. Умозаключение вида 'если нечто очень давно не происходило, то оно не произойдёт ещё очень долго' работает только в том случае, если мы однократно наблюдали некое событие в случайный момент времени, и его вероятность описывается формулой Готта. Данная формула оценивает шанс завершения произвольного события в 50 процентов в промежуток от 1/3T до 3T, где T - возраст объекта в момент его случайного обнаружения. Однако если мы очень долго наблюдаем некий процесс, то он очевидным образом приближается к своему концу. Например, если мы возьмём случайного человека в случайный момент времени, то он, скорее всего, будет среднего возраста. Однако если взять случайного человека и потом очень долго наблюдать за ним, то мы однозначно увидим когда-нибудь глубокого старика, который может умереть в любой момент. (Подробнее см. мою статью 'Природные катастрофы и антропный принцип' [Турчин 2007b].)
  4. Ошибки, связанные с мышлением, обусловленным желанием найти доказательства. В зависимости от того, что человек хочет доказать, он будет подбирать те или иные аргументы, часто неосознанно. Другое название для этой модели - 'рационализация', то есть подбор псевдорациональных аргументов под некое исходно иррациональное утверждение. В английском это называется 'wishful thinking'.
  5. Логическая ошибка, возникающая при попытках доказать, что нужно делать, только на основании имеющихся фактов. Если в первой и второй посылке умозаключения содержатся только факты, то и в выводе могут быть только факты. Любое рассуждение о целях должно опираться на некие представления о ценностях, заданных аксиоматически. Однако это означает произвольность таких целей, и их понимание может различаться у разных исследователей глобальных рисков, что может привести к разным определениям понятия катастрофы и различным представлениям о том, что будет из неё выходом. Кроме того, любая система аксиом позволяет формулировать недоказуемые высказывания (как показал Гёдель в теореме о неполноте). И в этом несложно убедиться на примере долженствования: почти любая система базовых ценностей легко порождает внутри себя противоречия, что является основой сюжета многих литературных произведений, когда герой должен сделать выбор между, допустим, любовью к семье и долгом перед родиной (то, что ещё называется 'экзистенциальным выбором'). Неизвестно, возможна ли вообще непротиворечивая система ценностей, как она будет выглядеть, и будет ли применима на практике. Однако работа над непротиворечивой системой ценностей важна, так как в будущем её нужно будет вложить в машины, обладающие искусственным интеллектом.
  6. Ошибки, связанные с подменой анализа рисков анализом коммерческих мотивов лиц, исследующих риски. Можно рассуждать следующим образом: если человек исследует риски бесплатно, то он безработный и маргинал, если он хочет получать за это деньги, то он паразитирует на общественных страхах, если это его прямые должностные обязанности, то доверять ему нельзя, потому что он агент государства и запудривает мозги населению. Отсюда следует, что прямой связи между коммерческим интересом и анализом рисков нет, хотя в некоторых случаях она возможна. Объяснение через упрощение называется 'редукционизмом' и позволяет объяснить всё, что угодно.
  7. Использование так называемого 'авторитетного знания'. 'Авторитетное знание' было основным источником сведений о мире в Средние века, когда истину искали в трудах Аристотеля и других мыслителей древности; потом изобрели эмпирический метод. Ссылки на мнения великих людей не должны служить достаточным основанием для того, чтобы признать некое явление безопасным. Только регулярно повторяемые вычисления могут указывать на это.
  8. Неправильное применение идеи о том, что теория должна считаться истинной, только если она доказана. Если рассматривать научный метод, как способ получения наиболее достоверных знаний, то эта методология верна. Однако с точки зрения обеспечения безопасности необходим противоположный подход: некое предположение о новом опасном явлении должно приниматься всерьёз до тех пор, пока не доказано обратное. Например, новая модель самолёта считается опасной, до тех пор пока не будет доказано, путём теоретических выкладок и испытательных полётов во всех режимах, что она безопасна; тот же принцип лежит в основе клинического тестирования новых лекарств. Неясно так же, как применять принцип фальсифицируемости (лежащий в основе научного метода) в отношении теорий о тех или иных глобальных катастрофах.
  9. Восприятие новой информации через призму старой.
  В процессе восприятия внешнего мира человек только часть информации берёт из него, а остальное достраивает, используя свою память, ожидания и ассоциации. Увы, то же касается и восприятия текстов, в том числе и по глобальным рискам. Читая рецензии разных людей на один и тот же текст, нетрудно убедиться, что они восприняли его совершенно по-разному. Вряд ли это связано с принципиально разным уровнем интеллекта рецензентов, скорее, с тем, что они применяли разные фильтры восприятия. Более того, если человек придерживается определённой точки зрения, то он подписывается на те издания и выбирает те статьи, которые её подтверждают. Таким образом, у него создаётся иллюзия, что статистика по данным, подтверждающим его точку зрения, растёт. Это ещё больше укрепляет и его фильтр, и его уверенность в этих данных.
  10. Ошибка в выборе нейтральной позиции. Каждый человек со временем понимает, что он не вполне объективен, и его точка зрения имеет некоторую тенденциозность. Чтобы компенсировать это отклонение, он может выбрать некий нейтральный источник информации. Ошибка состоит в том, что люди, придерживающиеся противоположных взглядов, выберут разные нейтральные точки зрения, каждая из которых будет ближе к позиции того, кто её выбрал. Похожую ошибку мы описывали выше, когда приводили результаты опытов, в которых испытуемые были предупреждены о возможной ошибке и делали на неё поправку - и, тем не менее, всё равно недооценивали. Вероятно, поправку в таком случае нужно давать не только к основному параметру, но и к самой поправке.
  11. Уверенность как источник ошибок. Чем больше человек сомневается в своей точке зрения, тем чаще он меняет её под влиянием новых фактов, и тем больше шансов, что он обретёт достоверное знание. Если человек слишком уверен в своём мнении, ему трудно это мнение изменить. Если же человек слишком часто меняет точку зрения, то он не приближается к истине, а ходит по кругу.
  12. Использование полностью ошибочной логики. Увы, возможна ситуация, когда человек в своих рассуждениях совершает ошибки буквально 'в каждой строчке'. Как правило, он не способен обнаружить это даже при желании. Здесь может возникнуть или одна повторяющаяся систематическая ошибка, или такая плотность разных ошибок, которая делает невозможным правильное рассуждение. Я тоже не могу знать наверняка, не делаю ли каких-то систематических логических ошибок в настоящий момент. Появление таких ошибок может происходить чаще, чем мы думаем: анализ научных текстов показал, что обычно люди пользуются сокращёнными умозаключениями и приёмами эвристики, не осознавая этого.
  13. Смешение преднауки и псевдонауки. В тот момент, когда гипотеза находится в процессе формулирования, она ещё не имеет под собой устойчивого научного фундамента и является, скорее, продуктом мозгового штурма на некую тему, возможно, осуществляемого коллективно путём обмена мнениями в печатных изданиях. И в этот момент гипотеза, являясь по сути преднаукой, нацелена на то, чтобы стать частью науки, то есть готова пройти соответствующий отбор и быть принятой или отвергнутой. Псевдонаука может имитировать все атрибуты научности - звания, ссылки, математический аппарат, тем не менее, её цель - не поиск достоверного знания, а создание видимости достоверности. Все высказывания о глобальных рисках являются гипотезами, которые мы вряд ли когда-нибудь сможем проверить. Однако мы не должны отбрасывать их на ранних фазах созревания. Иначе говоря, фаза мозгового штурма и фаза критического отсева должны существовать наравне, не смешиваясь.
  14. Ошибка, связанная с неправильным определением статуса 'универсалий'. Проблема реальности универсалий (то есть обобщений) была основной в средневековой философии, и состояла она в вопросе, какие объекты существуют на самом деле. Существуют ли, например, птицы вообще, или есть только отдельные экземпляры птиц, а все виды, рода и семейства птиц - не более чем условная классификация, порождённая человеческим разумом? Одним из возможных ответов является то, что объективно существует лишь наша способность различать птиц и не-птиц. Более того, каждая птица тоже обладает такой способностью, и в силу этого универсалии существуют объективно. В рассуждения о рисках неясность по поводу универсалий закрадывается следующим образом: свойства одного объекта переносятся на класс в целом, и возникают формулировки вроде 'Америка хочет...' или 'русским свойственно...', за которыми стоит не единичный объект, а множество их, и точное определение этого множества объектов зависит от самого наблюдателя. Любые дискуссии о политике отравлены такого рода сдвигом. Рассуждая об искусственном интеллекте, легко совершить подобную ошибку, так как непонятно, идёт ли речь об одном устройстве или о классе объектов.
  15. Неравносильность утверждений о возможности и невозможности. Утверждение о невозможности чего-либо гораздо сильнее, ибо относится ко всему множеству потенциальных объектов, а для доказательства истинности утверждения о возможности достаточно одного объекта. Поэтому утверждения о невозможности чего-либо являются ложными гораздо чаще. Считая какое-то событие или стечение обстоятельств невозможным, мы наносим ущерб собственной безопасности. В определённых обстоятельствах возможно всё. При этом, любые дискуссии о будущих катастрофах - это всегда дискуссии о возможностях. Иными словами, когда мне говорят, что нечто невозможно, я требую доказательств.
  16. Очевидности как источник ошибок. Правильное умозаключение всегда опирается на две посылки, два истинных суждения. Однако анализ текстов показывает, что люди очень часто употребляют не полную форму умозаключений, а сокращённую, где явно называется только одна посылка, а другая подразумевается по умолчанию. Умалчиваются обычно очевидности - суждения, которые кажутся настолько истинными и несомненными, что нет нужды их озвучивать. Более того, часто они настолько очевидны, что не осознаются. Понятно, что такое положение дел является причиной многочисленных ошибок, потому что очевидность - не обязательно истинность, и то, что очевидно одному, не очевидно другому.
  17. Недооценка собственной склонности к ошибкам. Как и любой человек, я склонен ошибаться, это зависит как от принципиальной ненадёжности человеческого мозга, связанной с вероятностной природой его работы, так и от неполноты моих знаний о мире и недостаточности навыков устранения ошибок. Я ничего не могу знать на 100 %, потому что надёжность моего мозга не равна 100 %. Я, например, могу установить степень этой надёжности, решив серию логических задач средней сложности, и затем посчитав количество ошибок. Однако обычно этого никто не делает, и собственная склонность к ошибкам оценивается интуитивно. Точно так же человек обычно не измеряет характерную ошибочность своих суждений о будущем, хотя это возможно сделать экспериментально: например, написать прогноз своей и общественной жизни на год или пять лет, а затем оценить степень его достоверности.
  18. Ошибки, связанные с представлением о том, что каждое событие имеет одну причину. В действительности подобное представление ложно, так как:
   а) Есть совершенно случайные события.
   б) Каждое событие имеет много причин (стакан упал и разбился, потому что его поставили на край стола, потому что он сделан из стекла, потому что есть сила тяжести, потому что пол твёрдый, потому что кошка непослушная, потому что это рано или поздно должно было случиться).
  в) Каждая причина имеет свою причину, в результате чего мы имеем разрастающееся в прошлое древо причин. Человеческий ум неспособен целиком охватить это древо причин и вынужден упрощать. Но понятие причины необходимо обществу, потому что связано с понятиями вины, наказания и свободы воли. То есть в данном случае под 'причиной' подразумевается принятие свободным вменяемым человеком решения о совершении преступления. Нет нужды говорить о том, сколько здесь неочевидных моментов.
  Понятие причины менее всего применимо к анализу сложных уникальных явлений, таких как человеческое поведение и история. Пример тому - масса запутанных дискуссий о причинах тех или иных исторических событий. Именно поэтому рассуждения в духе 'причиной глобальной катастрофы будет Х', мягко говоря, несовершенны.
  19. Необходимость выбора на основе веры. Если руководитель получает несколько противоречащих друг другу заключений о безопасности того или иного решения, то он делает выбор между ними, просто веря в одно из них - по причинам, не связанным с самой логикой. Здесь также можно вспомнить уже упоминавшийся термин 'экзистенциальный выбор', когда человек должен сделать выбор в неформализуемой ситуации. Например, между любовью и долгом.
  20. Эффект первой и последней прочитанной книги. Как правило, прядок поступления информации влияет на оценку её субъектом, при этом особенно сильное влияние оказывают первый и последний источники. Это тоже одна из форм возникновения ошибок, связанная с доступностью информации.
  21. Преувеличение роли компьютерного моделирования. Две наиболее проработанные компьютерные модели - это метеорологическая и модель атомного взрыва. Обе созданы на основе обширного фактического материала, с учётом сотен испытаний, которые вносили поправки к прогнозам, и обе регулярно давали ошибки. Даже самая точная модель остаётся моделью. Поэтому мы не можем абсолютно полагаться на компьютерное моделирование уникальных событий, к каковым относится глобальная катастрофа.
  22. Доказательство по аналогии как источник возможных ошибок. Дело не только в том, что аналогий уникального события, которое ещё никогда не случалось (необратимой глобальной катастрофы), не может быть в принципе, но и в том, что мы не знаем, как проводить такие аналогии. В любом случае, аналогии могут только иллюстрировать событие. Вероятно, полезно принимать аналогии во внимание, когда они говорят о реальности некой угрозы, но в случае оценки безопасности какого-либо события они неуместны.
  23. Ошибка, связанная с неточностью экстраполяции экспоненциальной вероятностной функции с помощью линейной вероятностной функции с помощью линейной. Вероятностную функцию гибели цивилизации - если считать этот процесс гладким в смысле вероятности, что, конечно, неверно, - можно уподобить функции распада радиоактивного атома, которая, как известно, описывается экспонентой. Например, если вероятность гибели цивилизации в течение XXI века равна 50 %, как это предполагает сэр Мартин Рис в книге 'Наш последний час', то через 200 лет шанс выживания цивилизации будет 25 %, а через тысячу лет - только 0,1 % - при равномерном сохранении тех же тенденций. Отсюда следует, что заключение в духе 'если шансы выживания в течение тысячелетия составляют 0,1 %, то для одного столетия оно будет только в десять раз больше, то есть 1 %' неверно. Эта же ошибка в менее явном виде возникает, если нам нужно экстраполировать те же 50 % выживания в течение 100 лет на погодовую вероятность гибели. Линейная аппроксимация дала бы 0,5 % на год. Однако точное значение погодовой вероятности, вычисленное по формуле , составляет примерно 0,7 %, то есть в 1,4 раза выше, чем даёт интуитивная линейная аппроксимация.
  24. Санкт-Петербургский парадокс. Этот парадокс, названный так по месту открытия, имеет прямое отношение к глобальным катастрофам, поскольку показывает то, что бесконечно большой ущерб от крайне редких событий имеет больший вес, чем все остальные события, однако психологически люди не готовы это воспринять. Г.Г. Малинецкий так описывает этот парадокс в книге 'Риск. Устойчивое развитие. Синергетика': 'Рассмотрим следующую игру. Подбрасывается монета до тех пор, пока в первый раз не выпадет орел. Если потребовалось n бросков, то выигрыш составит 2n единиц. То есть выигрыши 2,4,8,...2n будут происходить с вероятностью 1/2,1/4,1/8,...1/2n. Ожидаемый выигрыш в этой игре бесконечен:
  
  Спрашивается, сколько человек готов заплатить за право войти в такую игру. Парадокс состоит в том, что большинство людей готово заплатить за это право не более 100, а иногда и 20 единиц' [Капица, Курдюмов, Малинецкий 2001].
  25. Различия между опасностью и риском. Риск создаётся принимаемыми решениями, а опасность - обстоятельствами. Поскольку основным источником риска глобальных катастроф являются новые технологии, то именно решения об их развитии и применении определяют его. Однако если технологии развиваются стихийно и неосознанно, то они становятся подобны природным опасностям.
  26. Ошибка, связанная с тем, что если вероятность некого события является невычислимой, ей считают нулевой. В данном случае принцип предосторожности требует, чтобы мы приписывали таким событиям стопроцентную вероятность. Однако это привело бы к абсурдным выводам в духе: вероятность высадки инопланетян завтра неизвестна, поэтому мы должны к ней готовиться так, как если бы она была равна 100 процентам. В этом случае можно пользоваться непрямыми способами оценки вероятности, например, формулой Готта.
  27. Упущение того факта, что безопасность системы определяется наиболее слабым её звеном. Если в помещение ведут три параллельных двери, одна из которых заперта тремя замками, вторая - двумя, а третья - одним, то помещение заперто на один замок. Как не укрепляй две самые прочные двери, это ничего не изменит.
  28. Отвергание гипотез без рассмотрения. Для того, чтобы отвергнуть некую гипотезу, её надо вначале рассмотреть. Но часто эта последовательность нарушается. Люди отказываются рассматривать те или иные предположения, потому что считают их слишком невероятными. Однако окончательно отвергнуть некое предположение можно, только тщательно его рассмотрев, а для этого его необходимо хотя бы на некоторое время принять всерьёз.
  29. Невычислимость. Целый ряд принципиально важных для нас процессов настолько сложен, что предсказать их невозможно, поскольку они невычислимы. Невычислимость может иметь разные причины.
  Она может быть связана с непостижимостью процесса (например, непостижимость Технологической Сингулярности, или непостижимость теоремы Ферма для собаки), то есть с принципиальной качественной ограниченностью человеческого мозга. Такова наша ситуация с предвидением поведения суперинтеллекта в виде ИИ.
  Она может быть связана с квантовыми процессами, которые делают возможным только вероятностное предсказание, то есть с недетерминированностью систем (погоды, мозга).
  Она может быть связана со сверхсложностью систем, в силу которой каждый новый фактор полностью меняет наше представление об окончательном исходе событий. К таковым относятся модели глобального потепления, ядерной зимы, глобальной экономики, модели исчерпания ресурсов. Четыре последние области знаний объединяются тем, что каждая изучает уникальное событие, которое ещё ни разу не происходило, то есть является опережающей моделью.
  Невычислимость может быть связана с тем, что подразумеваемый объём вычислений хотя и конечен, но настолько велик, что ни один мыслимый компьютер не сможет его выполнить за время существования вселенной (такая невычислимость используется в криптографии). Этот вид невычислимости проявляется в виде хаотической детерминированной системы.
  Невычислимость связана также с тем, что хотя мы можем думать, что нам известна правильная теория (наряду со многими другими), мы не можем знать, какая именно теория правильна. То есть теория, помимо правильности, должна быть легко доказуемой для всех, а это не одно и то же в условиях, когда экспериментальная проверка невозможна. В некотором смысле способом вычисления правильности теории, а точнее - меры уверенности в этой правильности, является рынок, где делаются прямые ставки или на некий исход событий, или на цену некого товара, связанного с прогнозом, например, цену на нефть. Однако на рыночную цену влияет много других факторов: спекуляции, эмоции или нерыночная природа самого объекта. (Бессмысленно страховаться от глобальной катастрофы, так как некому и некем будет выплачивать страховку, то есть в силу этого можно сказать, что страховая цена равна нулю.)
  Ещё один вид невычислимости связан с возможностью осуществления самосбывающихся или самоотрицающих прогнозов, которые делают систему принципиально нестабильной и непредсказуемой.
  Невычислимость, связанная с предположением о собственном положении в выборке (self-sampling assumption - см. об этом книгу Н. Бострома [Bostrom 2003a]). Суть этого предположения состоит в том, что в некоторых ситуациях я должен рассматривать самого себя как случайного представителя из некоторого множества людей. Например, рассматривая самого себя как обычного человека, я могу заключить, что я с вероятностью в 1/12 имел шансы родиться в сентябре. Или с вероятностью, допустим, 1 к 1000 я мог бы родиться карликом. Это иногда позволяет делать предсказания на будущее: а именно, если в России 100 миллиардеров, то шансы, что я стану миллиардером, составляют один к 1,5 миллионам, в предположении, что эта пропорция будет сохраняться. К невычислимости это приводит, когда я пытаюсь применить предположение о собственном положении в выборке к своим знаниям. Например, если я знаю, что только 10 % футурологов дают правильные предсказания, то я должен заключить, что с вероятностью 90% любые мои предсказания неправильные. Большинство людей не замечают этого, поскольку за счёт сверхуверенности и повышенной самооценки рассматривают себя не как одного из представителей множества, а как 'элиту' этого множества, обладающую повышенной способностью к предсказаниям. Это особенно проявляется в азартных играх и игре на рынке, где люди не следуют очевидной мысли: 'Большинство людей проигрывает в рулетку, следовательно, я, скорее всего, проиграю'.
  Похожая форма невычислимости связана с информационной нейтральностью рынка. (Сказанное далее является значительным упрощением теории рынка и проблем информационной ценности даваемых им показателей. Однако более подробное рассмотрение не снимает названную проблему, а только усложняет её, создавая ещё один уровень невычислимости, - а именно невозможность для обычного человека охватить всю полноту знаний, связанную с теорией предсказаний, а также неопределённость в том, какая именно из теорий предсказаний истинна. См. об информационной ценности рынка так называемую 'no trade theorem' .) Идеальный рынок находится в равновесии, когда половина игроков считает, что товар будет дорожать, а половина - что дешеветь. Иначе говоря, выиграть в игре с нулевой суммой может только более умный или осведомленный, чем большинство людей, человек. Однако большинство людей не являются более умными, чем все, по определению, хотя и не способны осознать это по причине психологической предвзятости. В результате чего, например, большинство водителей считают себя более аккуратными, чем среднестатистический водитель. Или другой пример: цена на нефть находится на таком уровне, что не даёт явных подтверждений ни предположению о неизбежности кризиса, связанного с исчерпанием нефти, ни предположению о неограниченности нефтяных запасов. В результате рациональный игрок не получает никакой информации о том, к какому сценарию ему готовится. Та же самая ситуация относится и к спорам: если некий человек начал доказывать точку зрения, противоположную вашей, и вам ничего неизвестно о его интеллекте, образованности и источниках информации, - и при этом вы полагаете, что также являетесь средним, человеком, а не особенным (что особенно трудно), а также о своём объективном рейтинге интеллекта, то есть шанс 50 на 50, что прав он, а не вы. Поскольку объективно измерить свой интеллект и осведомлённость крайне трудно из-за неосознанного желания их переоценить, то следует считать их находящимися в середине спектра.
  Поскольку в современном обществе действуют механизмы превращения любых параметров будущих событий в рыночные индексы (например, торговля квотами по Киотскому протоколу на выбросы углекислого газа или ставки на выборы, войну и т. п., фьючерсы на погоду), то это вносит дополнительный элемент принципиальной непредсказуемости во все виды деятельности. В силу такой торговли фактами мы не можем узнать наверняка, будет ли глобальное потепление, когда произойдёт исчерпание нефти, или какова реальная угроза птичьего гриппа.
  Ещё одна причина невычислимости - секретность. Если мы пытаемся учесть эту секретность с помощью разных 'теорий заговора' в духе книги Симмонса 'Сумерки в пустыне' [Simmons 2005] о преувеличенности оценок запасов Саудовской нефти, то мы получаем расходящиеся в пространстве интерпретации. То есть, в отличие от обычного случая, когда точность повышается с числом измерений, здесь каждый новый факт только увеличивает раскол между противоположными интерпретациями. Ни один человек на Земле не обладает всей полнотой секретной информации, поскольку у разных организаций разные секреты.
  Рыночные механизмы побуждают людей лгать о качестве их товаров и о прогнозах своих фирм, с тем, чтобы получить большую выгоду за интересующий их промежуток времени. Яркий пример этого мы видим в последствиях так называемой 'революции менеджеров', когда управленцы сменили собственников в директорате фирм в 70-е годы. В результате они стали более заинтересованы получать краткосрочные прибыли в течение срока своей работы в компании, не рассматривая риски для компании за пределами этого срока.
  Психологический аспект этой проблемы заключается в том, что люди рассуждают таким образом, будто бы никакой невычислимости нет. Другими словами, можно обнаружить сколько угодно мнений и рассуждений о будущем, в которых его принципиальная и многосторонняя непредсказуемость вовсе не учитывается, равно как не принимается во внимание ограниченность человеческой способности рассуждать о нём достоверно.
  
  Заключение. Перспективы предотвращения глобальных катастроф
  Человечество не обречено на вымирание. Даже если у нас мало шансов, то обязательно стоит бороться за бесконечно большое будущее. Позитивным фактом является то, что, начиная с 2000 года резко возросло число публикаций, посвященных глобальным катастрофам общего характера. Начинает формироваться единое понимание проблемы. Надеюсь, что в ближайшее десятилетия проблема глобальных рисков станет общепризнанной. А люди, осознающие важность этого, окажутся у власти. Вероятно, это случится не плавно, а после жестоких потрясений (как 11 сентября), которые повысят интерес и читаемость литературы по теме, подхлестнут дискуссию. Можно надеяться, что некоторые обеспокоенные люди и группы поспособствуют реализации перспективной стратегии дифференциального развития технологий. А именно, Дружественный ИИ должен развиваться опережающими темпами, быстрее, чем, например, загрузка сознания в компьютер, которое в результате может обрести огромные силы и стать неконтролируемым. Очень важно, чтобы мощный ИИ возник раньше, чем сильные нанотехнологии - для того, чтобы помочь их контролировать.
  Возможно, придётся смириться с избыточным или тоталитарным контролем над человеческой деятельностью в период, когда риск будет максимален, а понимание реальных угроз - минимально. В этот момент будет не ясно, какое знание действительно является знанием массового поражения, а какое - безобидной игрушкой.
  Возможно, что нам просто повезёт, и ни один риск не сбудется. С другой стороны, возможно, что повезёт меньше, и череда крупных катастроф отбросит цивилизацию в развитии далеко назад, но человек сохранится и обретёт более мудрый подход к реализации технологических достижений. Возможно, что на этом пути предстоит трудный выбор: остаться навсегда на средневековом уровне, отказавшись от компьютеров, полётов к звёздам; или рискнуть, и попытаться стать чем-то большим. Несмотря на риск, второй сценарий выглядит для меня более привлекательным, т. к. замкнутое на Земле человечество обречено рано или поздно на вымирание по естественным причинам.
  Наблюдается также усилия в создании убежищ разного рода: в Норвегии построено хранилище для семян в случай глобальной катастрофы. Хотя такое хранилище не спасёт людей, похвально желание вкладывать деньги и реальные ресурсы в проекты, отдача от которых возможна только через столетия. Активно обсуждается проект создания похожего убежища на Луне, который называют "запасной диск для цивилизации" . В нем предполагается сохранить не только все знания цивилизации, но и замороженные человеческие эмбрионы, в надежде на то, что кто-нибудь (инопланетяне?) восстановит потом по ним людей.
  Вместе с тем, в книге я пытался показать, что непродуманные действия по предотвращению катастроф могут быть не менее опасны, чем сами катастрофы. Следовательно, в настоящий момент основные усилия должны сосредотачиваться не на конкретных проектах, не на пропаганде "зелёного" образа жизни, а на возрастании понимания природы возможных рисков, на формирование научного консенсуса о том, что на самом деле опасно и какие уровни риска приемлемы. При этом дискуссия не может быть бесконечной, как в неких более абстрактных областях. Тогда мы рискуем "проспать" реально надвигающуюся катастрофу. Это значит, что мы ограничены во времени.
  
  
  Литература
  
  Абдурагимов И.М. 2009. О несостоятельности концепции 'ядерной ночи' и 'ядерной зимы' вследствие пожаров после ядерного поражения. Электронный журнал 'Пожарное дело', http://www.pozhdelo.ru/stati/Pojar_Process_gor/pg/pg.html
  Абрамян Е.А. 2006. Долго ли осталось нам жить? Судьба цивилизации: Анализ обстановки в мире и перспектив будущего. М.: Терика.
  Адамский В.Б., Смирнов Ю.Н. 1995. 50-мегатонный взрыв над Новой Землей. Вопросы истории естествознания и техники, 3: 35. http://vivovoco.rsl.ru/VV/PAPERS/HISTORY/SAKHAROV.HTM
  Азаров И. 1998. Венчурный капитал в электронной промышленности США. Электроника: Наука, Технология, Бизнес, 1: 52. http://www.electronics.ru/issue/1998/1/17
  Азимов А. 2002. Выбор катастроф. М.: Амфора.
  Александровский Г. 2001. Бегство от умирающего Солнца. Наука и жизнь, 8: 53-70. http://nauka.relis.ru/05/0108/05108042.htm
  Александровский Ю.А. и др. 1991. Психогении в экстремальных условиях. М.: Медицина.
  Алексеев А.С. 1998. Массовые вымирания в фанерозое. Диссертация на соискание ученой степени доктор геолого-минералогических наук по специальности 04.00.09 палеонтология и стратиграфии. http://macroevolution.narod.ru/alekseev.htm
  Анисимов А. 2002. Развитие стратегических сил Китая и проблема адекватности ситуации внешней политики США. Россия XXI, 4:28., 5:66. http://ecc.ru/XXI/RUS_21/ARXIV/2002/anisimov_2002_4.htm
  Анисичкин В. 1998. О взрывах планет. Труды V Забабахинских чтений, Снежинск: РФЯЦ - ВНИИТФ.
  Арбатов А., Михеев В., ред. 2007. Ядерное нераспространение в эпоху глобализации. М.: Фонд Карнеги. http://www.knogg.net/n/3_12.htm
  Архипов А.В. 1994. Археологический аспект исследований Луны. Астрономический вестник. Т. 28. 4-5: 41. http://www.arracis.com.ua/moon/m312.html
  Бекенов С.С. 2003. Критерии и оценки продовольственной безопасности. Вестник КРСУ, 2:39. http://www.krsu.edu.kg/vestnik/2003/v2/a03.html
  Бестужев-Лада И. 2006. Человечество обречено на вымирание. Московский комсомолец, Май.
  Биндеман И. 2006. Тайная жизнь супервулканов. В мире науки, 10: 66-86.
  Бобылов Ю. 2006. Генетическая бомба. Тайные сценарии биотерроризма. М.: Белые Альвы.
  Будыко М.М., Ранов А.Б., Яншин В. 1985. История атмосферы. Л.: Гидрометеоиздат.
  Вайсфлог Л. И др. 2009. Доклады Академии Наук - том 424, ? 6, Февраль, С. 818-823. О возможной роли галогенсодержащих газов в изменении состояния атмосферы и природной среды в поздний пермский период http://www.maikonline.com/maik/showArticle.do?auid=VAFR1OI7XN&lang=ru, http://lenta.ru/news/2009/03/31/lakes/
  Виндж В. 1999. Пламя над бездной. М.: Аст.
  Вишневский С.А. 1992. Импактные события и вымирания организмов. Рукопись. http://www.meteorite.narod.ru/proba/stati/stati57.htm
  Волков А. 2007. Природа скрывает "бомбы с часовым механизмом". Знание-сила, 6: 53-60. http://www.inauka.ru/analysis/article75841.html
  Воробьёв, Ю.Л, Малинецкий Г.Г., Махутов H.A. 2000. Управление риском и устойчивое развитие. Человеческое измерение. Общественные Науки и Современность, 6: 120-131.
  Владимиров В.А., Малинецкий Г.Г., Потапов А.Б. и др. 2000. Управление риском. Риск, устойчивое развитие, синергетика. М.: Наука.
  Геворкян С.Г., Геворкян И.С. 2006. Преднамеренные антропогенные экологические катастрофы. Эволюция, 3: 181.
  Глуховский Д. 2007. Метро 2033. М.: Аст.
  Горный В.И и др., 2006. Камуфлетные взрывы как причина формирования структур, индицирующих алмазоносные районы (по материалам дистанционных и геофизических методов)' Современные проблемы дистанционного зондирования Земли из космоса, , т3, N 2, стр. 225- 214.
  Данилов-Данильян В.И., Лосев К.С., Рейф И.Е. 2005. Перед главным вызовом цивилизации. Взгляд из России. М.: Инфра-М.
  Камю А. 1990. Миф о Сизифе. Эссе об абсурде. Сумерки богов. М.: Политиздат.
  Докинз Р. 1993. Эгоистичный ген. М.: Мир.
  Дробышевский Э.М. 1999. Опасность взрыва Каллисто и приоритетность космических миссий. Журнал технической физики, 69(9): 153.
  Дядин Ю. А., Гущин А. Л. 1998. Газовые гидраты и климат Земли. Соросовский Образовательный журнал, 3: 102.
  Ергин Д. 2003. Добыча. Всемирная история борьбы за нефть, деньги и власть. М.: ДеНово.
  Еськов К.Ю. 2004. История Земли и жизни на ней. М.: НЦ ЭНАС.
  Израэль Ю.А. 1983. Экологические последствия возможной ядерной войны. Метеорология и гидрология, 10: 56.
  Капица С.П., Курдюмов С., Малинецкий Г.Г. 2001. Синергетика и прогнозы будущего. М.: УРСС.
  Капица С.П. 2004. Об ускорении исторического времени. Новая и новейшая история, 6: 98. http://vivovoco.rsl.ru/VV/JOURNAL/NEWHIST/KAPTIME.HTM
  Карнаухов А.В. 1994. К вопросу об устойчивости химического баланса атмосферы и теплового баланса Земли. Биофизика, 39(1): 148-152.
  Карпан Н. 2006. Атомной энергетике не отмыться от Чернобыля. Зеркало недели, 13 (592): 4 http://pripyat.com/ru/publications/2006/04/08/750.html
  Коза Дж., Кин М., Стритер М. 2003. Эволюция в мире изобретений. В мире науки, 6: 50-54.
  Киппенхан Р. 1990. 100 миллиардов солнц. Жизнь и смерть звезд. М.: Мир.
  Кононов А.А. 2007. Задача неуничтожимости цивилизации в катастрофически нестабильной среде. Проблемы управления рисками и безопасностью: Труды Института системного анализа Российской академии наук. Т. 31: 272 - 284.
  Корнилова Т.В. 1998. Многомерность фактора субъективного риска (в вербальных ситуациях принятия решений). Психологический журнал, 6: 90-97.
  Корнилова Т.В. 2006. Мотивация и интуиция в регуляции вербальных прогнозов при принятии решений. Психологический журнал, 2: 114-123.
  Корнилова Т.В. 2003. Психология риска и принятия решений. М.: Аспект Пресс.
  Красилов В.А. 2001. Модель биосферных кризисов. Экосистемные перестройки и эволюция биосферы, 4: 9-16. http://macroevolution.narod.ru/krmodelcrisis.htm
  Куркина Е.С. 2007. Конец режимов с обострением. Коллапс цивилизации. Доклад на международной конференции "Путь в будущее - наука, глобальные проблемы, мечты и надежды". http://spkurdyumov.narod.ru/kurkinaes.htm
  Лазарчук А., Лелик П. 1987. Голем хочет жить. Рукопись. http://lazandr.lib.ru/web/books027.html
  Лем С. 1990. Системы оружия двадцать первого века или Эволюция вверх ногами. Маска. Не только фантастика, М.: Наука.
  Лем С. 1995. О невозможности прогнозирования. Собрание сочинений, т.10. М.: Текст.
  Лем С. 1964. Непобедимый. М.: Мир.
  Лем С. 1963. Сумма технологий. М.: Мир.
  Лем С. 2007. Фантастика и футурология. М.: Аст.
  МакМаллин Р. 2001. Практикум по когнитивной терапии. СПб.: Речь.
  Марков А.В. 2000. Возвращение черной королевы, или закон роста средней продолжительности существования родов в процессе эволюции. Журн. Общей Биологии, 61(4): 99-112. http://macroevolution.narod.ru/redqueen.htm.
  Медведев Д.А. 2008. Конвергенция технологий как фактор эволюции. в сб. Диалоги о будущем, М.: УРСС. http://www.transhumanism-russia.ru/content/view/317/116/
  Медоуз Д. и др. 1991. Пределы роста. М.: Прогресс.
  Моисеев Н.Н., Александров В.В., Тарко А.М. 1985. Человек и биосфера. М.: Наука.
  Моисеев Н.H. 1998. Судьба цивилизации. М.: Путь разума.
  Назаретян А.П. 2001. Цивилизационные кризисы в контексте Универсальной истории. М.: УРСС.
  фон Нейман Дж. 1971. Теория самовоспроизводящихся автоматов. М.: Мир.
  Нефф О. 1985. Белая трость калибра 7,62. М.: Мир. http://lib.ru/SOCFANT/NEFF/trost.txt
  Онищенко Г. 2003. Биотерроризм. Вестник Академии Наук, т. 73, 3: 25-50.
  Панов А.Д. 2004. Кризис планетарного цикла Универсальной истории и возможная роль программы SETI в посткризисном развитии. Вселенная, пространство, время. 2: 251-270. http://lnfm1.sai.msu.ru/SETI/koi/articles/krizis.html
  Панов А.Д. 2007. Универсальная эволюция и проблема поиска внеземного разума (SETI). М.: УРСС.
  Пенроуз Р. 2005. Новый ум короля. О компьютерах, мышлении и законах физики. М.: УРСС.
  Платонов А.В. 1996. Восприятие риска в ситуациях, требующих принятия решения. Доклад на конференции 'Lomonosov', МГУ.
  Полищук Л.В. 2003. Скорость размножения и угроза вымирания вида. Природа, 7, http://vivovoco.rsl.ru/VV/JOURNAL/NATURE/07_03/ZVERI.HTM
  Портнов А. 1999. Как погибла жизнь на Марсе. Наука и жизнь, 4: 120-129. http://www.meteorite.narod.ru/proba/stati/stati107.htm
  Прайд В., Коротаев А.В. ред. 2008. Сб. статей 'Диалоги о будущем. Новые технологии и продолжение эволюции человека'. М.: УРСС.
  Пустынский В. 1999. Последствия падения на Землю крупных астероидов. Рукопись. http://www.meteorite.narod.ru/proba/stati/stati58.htm
  Розмаинский И.В. 2009. Вклад Х.Ф. Мински в экономическую теорию и основные причины кризисов в позднеиндустриальной денежной экономике. Экономический вестник Ростовского государственного университета, 7(1): 31-42.
  Росс Л., Нисбетт Р. 1999. Человек и ситуация: Уроки социальной психологии. М.: Аспект Пресс. http://evolkov.iatp.ru/social_psychology/Ross_L_Nisbett_R/index.html
  Савин М.Г. 2007. Кувырок магнитного поля. Химия и жизнь, 2: 81-90.
  Солженицын А.И. 1983-1991. Красное колесо. тт. 11-20. Вермонт-Париж: YMCA-PRESS.
  Сорос Дж. 1999. Кризис мирового капитализма. Открытое общество в опасности. М.: ИНФРА-М.
  Сорохтин О.Г., Ушаков С.А. 2002. Развитие Земли. М.: Изд-во МГУ.
  Сурдин В. Туринская шкала астероидной опасности. http://www.krugosvet.ru/enc/nauka_i_tehnika/astronomiya/TURINSKAYA_SHKALA_ASTEROIDNO_OPASNOSTI.html
  Сывороткин В.Л. 2001. Экологические аспекты дегазации Земли. Диссертация на соискание степени доктора геологических наук: М.
  Тегмарк М. 2003. Параллельные Вселенные. В мире науки, 8: 51-61. http://www.everettica.org/article.php3?ind=126
  Торгашов А. 2008. Избранные места из переписки с инопланетянами. Русский репортёр, 20 марта: 36-40. http://www.expert.ru/printissues/russian_reporter/2008/10/obschenie_s_vselennoy/
  Тофлер Э. 2002. Шок будущего. М.: АСТ.
  Турчин А.В. 2007. О возможных причинах недооценки рисков гибели человеческой цивилизации. Проблемы управления рисками и безопасностью: Труды Института системного анализа Российской академии наук: Т. 31. М.: КомКнига. C. 266-305.
  Турчин А.В. 2007. Природные катастрофы и антропный принцип. Проблемы управления рисками и безопасностью: Труды Института системного анализа Российской академии наук: Т. 31. М.: КомКнига. C. 306-332.
  Турчин А.В. 2008. Война и ещё 25 сценариев конца света. М.: Европа.
  Феоктистов Л.П. 1998. Термоядерная детонация. УФН, 168: 1247 http://www.ufn.ru/ru/articles/1998/11/f/
  Фукуяма Ф. 2002. Наше постчеловеческое будущее. Последствия биотехнологической революции, М.: Аст.
  Хаин В.Е. 2004. Разгадка, возможно, близка. О причинах великих вымираний и обновлений органического мира. Природа, 6: 79-91.
  Хойл Ф., Эллиот Дж. 1966. Андромеда. М.: Мир.
  Чирков Ю. 1991. Ожившие химеры. М.: Дет. литература.
  Шамис А.Л. 2006. Пути моделирования мышления. М.: УРСС.
  Шафмейстер Х. 2007. Молекулярный конструктор. В мире науки, 9: 113-125.
  Шкловский И.С. 1984. Звёзды. Их рождение, жизнь и смерть. М.: Наука.
  Шкловский И.С. 1987. Вселенная, жизнь, разум. М.: Наука.
  Юдина А. 2005. Новые творцы. Игры, в которые играют боги. Популярная механика, 6: 57-70. http://www.popmech.ru/part/print.php?articleid=259&rubricid=3
  Яблоков А. 2005. Неизбежная связь ядерной энергетики с атомным оружием. Доклад Bellona Foundation. http://www.bellona.ru/reports/yablokov
  Aranyosi I.A. 2004. The Doomsday Simulation Argument. Or Why Isn't the End Nigh and You're Not Living in a Simulation. Manuscript. http://philsci-archive.pitt.edu/archive/00001590/
  Biggin A.J., Strik G.H.M.A. & Langereis C.G. 2008. Evidence for a Very-Long-Term Trend in Geomagnetic Secular Variation. Nature Geoscience, 1(6): 395-398.
  Blair B.G. 1993. The Logic of Accidental Nuclear War. Washington, D.C: Brookings Institution Press.
  de Blank P. 2009. Convergence of Expected Utility for Universal AI. arXiv:0907.5598v1.
  Bostrom N. 1998. How Long Before Superintelligence? Jour. of Future Studies, 2: 213-235. Н. Бостром. Сколько осталось до суперинтеллекта? http://alt-future.narod.ru/Future/superint.htm
  Bostrom N. 1999. The Doomsday Argument is Alive and Kicking. Mind, 108 (431), 539-550. http://www.anthropic-principle.com/preprints/ali/alive.html
  Bostrom N. 2000. Observer-Relative Chances In Anthropic Reasoning? Erkenntnis, 52: 93-108. http://www.anthropic-principle.com/preprints.html
  Bostrom N. 2001. Existential Risks: Analyzing Human Extinction Scenarios. Journal of Evolution and Technology, vol. 9.: 113-150. Русский перевод: Ник Бостром. Угрозы существованию. Анализ сценариев человеческого вымирания и связанных опасностей. http://www.proza.ru/texts/2007/04/04-210.html
  Bostrom N. 2001. The Doomsday argument, Adam & Eve, UN++, and Quantum Joe. Synthese, 127(3): 359-387. http://www.anthropic-principle.com
  Bostrom N. 2002. Antropic Principle in Science and Philosophy. N.Y.: Routledge.
  Bostrom N. 2003. Are You Living in a Computer Simulation? Philosophical Quarterly, Vol. 53, 211: 243-255. http://www.simulation-argument.com/. Русский перевод: http://www.scribd.com/doc/13107082/-
  Bostrom N., Tegmark M. 2005. How Unlikely is a Doomsday Catastrophe? Nature, Vol. 438, 7069: 754. Русский перевод: Макс Тегмарк и Ник Бостром. Насколько невероятна катастрофа Судного дня? http://www.proza.ru/texts/2007/04/11-348.html
  Bostrom N. 2007. Technological Revolutions: Ethics and Policy in the Dark. Nanoscale: Issues and Perspectives for the Nano Century, eds. Nigel M. de S. Cameron and M. Ellen Mitchell. Hoboken, NJ.: John Wiley. http://www.nickbostrom.com/revolutions.pdf
  Bostrom N., Cirkovic M. eds. 2008. Global Catastrophic Risks. N.Y.: Oxford University Press.
  Bottke W., Vokrouhlický D., Nesvorný D. 2007. An Asteroid Breakup 160 Myr Ago as the Probable Source of the K/T Impactor. Nature, 449: 48-53. http://astro.mff.cuni.cz/davok/papers/BAF_2007.pdf
  Brin D. 2006. Singularity and Nightmares. Nanotechnology Perceptions: A Review of Ultraprecision Engineering and Nanotechnology, Volume 2, No. 1, March 27: 21-50. Русский перевод: Брин Д. Сингулярность и кошмары. http://www.proza.ru/texts/2007/05/14-31.html
  Brower D. 2009. Human uniqueness and the denial of death. Nature 460, 684 doi:10.1038/460684c.
  Caldwell R.R., Kamionkowski M., Weinberg N.N. 2003. Phantom Energy and Cosmic Doomsday. Phys. Rev. Lett., 91: 07301. http://arxiv.org/abs/astro-ph/0302506
  Carrigan R. 2006. Do Potential SETI Signals Need To Be Decontaminated? Acta Astronautica, Volume 58, Issue 2, January: 112-117. Русский перевод: Р. Кэрриган. Следует ли обеззараживать сигналы SETI? http://www.proza.ru/texts/2007/11/20/582.html
  Caves C.M. 2000. Predicting Future Duration from Present Age: A Critical Assessment. arXiv:0806.3538v1. http://info.phys.unm.edu/papers/2000/Caves2000a.pdf
  Center for Responsible Nanotechnology (CRN). 2003. Dangers of Molecular Manufacturing. http://www.crnano.org/dangers.htm Русский перевод: Опасности молекулярного производства. http://www.proza.ru/texts/2008/04/08/430.html
  Cirkovic M.M., Cathcart R. 2004. Geo-engineering Gone Awry: A New Partial Solution of Fermi's Paradox. Journal of the British Interplanetary Society, vol. 57: 209-215.
  Cirkoviс M.M. 2004. The Anthropic Principle And The Duration Of The Cosmological Past. Astronomical and Astrophysical Transactions, Vol. 23, 6: 567-597.
  Cirkoviс M.M. 2007. Evolutionary Catastrophes and the Goldilocks Problem. International Journal of Astrobiology, vol. 6, pp. 325-329. Русский перевод: http://www.proza.ru/2008/11/29/541
  Cocconi G. and Morrison P. 1959. Searching for Interstellar Communications. Nature, Vol. 184, Number 4690: 844-846, September 19.
  Collar J.I. 1996. Biological Effects of Stellar Collapse Neutrinos. Phys. Rev. Lett, 76: 999-1002. http://arxiv.org/abs/astro-ph/9505028
  Dar A. et al. 1999. Will Relativistic Heavy-Ion Colliders Destroy Our Planet? Physics Letters, B 470: 142-148.
  Dar A. 2008. Influence Of Supernovae, Gamma-Ray Bursts, Solar Flares, and Cosmic Rays on the Terrestrial Environment. Global catastrophic risks, N.Y.: Oxford University Press. Русский перевод: Арнон Дар. Влияние сверхновых, гамма-всплесков, солнечных вспышек и космических лучей на земную окружающую среду. http://www.scribd.com/doc/10310965/-
  Dawes R.M. 1988. Rational Choice in an Uncertain World. San Diego, CA: Harcourt, Brace, Jovanovich.
  Diamond J. 2004. Collapse: How Societies Choose to Fail or Succeed. N.Y.: Viking Adult.
  Drexler K.E. 1988. Dialog on Dangers. Foresight Background 2, Rev. 1. http://www.foresight.org/Updates/Background3.html
  Drexler K.E. 1985. Engines of Creation: The Coming Era of Nanotechnology. L.: Forth Estate. http://www.foresight.org/EOC/index.html
  Férez O. 1970. Notes on the Tropical Cyclones of Puerto Rico. San Juan, Puerto Rico: National Weather Service. http://www.aoml.noaa.gov/hrd/data_sub/perez_11_20.pdf
  Fetherstonhaugh D., Slovic P., Johnson S. and Friedrich J. 1997. Insensitivity to the Value Of Human Life: A Study of Psychophysical Numbing. Journal of Risk and Uncertainty, 14: 238-300.
  Feynman R. 1959. There's Plenty of Room at the Bottom. Lecture. http://www.its.caltech.edu/~feynman/plenty.html
  Foresight Institute. 2000. Foresight Guidelines on Molecular Nanotechnology, Version 3.7. http://www.foresight.org/guidelines/current.html
  Forrest D. 1989. Regulating Nanotechnology Development. http://www.foresight.org/NanoRev/Forrest1989.html.
  Foerster H. von, P. Mora and L. Amiot. 1960. Doomsday: Friday, 13 November, A.D. 2026. At this Date Human Population will Approach Infinity if it Grows as it has Grown in the Last Two Millennia. Science, 132: 1291-1295.
  Foote M., Crampton J.S., Beu A.G., Marshall B.A., Cooper R.A., Maxwell P.A., Matcham I. 2007. Rise and Fall of Species Occupancy in Cenozoic Fossil Mollusks. Science, V. 318: 1131-1134. Русский пересказ здесь: http://elementy.ru/news/430634
  Freitas (Jr.) R.A. 1980. A Self-Reproducing Interstellar Probe. J. Brit. Interplanet. Soc., 33: 251-264.
  Freitas (Jr.) R.A. 2000. Some Limits to Global Ecophagy by Biovorous Nanoreplicators, with Public Policy Recommendations. Zyvex preprint, April. http://www.foresight.org/NanoRev/Ecophagy.html. Русский перевод: Р. Фрейтас. Проблема серой слизи. http://www.proza.ru/texts/2007/11/07/59.html
  Garwin R.L. 1998. Reactor-Grade Plutonium can be Used to Make Powerful and Reliable Nuclear Weapons: Separated Plutonium in the Fuel Cycle must be Protected as if it were Nuclear Weapons. Federation of American Scientists, August 26. www.fas.org/rlg/980826-pu.htm
  Gehrels N., Laird C.M., Jackman C.H., Cannizzo J.K., Mattson B.J., Chen W. 2003. Ozone Depletion from Nearby Supernovae. The Astrophysical Journal, March 10, vol. 585.
  Johnston Wm.R. 2003. The Effects of a Global Thermonuclear War 4th edition: Escalation in 1988. Manuscript, http://www.johnstonsarchive.net/nuclear/nuclearwar1.html 2003.
  Giddings S.B., Thomas S. 2002. High Energy Colliders as Black Hole Factories: The End of Short Distance Physics. Phys. Rev. D65: 056010.
  Gold R.E. 1999. SHIELD: A Comprehensive Earth Protection System. A Phase I Report on the NASA Institute for Advanced Concepts, May 28.
  Good I.J. 1965. Speculations Concerning the First Ultraintelligent Machine. Advances in Computers, Vol. 6: 31-88.
  Gott J. R. III. 1993. Implications of the Copernican Principle for Our Future Prospects. Nature, 363: 315-319.
  Gubrud M. 2000. Nanotechnology and International Security. Fifth Foresight Conference on Molecular Nanotechnology. http://www.foresight.org/Conferences/MNT05/Papers/Gubrud/index.html
  Hanson R. 2008. Catastrophe, Social Collapse, and Human Extinction. Global Catastrophic Risks, ed. Nick Bostrom and M. Circovic, N.Y.: Oxford University Press. http://hanson.gmu.edu/collapse.pdf
  Hanson R. 1998. Burning the Cosmic Commons: Evolutionary Strategies for Interstellar Colonization. Working paper. http://hanson.gmu.edu/workingpapers.html
  Hanson R. et al. 1998. A Critical Discussion of Vinge's Singularity Concept. Extropy Online. http://www.extropy.org/eo/articles/vi.html
  Hanson R. 1994. What If Uploads Come First: The Crack of a Future Dawn. Extropy, 6:2. http://hanson.gmu.edu/uploads.html.
  Harvey M.C., Brassell S.C., Belcher C.M. and Montanari A. 2008. Combustion of Fossil Organic Matter at the Cretaceous-Paleogene (K-P) Boundary. Geology, v. 36; May, 5: 251-284.
  Helfer A.D. 2003. Do Black Holes Radiate? Rept.Prog.Phys., 66: 943-1008 http://arxiv.org/abs/gr-qc/0304042
  Higgo J. 1998. Does The 'Many-Worlds' Interpretation of Quantum Mechanics Imply Immortality? Manuscript, Русский перевод: Джеймс Хигго. 'Означает ли многомирная интерпретация квантовой механики бессмертие?' http://www.proza.ru/texts/2007/05/22-04.html
  Hoffman P.F. and Schrag D.P. 2000. The Snowball Earth. Scientific American, January 21: 68-75.
  Jackson R.J. et al. 2001. Expression of Mouse Interleukin-4 by a Recombinant Ectromelia Virus Suppresses Cytolytic Lymphocyte Responses and Overcomes Genetic Resistance to Mousepox. Journal of Virology, 73: 1479-1491.
  Joy B. 2000. Why the Future Doesn't Need Us. Wired, 8.04: 238-262. http://www.wired.com/wired/archive/8.04/joy_pr.html. Русский перевод: Билл Джой. Почему мы не нужны будущему. http://www.scribd.com/doc/12714710/-
  Kahneman D. and Tversky A. eds. 2000. Choices, Values, and Frames. Cambridge.: Cambridge University Press.
  Kahneman D., Slovic P., and Tversky A. eds. 1982. Judgment Under Uncertainty: Heuristics and Biases. N.Y.: Cambridge University Press.
  Kahneman D., Lovallo D. 1993. Timid Choices and Bold Forecasts: A Cognitive Perspective on Risk Taking. Management Science. Volume 39, Issue 1: 17-31, Перевод отрывка: http://www.proza.ru/2009/05/29/499
  Kent A. 2004. A Critical Look at Risk Assessments for Global Catastrophes. Risk Anal. 24: 157-168. http://arxiv.org/abs/hep-ph/0009204 Русский перевод: Эдриан Кент. Критический обзор оценок рисков глобальных катастроф. http://www.proza.ru/2008/05/23/67
  Kerry E. 1996. Limits on Hurricane Intensity. Center for Meteorology and Physical Oceanography, MIT. http://wind.mit.edu/~emanuel/holem/holem.html, популярное изложение http://en.wikipedia.org/wiki/Hypercane
  Khan H. 1960. On Thermonuclear War. L.: Princeton University Press.
  Knight L.U. 2001. The Voluntary Human Extinction Movement. http://www.vhemt.org/
  Knobe J., Olum K.D. and Vilenkin A. 2006. Philosophical Implications of Inflationary Cosmology. British Journal for the Philosophy of Science, Volume 57, Number 1, March: 313-323. http://philsci-archive.pitt.edu/archive/00001149/00/cosmology.pdf
  Krauss L.M., Dent J. 2008. The Late Time Behavior of False Vacuum Decay: Possible Implications for Cosmology and Metastable Inflating States. Phys. Rev. Lett., 100: 171301, http://arxiv.org/abs/0711.1821
  Kruglanski A.W. 1989. Lay Epistemics and Human Knowledge: Cognitive and Motivational Bases. N.Y.: Plenum.
  Kurzweil R. 1999. The Age of Spiritual Machines: When Computers Exceed Human Intelligence. N.Y.: Viking.
  Kurzweil R. 2001. The Law of Accelerating Returns. http://www.kurzweilai.net/articles/art0134.html?printable=1
  LA-602. 1945. Ignition of the Atmosphere with Nuclear Bombs. Report http://www.sciencemadness.org/lanl1_a/lib-www/la-pubs/00329010.pdf
  Lansberg P.T., Dewynne J.N. 1997. A Probable Paradox. Nature, 389: 779.
  Ledford H. 2007. The Power of a Single Neuron. Nature-on-line, 19 December http://www.nature.com/news/2007/071219/full/news.2007.392.html
  Leslie J. 1996. The End of the World: The Science and Ethics of Human Extinction. L.: Routledge.
  Leslie J. 1989. Risking the World's End. Bulletin of the Canadian Nuclear Society, May: 10-15.
  Lovelock J. 2006. The Revenge of Gaia: Why the Earth Is Fighting Back - and How We Can Still Save Humanity. Santa Barbara (California): Allen Lane.
  Mason C. 2003. The 2030 Spike: Countdown to Global Catastrophe. L.: Earthscan Publications.
  Melott B., Lieberman C., Laird L. Martin M., Medvedev B. Thomas. 2004. Did a gamma-ray burst initiate the late Ordovician mass extinction? Int. J. Astrobiol., 3: 55 arxiv.org/abs/astro-ph/0309415 Русский перевод: Гамма-лучи могли вызвать на Земле ледниковый период. http://www.membrana.ru/articles/global/2003/09/25/200500.html
  Merkle R. 1994. The Molecular Repair of the Brain. Cryonics, 15: 16-31.
  Foote M., Crampton J.S., Beu A.G,. Marshall B.A, Cooper R.A., Maxwell P.A, Matcham I. 2007. Rise and Fall of Species Occupancy in Cenozoic Fossil Mollusks. Science. V. 318: 1131-1134.
  Milgrom P., Stokey N. 1982. Information, Trade and Common Knowledge. Journal of Economic Theory, Volume 26,1:17-27.
  Moravec H. 1988. Mind Children: The Future of Robot and Human Intelligence, N.Y.: Harvard University Press.
  Moravec H. 1999. Robot: Mere Machine to Transcendent Mind. N.Y.:. Oxford University Press.
  Moravec H. 1998. When Will Computer Hardware Match the Human Brain? Journal of Transhumanism, 1. http://www.transhumanist.com/volume1/moravec.htm
  Morgan M.G. 2000. Categorizing Risks for Risk Ranking. Risk Analysis, 20(1): 49-58.
  Gehrels N., Laird C.M., Jackman Ch.H., Cannizzo J.K., Mattson B.J., Chen W. 2003. Ozone Depletion from Nearby Supernovae. Astrophysical Journal, 585: 1169-1176. http://xxx.lanl.gov/abs/astro-ph/0211361
  NASA. The Palermo Technical Impact Hazard Scale. http://neo.jpl.nasa.gov/risk/doc/palermo.html
  Napier W.M., Wickramasinghe, J.T. and Wickramasinghe, N.C. Extreme. 2004. Albedo Comets and the Impact Hazard. Mon. Not. R. Astron. Soc., 355. Issue 1: 191-195.
  Napier W.M., 2008. Hazards from Comets and Asteroids. Global Catastrophic Risks, Edited by Nick Bostrom и Milan M. Cirkovic, N.Y.: Oxford University Press. Русский перевод: Уильям Нейпьер. Опасность комет и астероидов. http://www.scribd.com/doc/9726345/-
  Nowak R. 2001. Disaster In The Making. New Scientist, 13 January 2001: 109-120. http://www.newscientist.com/nsplus/insight/bioterrorism/disasterin.html.
  Omohundro S.M. 2008. The Basic AI Drives. Artificial General Intelligence. Proceedings of the First AGI Conference. Volume 171. http://selfawaresystems.com/2007/11/30/paper-on-the-basic-ai-drives/
  Olson A.J., Hu Y.H., Keinan E. 2007. Chemical Mimicry of Viral Capsid Self-Assembly. Proceedings of the National Academy of Sciences, Vol. 104, No. 52: 20731-20736.
  Orwell G. 1949. 1984. L.: Secker and Warburg.
  Perrow Ch. 1999. Normal Accidents: Living with High-Risk Technologies. Princeton, NJ: Princeton University Press.
  Posner R.A. 2004. Catastrophe: Risk and Response. N.Y.: Oxford University Press.
  Powell C. 2000. 20 Ways the World Could End. Discover, 21(10). http://www.discover.com/oct_00/featworld.html
  Raffensberge C., Tickner J. eds. 1999. Protecting Public Health and the Environment: Implementing the Precautionary Principle. Washington, DC: Island Press.
  Raghavan R.S. 2002. Detecting a Nuclear Fission Reactor at the Center of the Earth. arXiv:hep-ex/0208038v2.
  Robock A., Oman L., Stenchikov G.L. 2007. Nuclear Winter Revisited with a Modern Climate Model and Current Nuclear Arsenals: Still Catastrophic Consequences. J. Geophys. Res., 112, D13107, doi:2006JD008235. Русский перевод: http://climate.envsci.rutgers.edu/pdf/RobockNW2006JD008235Russian.pdf
  Rohde R.A., Muller R.A. 2005. Cycles in Fossil Diversity. Nature, vol. 434, 10 March: 208-209.http://muller.lbl.gov/papers/Rohde-Muller-Nature.pdf
  Roland J. 1984. Nuclear Winter and Other Scenarios, рукопись. http://www.pynthan.com/vri/nwaos.htm
  Ross M., Sicoly F. 1979. Egocentric Biases in Availability and Attribution. Journal of Personality and Social Psychology, 37: 322-336.
  Ryskin G. 2003. Methane-Driven Oceanic Eruptions and Mass Extinctions. Geology, 31: 741-744. http://pangea.stanford.edu/Oceans/GES205/methaneGeology.pdf
  Shute N. 1957. On the Beach. L.: Ballantine Books.
  Simmons M.R. 2005. Twilight in the Desert: The Coming Saudi Oil Shock and the World Economy. N.Y.: John Wiley and sons, Inc.
  Rees M. 2003. Our Final Hour. N.Y.: Basic Books.
  Ross M., Sicoly F. 1979. Egocentric biases in availability and attribution. Journal of Personality and Social Psychology, 37, 322-336.
  Smith P.D. 2007. Doomsday Men: The Real Dr. Strangelove and the Dream of the Superweapon. N.Y.: St. Martin's Press.
  Stevenson D. 2003. A Modest Proposal: Mission to Earth's Core. Nature, 423: 239-240.
  Svenson O. 1981. Are We Less Risky and More Skillful That Our Fellow Drivers? Acta Psychologica, 47: 143-148.
  Taleb N. 2005. The Black Swan: Why Don't We Learn that We Don't Learn? N.Y.: Random House.
  Tegmark M. 1998. The Interpretation of Quantum Mechanics: Many Worlds or Many Words? Fortschr. Phys, 46: 855-862. http://arxiv.org/pdf/quant-ph/9709032
  Tickner J. et al. 2000. The Precautionary Principle. http://www.biotech-info.net/handbook.pdf
  Turner M.S., Wilczek, F. 1982. Is Our Vacuum Metastable? Nature, August 12: 633-634.
  Vinge V. 1993. The Coming Technological Singularity. Whole Earth Review, Winter issue, 81: 88-95.
  Wagner M.M. 2006. Handbook of Biosurveillance. L.: Academic Press.
  Ward P.D., Brownlee, D. 2000. Rare Earth: Why Complex Life is Uncommon in the Universe. N.Y.: Springer.
  Warwick K. 1997. March of the Machines, L: Century.
  Weaver T., Wood A. 1979. Necessary Conditions for the Initiation and Propagation of Nuclear Detonation Waves in Plane Atmospheres. Physical review 20, 1 July: 316-338. http://www.lhcdefense.org/pdf/LHC%20-%20Sancho%20v.%20Doe%20-%20Atmosphere%20Ignition%20-%202%20-%20Wood_AtmIgnition-1.pdf
  Webb S. 2002. If the Universe Is Teeming with Aliens... Where Is Everybody? Fifty Solutions to Fermi's Paradox and the Problem of Extraterrestrial Life. N.Y.: Springer.
  Whitby B. et al. 2000. How To Avoid a Robot Takeover: Political and Ethical Choices in the Design and Introduction of Intelligent Artifacts. Presented at AISB-00 Symposium on Artificial Intelligence, Ethics an (Quasi-) Human Rights. http://www.informatics.sussex.ac.uk/users/blayw/BlayAISB00.html
  Yudkowsky E. 2008. Artificial Intelligence as a Positive and Negative Factor in Global Risk. Global Catastrophic Risks, eds. Nick Bostrom and Milan Cirkovic. N.Y.: Oxford University Press, Русский перевод: Е. Юдковски. Искусственный интеллект как позитивный и негативный фактор глобального риска. http://www.proza.ru/texts/2007/03/22-285.html
  Yudkowsky E. 2008. Cognitive Biases Potentially Affecting Judgment of Global Risks. Global Catastrophic Risks, eds. Nick Bostrom and Milan Cirkovic, N.Y.: Oxford University Press, Русский перевод: Е. Юдковски. Систематические ошибки в рассуждениях, потенциально влияющие на оценку глобальных рисков. http://www.proza.ru/texts/2007/03/08-62.html
  Yudkowsky E. 2001. Creating Friendly AI 1.0. http://www.singinst.org/upload/CFAI.html.
  Zaitsev A. 2007. Sending and Searching for Interstellar Messages. To appear in the proceedings of "International Aeronautical Congress 2007", Hyderabad: University Press. http://arxiv.org/abs/0711.2368
  
  
Оценка: 3.00*3  Ваша оценка:
Связаться с программистом сайта.

Новые книги авторов СИ, вышедшие из печати:
О.Болдырева "Крадуш. Чужие души" М.Николаев "Вторжение на Землю"

Как попасть в этoт список

Кожевенное мастерство | Сайт "Художники" | Доска об'явлений "Книги"