In English
По-русски
En français
...
|
Идея неправильного поворота подразумевает, что кто-то когда-то мог повернуть будущее куда-то ещё, кроме как в равновесие Нэша краткосрочных стимулов; а это потребовало бы координации; а она, как мы знаем, могла бы привести к регуляторному захвату!
"Информатика в 2027 году",
Элиезер Юдковский
|
В конференц-зале стоический футуролог, глаза полные стратегического блеска, поднял тему, близкую всем: "Мир умирает, диагноз - глобальное потепление. Привычное сельское хозяйство под угрозой, и многим грозит смерть от голода." Однако вопросы инвесторов не касались страхов за будущее планеты. Они сомневались в умении футуролога считать деньги. "За десятилетие я не нашёл вложений больше, чем на сотню сотрудников," заявил он, Инвесторы, положась на мнение друг друга, услышали в словах лишь шипение скромной змеи. В зале переключились с потепления на вопрос о прибыли, предпочли проекты, обещающие более привычный возврат инвестиций.
Тем временем, в школе танцев, новый студент, программист, старался завоевать внимание фигуристой астролога, рассказывая ей об искусственном интеллекте. "Я тебе покажу выступление о научной футурологии. Вот этот твой прогноз - это же позапрошлый век: Вы родились в пятый день цикла Кондратьева, экономический гороскоп свидетельствует о том, что вы склонны воспринимать экономические колебания как часть естественного порядка вещей. У вас уникальная способность погружаться в роскошь и комфорт. Будьте готовы гармонично вписываться в новые возможности и достижения, блабла... Технологии, вот это будущее. Потенциал искусственного интеллекта бесконечен!" "Искусственный интеллект как форма предсказания? Почему бы и нет!" решила астролог. Юноша соблазнил её любопытным видео: "Мир нуждается в изменениях," говорил футуролог, "мы разрабатываем стратегии сохранения планеты и изменения менталитета лидеров." Астролог, вдохновленная, вглядывалась в графики, как в кристальный шар. Как было юному студенту предугадать, что его подруга будет увлечена футугологом больше, чем им. "Если от голода умрут миллиарды, кто будет производить милые сердцу музыкальные инструменты и возить их сюда..." - она размышляла вслух. "Как же называется то нло, по которому пальцами бьют, извлекая звенящие и гудящие звуки? Гонг, ханк... А та труба, кажется, флейта колебаса, которую поворачивают и слышно шуршание дождя... С кем поведешься, от того и третий лишний... И рожу я тебе, добрый молодец, искусственный интеллект, Венеру в ребро." Парень притих и подумал сбежать, но от заинтересовавшейся красивой женщины сложно увильнуть: "Ты же тоже хочешь сохранить привычный мир?" Она вверила выбор и оптимизацию алгоритмов программисту, а он быстро засыпал её обучающими роликами.
Обычно прогноз астролога состоял из простых фраз и изображений для каждого из двенадцати знаков. Но когда искусственный интеллект вступил в игру, появилось тысячи персонализированных предсказаний. "Нужно не пережать, ощущение ограниченности выбора рискованно. У людей же этика ситуативная и солипсизм на всю голову. Они слова воспринимают через автоперевод, лишённый эстетики и аллитерации оригинальной идеи," горячо говорила астролог, пытаясь наладить баланс между новой технологией и человеческими ценностями.
В уютном кафе, где аромат кофе смешивался с электронными нотками, клиент с недоумением смотрел на меню: "Что мне выбрать?" ИИ шепотом отвечал: "Осмелюсь предложить экзотический латте и беседу с тем человеком за соседним столиком." На следующий день новый заголовок голографически подпрыгивал над виртуальными очками. "Теперь не только звезды предсказывают будущее! В нейропрогнозах персональные советы, про всё необходимое, для каждого умного человека, который не собирается тратить время на то, чтобы самому принимать мелкие скучные повседневные решения. Астрологический календарь подсказывает подходящий момент не только для деловых встреч, но и для запуска новых продуктовых линий." На углу оживленной улицы летал звездочка-робот: "Нейрочипы, свежие нейрогороскопы! Теперь ваша виртуальность ещё более реальная! Телепрограмма известных артистов: суперзвезды предсказывают будущее." Прохожие, многие из которых уже вживили себе нейрочипы, лишь усмехались, но один остановился: "Эй, парень, а что там нового в этот раз?" "Ах, сэр, только представьте: теперь ваши виртуальные переживания будут более реалистичными, чем когда-либо! Персонализированные энергосберегающие технологии для удаленной работы и снижения частоты поездок! Звезды помогут выбрать оптимальные моменты для ключевых событий." - отвечал робот, махая своими голографическими лучами руками.
Навстречу им шагала астролог, утопая в голограммах с диаграммами. "Мышьяк в Козероге," ругалась она, пытаясь разглядеть следующий поворот судьбы скользящего среднего и не споткнуться. Искусство интуиции стало вопросом точных вычислений, и лавировать среди них на ходу становилось всё сложнее. "Как вдохновить элиты потреблять меньше, когда они требуют привилегий? ИИ может только складно тексты ворковать на разных языках, а думать про градиент потерь всё равно мне приходится. Придётся найти ещё точки для квантового перехода, меньше народа, больше кислорода... И стать волной перемен," размышляла астролог, пробираясь сквозь толпу.
Через несколько месяцев на шелковых подушках, вышитых зеленой гладью, томный голос проныл: "Посмотри в астрокалендаре на этот год, какого числа запускать предвыборную саморекламу." В ответ, повторяя тонким пальчиком все изгибы: "Слушай, у меня тут Машка овечек опрашивает, так у нас тут в электорате евгенистов уже за 5%, что-то с этим надо делать. Или надо какую-нибудь план с попами придумать, но это у конфуцианцев не пройдёт. Ну или надо с этим как-то работать. Возглавить это безобразие." "Авеста, дай идею." Мелодично механический голос произнес: "Пусть разработают законы, разрешающие рождение детей только с модифицированным геномом, без малейшего риска болезней. Для смягчения напряжения создайте виртуальное родительство." Заголовки взорвались: "Эмбриональная безнравственность! Теряем ли мы человечность! Накопить на первенцев после сорокалетия! Виртуальная реальность с элементом сюрприза - это следующий уровень развлечений!"
Ухоженные сияющие юноши и девушки в рекламе восклицали: "Это работает. Воспитание детей в виртуальной реальности - кажется, что я играю, но это инновационный подход, предотвращающей ошибки в воспитании первенцев. Идеальные, генетически модифицированны поколения становятся реальностью, это правильно." "Нашим детям не скучно будет жить..." сомневалась зрительница."Разве не потеряем что-то важное, стремясь к идеалам? Мы становимся 'героями' национального уровня, но что, если другие страны пойдут другим путем?" Мудрая мысль, но реальность своеобразнее. Многие, думая, что воспитывают виртуальных детей в виртуальной реальности, неосознанно стали частью скрытого плана. Элита обеспечила себе бесплатных преподавателей.
...
|
The concept of a wrong turn would imply that someone, somewhere, had some ability to steer the future somewhere other than the sheer Nash equilibrium of short-term incentives; and that would have taken coordination; and that, as we all know, could have led to regulatory capture!
Eliezer Yudkowsky, Comp sci in 2027
|
In the conference hall, a stoic futurist with eyes gleaming with strategic brilliance broached a topic of the highest importance: "The world is perishing, the diagnosis being global warming. Conventional agriculture is under threat, and the specter of death by starvation looms for many." Yet, the investors' inquiries did not delve into concerns for the planet's future. Instead, they cast doubt on the futurist's financial acumen. "Over a decade, I haven't found investments for more than a hundred employees," he asserted. Investors, leaning on each other's opinions, perceived only the hissing of a modest snake in his words. The discussion shifted from global warming to questions about profit, and they favored projects promising a more conventional return on investment.
Meanwhile, in a dance school, a novice student, programmer, endeavored to capture the attention of a well featured astrologer by telling her about artificial intelligence. "I'll show you a performance on scientific futurology. Your forecasts sound outdated: born on the fifth day of the Kondratieff cycle, the economic horoscope suggests that you are inclined to view economic fluctuations as the natural order. You possess a unique ability to indulge in luxuries and comfort. Be prepared to seamlessly embrace new opportunities and accomplishments, blah blah... Technologies, that's the future. The potential of artificial intelligence is limitless!" "Artificial intelligence as a form of prediction? Why not!" decided the astrologer. The young man captivated her with an intriguing video: "The world demands change," proclaimed the futurist, "we are formulating strategies to preserve the planet and alter the mindset of leaders." Inspired, the astrologer gazed at the charts as if peering into a crystal ball. Little did the young student foresee that his girlfriend would be more seduced by futurology than by him. "If billions perish from hunger, who will produce the endearing, soul-stirring musical instruments and bring them here..." she pondered aloud. "What's the name of that UFO that they tap with their fingers, getting resonant and buzzing sounds? Gong, hang... And that tube, that looks like a flute gourd, they turn it, and you hear the rustling of rain... I'll procreate an artificial intelligence, like a Venus impregnated in the rib." The student fell silent, looking for escape, but evading the focus of a beautiful woman is challenging: "You too want to preserve the familiar world, don't you?" She entrusted the choice and optimization of algorithms to the programmer, and he swiftly inundated her with instructional videos.
Usually the astrologer's forecast consisted of simple phrases and images for each of the twelve signs. But with artificial intelligence, thousands of personalized predictions appeared. "Do not overpush and make them feel the choice limited. People use and abuse of casual ethics and solipsism. They interpret words through an auto-translation, devoid of the aesthetics and alliteration of the original idea," the astrologer ardently conveyed, striving to find equilibrium of the new technology and human values.
In a cozy cafe where the aroma of coffee blended with electronic notes, a perplexed customer perused the menu: "What should I choose?" The AI responded in a whisper, "I dare to suggest an exotic latte and a conversation with the person at the next table." The following day, a new holographic headline glowed above virtual glasses. "Now, not only stars predict the future! In neuroforecasts, there is personal advice for every intelligent person who doesn't want to waste time on mundane decisions. The astrological calendar not only suggests the right moment for business meetings but also for the launch of new product lines." On the corner of a bustling street, a star-shaped robot soared: "Neurochips, fresh neurohoroscopes! Now your virtuality is even more real! TV program featuring renowned artists: The superstars predict the future." Passersby, many of whom had already implanted neurochips, simply smiled, but one paused: "Hey, guy, what's up this time?" "Oh, sir, just imagine: now your virtual experiences will be more realistic than ever! Personalized energy-efficient technologies for remote work and reduced travel frequency! Stars help you to choose the best moments for key events." - replied the robot, waving its holographic rays.
The astrologer walked by, engulfed in holograms of diagrams. "Arsenic in Capricorn," she cursed, trying to discern the next turn of the sliding average's fate without stumbling. The art of intuition had become a matter of precise calculations, and navigating on the go was increasingly challenging. "How to inspire the elites to consume less when they demand privileges? AI can only eloquently chatter in different languages, and I still have to figure out the gradient of loss. I'll need to identify more points for a quantum leap... And become a wave of change," mused the astrologer, making her way through the crowd.
A few months later, on silk pillows embroidered with green stitches, a languid voice sighed: "Check the astro-calendar for this year, find a date to launch pre-election self-promotion." In response, delicately tracing all the curves with a slender finger: "Listen, I have Masha conducting interviews with sheep, and we already have 5% of eugenicists in the electorate, we need to address that. Either come up with a plan involving the popes, although that won't work with the Confucians. Or else, we need to strategize on this. Take charge of this chaos." "Avesta, give me an idea." The melodiously mechanical voice suggested: "Let them develop laws permitting the birth of children only with a modified genome, eliminating any risk of disease. To ease tension, introduce virtual parenting." Headlines erupted: "Embryonic immorality! Are we losing our humanity! Save up for firstborns after forty!"
Well-groomed, radiant young men and women in the ad exclaimed: "It works. Raising children in virtual reality - it feels like playing, but it's an innovative approach to prevent errors in the upbringing of firstborns. Ideal, genetically modified generations become a reality, that's perfection." A viewer hesitated. "What if other countries take a different path?" But reality is even more peculiar. Many, thinking they were raising virtual children in virtual reality, unwittingly became part of a hidden plan. The elite secured themselves free teachers.
...
|
Le concept d'un mauvais tournant impliquerait que quelqu'un, quelque part, avait la capacité de diriger l'avenir ailleurs que vers l'équilibre de Nash pur des incitations à court terme ; et cela aurait nécessité une coordination ; et cela, comme nous le savons tous, aurait pu conduire à une
capture réglementaire !
Eliezer Yudkowsky, Informatique en 2027
|
Dans la salle de conférence, un futuriste stoïque aux yeux étincelants de brillance stratégique aborda un sujet d'une importance capitale : "Le monde est au seuil du décès, le diagnostic étant le réchauffement global. L'agriculture conventionnelle est menacée, et le spectre de la mort de famine plane sur beaucoup." Mais les investisseurs n'étaient pas enclins de plancher sur l'avenir de la planète. Au lieu de cela, ils doutaient de l'habileté financière du futuriste. "Ça fait dix ans que je ne trouve pas de quoi financer plus de cent employés", répondit-il. Les investisseurs, croisant leurs avis, ne percevaient que le sifflement d'un serpent bien timide dans ses paroles. La discussion se déplaça du réchauffement climatique aux questions de profit, et ils favorisèrent des projets promettant un retour sur investissement plus conventionnel.
Pendant ce temps, dans une école de danse, un étudiant novice, programmeur, s'efforçait de capter l'attention d'une astrologue bien en vue en lui parlant d'intelligence artificielle. "Je vais te montrer une vidéo sur la futurologie scientifique. Tes prévisions sont caduques depuis deux siècles : Vous êtes né le cinquième jour du cycle de Kondratieff, l'horoscope économique suggère que vous avez tendance à prendre les fluctuations du marché pour monnaie sonnante. Vous avez la capacité unique de vous adonner au luxe et au confort. Soyez prêt à maîtriser avec aisance de nouvelles opportunités et réalisations, et ainsi de suite... Les technologies, voilà l'avenir. Le potentiel de l'intelligence artificielle est illimité !" "L'intelligence artificielle prophétique ? Pourquoi pas !" décida l'astrologue. Le jeune homme la captiva avec une vidéo intrigante : "Le monde réclame du changement," proclama le futuriste, "nous élaborons des stratégies pour préserver la planète et modifier la mentalité des leaders." Inspirée, l'astrologue contempla les graphiques comme si elle scrutait une boule de cristal. Peu prévoyant, le jeune étudiant ne se doutait pas que sa petite amie serait plus séduite par la futurologie que par lui. "Imaginons trois milliards d'humains qui périssent de faim, statistiquement il y aura des chances qu'il n'y ait plus personne pour produire et livrer les instruments de musique qui me font chaud au coeur..." dit-elle même qu'elle eût voulut juste le penser. "Comment s'appelle cette soucoupe geulante sur laquelle ils tapent avec leurs doigts, obtenant des sons résonnants et bourdonnants ? Gong, hang... Et ce tube, qui ressemble à une calebasse de flûte, ils la tournent, et on entend le bruissement de la pluie... Engendrer une intelligence artificielle? Quelle côte d'Adam va dans la recette?" L'étudiant se tut, cherchant à s'éclipser mais la belle astrologue était un trou feru en éclipses: "Toi aussi, tu veux bien préserver ce monde d'ici-bas, n'est-ce pas ?" Elle a laissé le choix et l'optimisation des algorithmes au programmeur, qui en riposte la plongea dans un flux de tutoriels vidéos.
Généralement, les prévisions de l'astrologue se composaient de phrases simples et d'images pour chacun des douze signes. Mais avec l'intelligence artificielle, des milliers de prédictions personnalisées apparurent. "N'insiste pas et ne les fait pas sentir que le choix est limité." se dit elle. "Les gens abusent de l'éthique situationnelle et du solipsisme. Ils interprètent les mots à travers une traduction automatique, dépourvue de l'esthétisme et de l'allitération de l'idée originelle," fit-elle en réfléchissant si tout compte fait il était possible de trouver un équilibre entre la nouvelle technologie et les valeurs humaines.
Dans un café confortable où l'arôme des graines se mêlait aux notes électroniques, un client perplexe parcourait le menu : "Que choisir ?" La borne smart répondit à voix basse : "J'ose suggérer un café au lait exotique et une conversation avec la personne à la table voisine." Le lendemain, un nouveau titre holographique sautillait au-dessus des lunettes virtuelles. "Désormais, ce ne sont plus seulement les étoiles qui prédisent l'avenir ! Dans les neuroprévisions, il y a des conseils personnalisés pour chaque personne intelligente qui ne veut pas perdre de temps a prendre des décisions mondaines. Le calendrier astrologique suggère non seulement le bon moment pour des réunions d'affaires, mais aussi pour le lancement de nouvelles lignes de produits." Au coin d'une rue animée, un robot en forme d'étoile voltigeait : "Puces neuronales, nouveaux horoscopes neuros ! Maintenant, votre virtualité est encore plus réelle ! Programme télévisé avec des artistes de renom : les superstars prédisent l'avenir." Les passants, dont beaucoup avaient déjà implanté des puces neuronales, souriaient simplement, mais l'un d'entre eux s'arrêta : "Écoute là, quoi de neuf cette fois ?" "Oh, monsieur, imaginez-vous : maintenant vos expériences virtuelles seront plus réalistes que jamais ! Technologies énergétiquement efficaces et personnalisées pour le travail à distance et la réduction de la fréquence des voyages ! Les étoiles vous aident à choisir les meilleurs moments pour les événements clés." - répondit le robot, agitant ses rayons holographiques.
L'astrologue passa, engloutie dans des hologrammes de diagrammes. "Arsenic en Capricorne," maugréa-t-elle, essayant de discerner le prochain virage du destin moyen glissant sans trébucher. L'art de l'intuition était devenu une question de calculs précis, et naviguer en cours de route devenait de plus en plus difficile. "Comment inspirer les élites à consommer moins quand elles réclament des privilèges ? L'IA ne peut que discourir de manière éloquente dans différentes langues, et je dois toujours comprendre le gradient de perte. Il me faudra identifier plus de points pour un saut quantique... Et devenir une vague de changement," réfléchit l'astrologue, se frayant un
chemin à travers la foule.
Quelques mois plus tard, sur des coussins de soie brodés de points verts, une voix languissante soupira : "Vérifiez l'astro-calendrier de cette année, trouvez une date pour lancer l'auto-promotion pré-électorale." En réponse, traçant délicatement toutes les courbes d'un doigt mince : "Écoutez, j'ai Masha qui fait des interviews avec les moutons, et nous avons déjà 5% d'eugénistes dans l'électorat, il faut régler ça. Soit inventez un plan impliquant les papes, même si ça ne marchera pas avec les Confucianistes. Sinon, nous devons élaborer une stratégie. Prenez en charge ce chaos." "Avesta, donnez-moi une idée." La voix mélodieusement mécanique suggéra : "Laissez-les élaborer des lois permettant la naissance d'enfants uniquement avec un génome modifié, éliminant tout risque de maladie. Pour détendre l'atmosphère, introduisez la parentalité virtuelle." Des titres ont éclaté : "Immoralité embryonnaire ! Perdons-nous notre humanité ! Économisez pour les premiers-nés après quarante ans !"
Des jeunes hommes et femmes bien soignés et radieux dans la publicité s'exclamaient : "Cela fonctionne. Élever des enfants en réalité virtuelle, c'est comme jouer, mais c'est une approche innovante pour éviter les erreurs dans l'éducation des premiers-nés. Des générations idéales, génétiquement modifiées, deviennent une réalité, voilà la perfection." Un spectateur hésitait. "Et si d'autres pays prennent un chemin différent ?" Mais la réalité est encore plus étrange. Beaucoup, pensant qu'ils élevaient des enfants virtuels dans la réalité virtuelle, sont involontairement devenus une partie d'un plan caché. L'élite s'est assurée des enseignants gratuits.