R OZ H OVO R

Kdybych chtěl po nějakém systému, aby

dělal, co chci, musel bych totiž hodnoty

formalizovat. Jedna taková formalizace

je racionální agent – matematizace toho,

co chci, s  množinou všech možných výsledků, kde každému přiřadím nějaké

reálné číslo označující užitek. Ale to zjevně neodpovídá tomu, jací lidé jsou, totiž

omezeně racionální. Tomuhle problému

se sice už několik oborů věnuje, ale pořád

tam jsou dost zásadní otevřené problémy.

Úplně prakticky to vypadá tak, že

čteme a  píšeme články, stojíme u  tabulí

a zapisujeme na ně rovnice nebo diagramy. Vždycky mě na FHI bavilo, že je na

jedné tabuli fyzika limitů výpočetního

výkonu hmoty, na druhé úvahy nad pravděpodobností konfliktů velmocí…

Chodíte s tím pak za politiky?

Přímo ne, spíš se snažíme bavit s lidmi, kteří dělají další výzkum a  navrhují opatření.

Také se snažíme odhalit mezery ve výzkumu a přitáhnout do těch míst pozornost.

Třeba?

V době, kdy Nick Bostrom psal Superinteligenci, se rizikům spojeným s  umělou

inteligencí věnovalo naplno možná méně

než deset lidí.

ca Asimova, třeba jeho Stroje popsané

v  povídce Konflikt nikoli nevyhnutelný

pomohou lidstvu vyřešit ekologické problémy, než se rozhodnou samy vypnout,

protože usoudí, že je to ve prospěch lidstva. Pozor ale na to, že jsou jeho Zákony robotiky vymyšlené tak, aby dávaly

vzniknout dramatickým situacím, ne aby

prakticky řešily problémy s roboty.

Vždyť to zní smysluplně: nepoškodíš člověka, nepoškodíš jiného robota, ledaže

bys mu tím zabránil poškodit člověka…

Kdybyste po někom chtěl, ať tyhle zákony vloží do nějakého systému, ukáže se,

že to není etika formulovaná tak precizně, aby byla použitelná.

Vlastně by takový robot asi nemohl člověku podat cigaretu.

Nebo to vezměme doslova. Robot, který

by se snažil zabránit, aby bylo někomu

ublíženo, by se nejspíš stal efektivním

altruistou zaměřeným na redukci lidského utrpení. Co by vymyslel jako řešení?

Možná by začal kvantitativně obchodovat a výdělek posílat na charitu. Proč by

si ale někdo kupoval pozitronový mozek,

který by pro něj samotného nedělal nic?

To by mě nenapadlo.

Přitom to už bylo dlouho oblíbené téma

sci-fi.

Protože lidi tohle neberou doslova.

To je jeden z  problémů existenčních

rizik: jsou to klišé hollywoodských filmů, lidi je mají zařazené jako fantastické představy, což ale neznamená, že se

tomu věnuje seriózní pozornost.

Mí přátelé pracující v  akademickém prostředí si stěžují, že proti sobě na ústavech

bojují různé frakce. Soupeříte na FHI o to,

jestli je větší riziko klimatická krize, nebo

umělá inteligence?

Spousta lékařů je vysazená na nemocniční seriály, protože se tam opakují nesmysly. Trnete podobně u  katastrofických

filmů?

Moc jsem jich popravdě v poslední době

neviděl. Ale všímám si třeba vnitřní nekonzistence: není realistické si představovat, že se technologie vyvine jen

v jednom oboru. Třeba že všechno bude

jako teď, jen k tomu budeme běžně létat

do vesmíru. Na druhou stranu je ve sci-fi

spousta dobrých nápadů. Mám rád Isaa56

Spíš je to naopak. Ostatně sám považuju

za velká rizika ta neznámá. Zatím se zdá,

že technologický rozvoj přináší nová a nečekaná nebezpečí. Schopnost zničit civilizaci lidstvo získalo s jadernými zbraněmi,

stačil jediný omyl za studené války a svět

by dnes vypadal hodně jinak. Podobně

rychle teď získáváme schopnost v  biologii. S tím souvisí riziko úniku nebezpečného materiálu z  laboratoří nebo snižování

ceny syntetizování DNA a výroby něčeho

nebezpečného. Pak tu jsou technologie

umožňující stabilní totalitu, třeba umělá

Jan Kulveit

Narodil se v roce 1982. Vystudoval teoretickou fyziku na Matematicko-fyzikální fakultě Univerzity Karlovy, kde pak udělal

doktorát při práci ve Fyzikálním

ústavu Akademie věd. Působí

jako senior research scholar na

Future of Humanity Institute na

Oxfordské univerzitě. Pracuje

i pro European Summer Program

on Rationality, letní tábory pro

matematicky nadané studenty.

Efektivní altruismus

Sociální a filozofické hnutí hledající

nejefektivnější způsoby konání

dobra – například (ale zdaleka ne

výhradně) zvedáním materiální

úrovně nejchudších lidí. Podrobnosti najdete na stránkách Spolku

pro efektivní altruismus (efektivni-altruismus.cz) nebo ve Finmagu

6/2017.