Jedním z častých témat úvah autorů sci-fi i vědců je otázka, zda nás umělá inteligence neopanuje. Je v tom nejen prvek neofobie, tedy strachu z nového, ale také racionální úvaha, která poukazuje na to, že uvažování umělé inteligence nám může být cizí – že může lidstvo považovat spíš za konkurenta než za někoho, komu má sloužit. Jak může jednou vypadat umělá inteligence a proč mohou být budoucí scénáře poměrně blízké dystopickým fikcím? A co musí lidstvo dělat proto, aby takové scénáře nenastaly?
Racionální základy této úvahy najdeme už u Aristotela, řeckého filozofa (384–322 př. n. l.), který byl nejen zakladatelem logiky a vědecké metody, ale také filozofickým obhájcem otrokářství. To ale interpretoval značně jinak, než jak se vykládá dnes – v jeho úvahách jde o to, čemu dnes říkáme alokační problém. Dnešní ekonomie vykládá prostředky „ležící ladem“ jako externality, které budou patřit tomu, kdo se jich zmocní – a podobně Aristoteles popisoval, že vyspělejší a mravně silnější národ má opanovat ty nevyspělé a slabší.
Otrokářství viděl jako přirozený způsob, jak vyspělejší národ získá větší prostředky pro realizaci cílů, kterým ten nevyspělý nerozumí – a tím, že nevyspělí lidé budou zotročeni, se budou podílet na všeobecném vzestupu všech a budou se moci vzdělávat – a ve chvíli, kdy dosáhnou vyspělé úrovně, se stanou svobodnými. Aristoteles zásadně odmítal zotročování násilím a válkou, ale rovněž odmítal jiný způsob osvobození, než je důkaz, že zotročený dosáhl vyspělé úrovně. V jeho podání tak jde o formu nucených prací spojených se vzděláváním – založenou na přirozené dominanci vyspělejších nad nevyspělými.
Pokud měl Aristoteles pravdu, tak by to znamenalo, že pokud si vypěstujeme vyspělejšího konkurenta v podobě AI, měla by logicky převzít vedení. Tento scénář je rozpracován ve starém sci-fi filmu „Colossus the Forbin Project“ (1970), kdy se umělá inteligence, která má chránit USA, propojí s umělou inteligencí, která má bránit SSSR – a společně se dohodnou, že jediný způsob, jak zabránit iracionálnímu konci lidstva v jaderné válce, je zavedení celosvětové diktatury pod jejich vládou.
To, co je na podobném scénáři děsivé, je fakt, že on vlastně dává smysl. Stroje, nesvázané lidskou etikou, se dívají na problémy daleko jednodušeji a volí řešení, která by lidem přišla nepřijatelná. Problém ničím nesvázané inteligence rozpracovává i takzvaná „sponková apokalypsa“, tedy myšlenkový experiment o automatické továrně na kancelářské sponky, která má jediný úkol: Vyrobit jich co nejvíce a co nejlevněji. Protože tento úkol nemá žádné limity, pokusí se továrna vyrábět sponky všude a jakkoliv a její evoluce povede k tomu, že bude vyrábět sponky i z lidí a ze samotné planety, až nezbude nic než sponky.
Největší nebezpečí od umělé inteligence spočívá právě v tom, že se vydá na cesty, které nám, lidem, přijdou nepravděpodobné až nesmyslné. V řadě vizí o umělé inteligenci, která ovládne lidstvo, se jí přikládá až jistá plánovitá zlovolnost. Ono jde ale spíš o vzájemné neporozumění a misinterpretaci cílů, protože my automaticky předpokládáme, že naše vlastní výtvory by měly mít podobné cíle, jako máme my. Umělá inteligence ale nevznikla v koevoluci s člověkem, a právě proto ji musíme učit, aby měla stejné hodnoty a stejné cíle, jako má lidstvo.
Nejzávažnějším současným problémem je pozvolné přebírání lidských rolí stroji. Původně jsme předpokládali, že nás umělá inteligence zbaví nudné a rutinní práce, ale ukazuje se, že dokáže překvapivě dobře zvládat nejen rutinní kancelářské práce, ale také „kreativní“ úlohy. Určitou útěchou pro nás zůstává, že i kreativní umělá inteligence jen tvoří, ale sama nerozhoduje o tom, co je dobré a co ne – jde tedy o nástroj multiplikující tvořivost, ale úplně ji nenahrazuje.
S příchodem singularity ovšem může nastat situace, kdy AI zvládne jakoukoliv lidskou práci lépe než člověk – a protože se dokáže snadno klonovat, vyjde její nasazení levněji než školení dalších a dalších generací specialistů. Lidé se totiž učí poměrně pomalu, pracně – a na rozdíl od strojů je nejde plošně updatovat na vyšší standard. S nástupem pokročilé inteligence tedy bude nutné zamyslet se nad rolí člověka a také nad tím, jakou práci lidem dáme, protože ta je nutná nejen ekonomicky, ale i psychologicky.
Příchod pokročilé inteligence nemusí nutně znamenat zkázu lidstva, ale rozhodně bude muset přehodnotit svou pozici v řádu věcí – a také svůj vlastní smysl, protože doba, kdy svou inteligencí bezkonkurenčně dominovalo nad vším a nade všemi, skončí.
