Paul Scharre

Armáda strojov

Ukážka z elektronickej knihy

Venujem Daveymu, Williamovi a Elle.

Svet by vďaka nim mohol byť lepším miestom.

A Heather.

Ďakujem za všetko.

ÚVOD

MOC NAD ŽIVOTOM A SMRŤOU

MUŽ, KTORÝ ZACHRÁNIL SVET

V noci 26. septembra 1983 sa život na Zemi takmer skončil. Bolo to obdobie studenej vojny a každá strana sa horúčkovito zásobovala jadrovými zbraňami. Pol roka predtým, na jar, prezident Reagan oznámil iniciatívu strategickej obrany pod názvom Hviezdne vojny, plánovaný protiraketový štít, a hrozilo, že citlivá rovnováha medzi oboma aktérmi studenej vojny sa naruší. Len tri týždne predtým, 1. septembra, Sovietska armáda zostrelila komerčný let z Aljašky do Soulu, ktorý zablúdil do sovietskeho vzdušného priestoru. Dvestošesťdesiatdeväť ľudí vrátane amerického kongresmana zahynulo.1 Sovietsky zväz sa obával odvetných opatrení a bol v nepretržitej pohotovosti.

Sovieti nasadili satelitný systém včasného varovania nazvaný Oko, aby mohli zachytiť prípadný útok amerických rakiet. Krátko po polnoci 26. septembra vydal systém Oko smrteľne hrozivú správu: Spojené štáty odpálili jadrovú raketu na Sovietsky zväz.

Poručík Stanislav Petrov^2 bol v tej noci mimo Moskvy, v bunkri Serpuchov-15, a jeho úlohou bolo sledovať satelitný systém a oznámiť prípadné odpálenie rakety svojim nadriadeným. V bunkri začali hučať sirény a na obrovskej červenej podsvietenej obrazovke blikalo, že raketa je odpálená, čo poručíka informovalo o zistenej strele.3 Petrov zneistel. Oko bol nový satelitný systém a obával sa, že spustenie môže byť chybou, chybou v systéme. Čakal.

Ďalšie odpálenie. Dve rakety boli vystrelené. Potom ďalšia. A ďalšia. A ďalšia – dovedna päť.4 Na obrazovke už neblikalo „raketa odpálená“, ale „raketový útok“. Systém hlásil najvyššiu úroveň spoľahlivosti a podľa neho neexistovali pochybnosti: jadrový útok sa začal. Sovietske vojenské velenie by malo len pár minút, aby sa rozhodlo, čo urobí, predtým než rakety explodujú nad Moskvou.

Petrova sužovala neistota.5 Prečo by Spojené štáty vystrelili len päť rakiet? Nemalo to logiku. Skutočný prekvapivý útok by mal byť masívny, ohromujúci úder s cieľom zničiť sovietske pozemné sily. Petrov nebol presvedčený, že útok je reálny, ako to hlásil systém. Ale nebol si ani istý, či je to falošný poplach. S jedným okom prilepeným na počítačový displej zavolal operátorovi pozemného radaru, aby si raketový úder overil. Ak by boli rakety skutočné a vynorili by sa na obzore, určite by sa objavili aj na sovietskych pozemných radaroch. Napodiv, pozemné radary nezaznamenali nič.

Šanca, že útok je skutočný, bola jedna k jednej, čo bolo asi také predvídateľné ako predpoveď, ktorá strana mince padne.6 Petrov potreboval viac informácií. Potreboval viac času. Stačilo by, keby zdvihol telefón, ale možné následky by boli obrovské. Ak by sovietskemu veleniu oznámil, že má vypáliť jadrové strely, milióny ľudí by zahynuli. Mohol to byť začiatok tretej svetovej vojny.

Petrov dal na svoj inštinkt a zavolal svojim nadriadeným s tým, že podľa jeho domnienky systém nefunguje správne. A mal pravdu, nešlo o nijaký útok. Odraz slnečných lúčov, ktorý zachytili sovietske satelity, spôsobil falošný poplach. Systém sa teda mýlil a ľudstvo zachránil pred potenciálnym armagedonom obyčajný človek, drobný článok v celom procese.

Čo by však urobil na Petrovovom mieste stroj? Odpoveď je jasná: stroj by urobil presne to, na čo je naprogramovaný, a nijaké dôsledky svojho činu by si neuvedomoval.

OSTREĽOVAČOVA VOĽBA

Na jar 2004 – o dve desaťročia neskôr, v inej krajine, v inej vojne – som hľadel do puškohľadu ostreľovačskej pušky na kopci niekde v Afganistane. Môj tím poslali na hranice medzi Afganistanom a Pakistanom, aby sledoval infiltračné cesty, cez ktoré sa podozriví bojovníci Talibanu začali vracať späť do Afganistanu. Po úplne zdevastovanom teréne sme s 55-kilogramovými batohmi šliapali hore celú noc.

S prichádzajúcim východom slnka sme sa ukryli za skalnatý výbežok – jediný, ktorý sme v okolí našli. Nezostávalo nič iné len dúfať, že nás nepriateľ nezbadá.

Samozrejme, nezostali sme nepovšimnutí. S prebúdzajúcim sa životom v dedine naše hlavy nad nízkym skalnatým výbežkom spozoroval miestny roľník. To však nemohlo narušiť misiu.

Ďalej sme strážili a sledovali každý pohyb po ceste v doline. Čakali sme.

Netrvalo dlho a mali sme spoločnosť. Asi päť- alebo šesťročné dievčatko s dvomi kozami vychádzalo z dediny priamo k nám. Na prvý pohľad sa zdalo, že vyšla na pašu, ale pridlho chodila okolo nás a až pričasto sa pozerala naším smerom. Naozaj nebola nenápadná. Uvedomili sme si, že špehuje pre talibanistov. Až neskôr sme pochopili, že ten šušťavo-pískavý zvuk, ktorý sme počuli, keď kráčala neďaleko a tvárila sa, že pasie kozy, je zvuk rádiostanice, ktorú niesla. Takže celý čas, čo okolo nás chodila, pomaly hlásila našu pozíciu. My sme sledovali ju. Ona pozorovala nás.

Odišla. Pochopiteľne, netrvalo dlho a bojovníci Talibanu dorazili. Boli sme hneď nad nimi – netušili, že sledujeme, ako sa presúvajú po horskom úbočí. Náhla hlučná streľba prinútila všetkých dedinčanov, aby vybehli zo svojich domovov. Zvuk streľby sa odrážal celým údolím a upozorňoval na našu prítomnosť každého do vzdialenosti aj desať kilometrov. Talibanistov postupne ubúdalo. Niektorí ušli, iní už boli mŕtvi. Vedeli sme však, že by sa čoskoro vrátili vo väčšom počte. Ani dav dedinčanov dolu pod nami už nevyzeral priateľsky. Ak by sa rozhodli obklopiť nás a prepadnúť, neboli by sme schopní sa im všetkým ubrániť.

„Scharre,“ zreval na mňa veliteľ mojej jednotky. „Zaveľ na ústup.“

Pribehol som k rádiu. „Tu je Mike – jeden – dva – Romeo,“ upozornil som naše podporné sily, „obec sa zhromažďuje okolo našej pozície. Potrebujeme sa dostať z nepriateľského územia.“ Dnešná misia sa skončila. Preskupili sme sa a v noci presunuli na novú, lepšiu pozíciu.

Na základni sme si misiu prešli ešte raz a diskutovali sme, čo by sme mali spraviť inak v prípade, že sa v podobnej situácii ocitneme znovu. Skutočnosť je taká: nijaké vojnové zákony nestanovujú vekovú hranicu pre bojovníkov. To, čo určuje vojaka, resp. nepriateľa, je jeho správanie. Ak sa človek zúčastňuje na nepriateľských akciách, presne tak ako malé dievča, ktoré špehovalo svojho nepriateľa a vedome podávalo informácie jednej zo strán, automaticky sa stáva legitímnym cieľom nepriateľov. V tomto prípade by teda zabitie civilistov, ktorí nás spozorovali počas misie, bolo vojnovým zločinom, ale zabiť dievča by bolo úplne oprávnené. Samozrejme, netvrdím, že by to nebolo zlé. Ak nie z právneho hľadiska, tak z morálneho určite.

Počas diskusie nikto nemusel citovať vojnové zákony ani sa odvolávať na abstraktné etické princípy. Nikto nepotreboval apelovať na empatiu. Tú desivú predstavu, že v takejto situácii sa malo strieľať na dieťa, nevyslovil nahlas nikto. Všetci sme vedeli, že by to bolo zlé, ani sme to nemuseli rozoberať. Vojna prináša vojakom hrozné a ťažké rozhodnutia, ale toto k nim nepatrilo.

Čo by však urobil na našom mieste stroj? Keby bol programovaný na zneškodnenie nepriateľských bojovníkov, napadol by to dievča. Napadol by aj dedinčanov? Mohol by robot vedieť, kedy je oprávnený zabiť, alebo zamyslieť sa nad správnosťou svojho konania aj z iného hľadiska?

ROZHODNUTIE

Otázka života a smrti sa vo vojne rozhodne nesmie brať na ľahkú váhu, nehľadiac na to, či ide o životy miliónov ľudí, alebo o osud jedného dieťaťa. Sú to predovšetkým zákony vojny a princípy akcie a reakcie, na základe ktorých sa aktéri rozhodujú. Je dôležité snažiť sa o rozumný úsudok v každej situácii.

Vďaka technickému pokroku sme dosiahli medzník vo vzťahu medzi ľudstvom a vojnou. V budúcnosti totiž vo vojnách môžu namiesto ľudí robiť rozhodnutia o živote a smrti stroje. Ozbrojené sily po celom svete sú pripravené využívať roboty na mori, na zemi i vo vzduchu – viac ako deväťdesiat krajín využíva bezpilotné lietadlá na hliadkovanie na oblohe. Treba si uvedomiť, že tieto roboty sú čoraz autonómnejšie a mnohé z nich sú vyzbrojené. Zatiaľ pracujú pod ľudskou kontrolou, ale zamyslime sa, čo sa stane, keď bude také lietadlo samostatné ako google auto? Akú najvyššiu právomoc by sme mali povoliť strojom nad definitívnym rozhodnutím – otázkou života a smrti?

Toto nie je sci-fi. Viac ako tridsať národov už má k dispozícii obranné autonómne zbrane pripravené na situácie, v ktorých by ľudská reakcia bola príliš pomalá. Tie systémy, ktoré sa používajú na obranu lodí a základní proti nepriateľským útokom riadenými strelami, sú pod kontrolou človeka, ktorý zatiaľ môže v prípade potreby zasiahnuť. Existujú však už aj iné zbrane – ako izraelský dron Harpy, ktorý je už úplne autonómny. Na rozdiel od iných bezpilotných lietadiel, ktoré ovláda človek, Harpy môže kontrolovať širokú oblasť a celkom prirodzene aj vyhľadávať nepriateľské radary. Len čo ich nájde, zničí ich bez žiadosti o povolenie. Lietadlo predali niekoľkým krajinám a Čína dokonca pozmenila svoj vlastný variant. Širšie využitie je zjavnou možnosťou a taký Harpy môže byť len začiatok. Južná Kórea nasadila robotickú strážnu zbraň do demilitarizovanej pohraničnej zóny so Severnou Kóreou. Izrael použil ozbrojené pozemné roboty, aby strážili hranice územia Gazy. Rusko buduje súbor ozbrojených pozemných robotov na vojnu na európskych rovinách. Šestnásť krajín už má k dispozícii ozbrojené bezpilotné lietadlá a ďalšie desiatky sa otvorene usilujú o ich získanie a vývoj.7

Celý tento vývoj je súčasťou hlbšieho technického trendu: rastu umelej inteligencie (UI), ktorú už označujú za „ďalšiu priemyselnú revolúciu“.8 Technický guru Kevin Kelly porovnal UI s elektrickou energiou: rovnako ako elektrická energia oživuje veci okolo nás vďaka energii, tak aj UI ich oživí inteligenciou.9 Umelá inteligencia umožňuje vyvíjať sofistikovanejšie a autonómnejšie roboty, od robotov, ktoré budú pomáhať v skladoch, až po bezpilotné lietadlá ďalšej generácie, vďaka ktorým bude možné spracúvať veľké množstvo dát a prijímať rozhodnutia o napájaní twitterových (softvérových autonómnych) robotov, programovať plány opravy metra a dokonca vykonávať lekársku diagnostiku. Takže vo vojne môžu systémy UI pomôcť ľuďom prijímať rozhodnutia alebo sa im môže udeliť právomoc prijímať vlastné rozhodnutia.

Vzostup umelej inteligencie určite zmení vojnu. Začiatkom dvadsiateho storočia sa priemyselná revolúcia odrazila aj vo výzbroji armád a do vojny zasiahli tanky, lietadlá a guľomety, čím dochádzalo k ničeniu v nevídanom rozsahu. Mechanizácia umožnila výrobu strojov, ktoré boli silnejšie a rýchlejšie ako ľudia.10 Podobne UI umožňuje skúmať, poznávať a vyrábať nové stroje, ktoré sú v určitých smeroch šikovnejšie a rýchlejšie ako ľudia. Mnohé vojenské aplikácie spájané s umelou inteligenciou sú nesporne lepšie – logistika, kyberobrana či roboty na evakuáciu, zásobovanie alebo dohľad v medicíne, no zavedenie UI do zbraní vyvoláva aj mnohé otázky. Áno, automatizácia sa dnes využíva už v rôznych zbraňových funkciách, ale vo väčšine prípadov je to stále človek, ktorý vyberá cieľ a stláča spúšť. Či to tak bude i naďalej, je však nejasné.

Väčšina krajín mlčí o svojich plánoch, ale niekoľko ich už naznačilo svoj zámer presunúť sa čím skôr na systém autonómnych zbraní. Najvyšší ruskí vojenskí velitelia si predstavujú, že v budúcnosti bude vytvorená „úplne robotizovaná jednotka schopná nezávisle vykonávať vojenské operácie“,11 zatiaľ čo predstavitelia Ministerstva obrany USA uviedli, že možnosť nasadenia úplne autonómnych zbraní je reálna a mala by byť už „na stole“.12

LEPŠÍ NEŽ ČLOVEK?

Ozbrojené roboty, ktoré zabíjajú – to môže znieť ako dystopická nočná mora, ale niektorí tvrdia, že vďaka autonómnym zbraniam sa vojna stane humánnejšou. Rovnaký druh naprogramovania, aký umožňuje autám vyhnúť sa chodcom, by sa mohol použiť na to, aby sa zabránilo civilným obetiam vo vojne, a na rozdiel od ľudí stroje sa nedokážu nahnevať či podľahnúť pocitom, takže nie sú schopné pomsty. Nikdy sa neunavia. Autopiloty v lietadle významne zlepšili bezpečnosť komerčných lietadiel, čím ušetrili nespočetné množstvo životov. Mohla by teda autonómia spôsobiť to isté vo vojne?

Nové typy UI, napríklad hĺbkovo sa učiace neurónové siete, ukázali prekvapujúci pokrok v rozpoznávaní vizuálnych objektov, rozpoznávaní tvárí a vo vycítení ľudských emócií. Preto nie je ťažké predstaviť si budúce zbrane, ktoré by mohli prekonať ľudí a ihneď odlíšiť človeka s puškou od človeka držiaceho hrable. Napriek tomu počítače stále nedosahujú kapacitu ľudského mozgu v chápaní kontextu a interpretačného významu. Programy UI dnes dokážu identifikovať objekty na obrázkoch, ale nemôžu zakresliť jednotlivé schémy dohromady, aby pochopili celý obraz.13

Niektoré rozhodnutia vo vojne sú jednoduché. Niekedy je nepriateľ ľahko identifikovateľný a útok je jasný. Niektoré rozhodnutia, akým čelil Stanislav Petrov, si však vyžadujú pochopenie širšieho kontextu. A situácie, v akej sa ocitla moja ostreľovačská jednotka, si vyžadujú morálny úsudok. Niekedy urobiť správne rozhodnutie znamená porušiť pravidlá – to, čo sa považuje za legálne a čo sa pokladá za správne, nie je vždy to isté.

ÚVAHA

Ľudstvo čelí základnej otázke: mali by mať stroje vo vojne schopnosť rozhodovať o živote a smrti? Malo by to byť legálne? Bolo by to v poriadku?

V diskusii o autonómnych zbraniach pôsobím od roku 2008.

Ako analytik civilnej politiky v Pentagóne v kancelárii ministra obrany som viedol skupinu, ktorá vypracovala oficiálnu politiku USA v oblasti automatizácie zbraní (mimochodom, dokument takéto zbrane nezakazuje). Od roku 2014 som riadil etický autonómny projekt v Centre pre novú americkú bezpečnosť (Centre of New American Security), nezávislú skupinu expertov vo Washingtone, D. C., vďaka čomu som sa stretol s odborníkmi zaoberajúcimi sa týmito otázkami: akademikmi, právnikmi, psychológmi, aktivistami v oblasti kontroly zbraní, vojenskými profesionálmi či pacifistami. Nahliadol som za oponu rôznych vládnych projektov a stretol som sa s inžiniermi budujúcimi ďalšiu generáciu vojenských robotov.

Táto kniha vás prevedie cestičkami rýchlo sa rozvíjajúceho sveta robotických zbraní novej generácie. Vezmem vás dovnútra obranných spoločností, ktoré konštruujú rakety ovládané umelou inteligenciou, a výskumných laboratórií, ktoré robia špičkové práce v rámci ich výroby a ustavičného zlepšovania.

Predstavím vám vládnych úradníkov, ktorí určujú politiku podporujúcu UI, aj aktivistov, ktorí sa usilujú o jej zákaz. Táto kniha bude skúmať minulosť – vrátane okolností, ktoré nevyšli tak, ako mali – a pozrieme sa do budúcnosti, keďže sa stále stretávam s výskumníkmi, ktorí posúvajú hranice zdokonaľovania UI.

Táto kniha sa bude zaoberať otázkou, ako by mohla vyzerať naša budúcnosť s autonómnymi zbraňami. Automatizované obchodovanie s akciami viedlo k „bleskovým krachom“ na Wall Street. Mohli by autonómne zbrane viesť k „bleskovým vojnám“? Nové metódy UI a predovšetkým jej hĺbkové skúmanie sú dôležité, ale ich výsledný efekt často zostáva veľkou neznámou. Preto je zaujímavé sledovať, aké nové výzvy nám prinesú pokročilé systémy UI.

Viac ako tritisíc odborníkov na robotiku a umelú inteligenciu^14 morálne odsúdilo legálnosť autonómnych zbraní a do kampane Zastavme vraždiace roboty sa zapojilo viac ako šesťdesiat mimovládnych organizácií.15 Najuznávanejšie osobnosti z oblasti vedy a technických výskumov – Stephen Hawking, Elon Musk a spoluzakladateľ spoločnosti Apple Steve Wozniak – sa jednoznačne ohradili proti robotizovaným zbraniam a varovali, že by mohli vyvolať „globálne preteky v UI zbrojení“.16

Môže sa však ešte zabrániť pretekom v zbrojení, alebo je už neskoro? A ak sa to už deje, ako to môžeme zastaviť? Záznamy o kontrole nebezpečnej techniky sú nepresné a úprimne, pokusy o zákaz zbraní, ktoré sa považovali za príliš nebezpečné alebo neľudské, sa datujú od staroveku. Mnohé z týchto pokusov zlyhali vrátane pokusov zakázať ponorky a lietadlá začiatkom dvadsiateho storočia. Dokonca aj tie, ktoré naoko uspeli, napríklad v prípade zákazu chemických zbraní, len zriedka zastavia režimy, aký je v súčasnosti v Sýrii za Baššára Asada alebo bol nedávno v Iraku v čase vlády Saddáma Husajna.

Ak medzinárodný zákaz nedokáže zabrániť najohavnejším režimom na svete postaviť armádu zabíjajúcich robotov, môžeme jedného dňa čeliť najtemnejším nočným morám.

ROBOPOKALYPSA NABLÍZKU

Žiadny štát nepriznal, že buduje autonómne zbrane, no v tajných vojenských laboratóriách a komerčných aplikáciách s dvojakým použitím výskum a vývoj UI napreduje. Kontrolu nad väčšinou aplikácií a dokonca aj ozbrojenými robotmi majú zatiaľ ľudia – ale práve tlak na bojiskách a vo vojenských akciách, kde zomierajú ľudia, by mohol viesť k vývinu autonómnych zbraní, pri ktorých by bol človek z takýchto aktivít vyňatý. Armády by mohli požadovať vyššiu autonómiu na využívanie výhod naprogramovanej počítačovej rýchlosti. Alebo vojská by mohli zostrojiť autonómne zbrane jednoducho pre obavy z toho, čím disponujú ich nepriatelia. Námestník ministra obrany USA Bob Work sa v tomto kontexte veľmi trefne opýtal:

Ak naši konkurenti idú vyrábať terminátory... a ukáže sa, že terminátory sú schopné robiť rozhodnutia rýchlejšie, aj keď sú zlé, ako by sme reagovali?17

Podpredseda Zboru náčelníkov štábov Paul Selva označil túto dilemu za „terminátorský hlavolam“.18 V stávke je veľa: umelá inteligencia sa javí technicky ako veľmi silná. Ak by sme sa rozhodli pre správnu cestu využitia UI, inteligentné stroje by mohli zachrániť životy tým, že by vojny urobili presnejšími a humánnejšími. Pri nesprávnom používaní by autonómne zbrane mohli viesť k väčšiemu zabíjaniu a ešte väčším civilným obetiam. Štáty budú reagovať podľa toho, ako sa budú správať iné krajiny, veľa závisí aj od kolektívneho postoja vedcov, inžinierov, právnikov, aktivistov za ľudské práva a ďalších, ktorí sa zúčastňujú na riešení tejto problematiky. Umelá inteligencia sa s určitosťou bude vyvíjať a bude sa využívať vo vojne. Ako sa bude využívať, to zostáva otvorené. Podľa slov Johna Connora, hrdinu filmu Terminátor a vodcu odporu proti strojom: „Budúcnosť je nejasná. Nejestvuje osud, len to, čo urobíme my sami.“ Boj o zákaz autonómnych zbraní vedie k podstate konfliktu medzi ľudstvom a technikou: riadime naše výtvory my, alebo kontrolujú ony nás?

Koniec ukážky

Table of Contents

Titulná strana

Úvod

Prvá časť

Druhá časť

Tretia časť

Štvrtá časť

Piata časť

Šiesta časť