Ale alespoň zůstávají většinou pod lidskou kontrolou. Představte si na okamžik svět války, ve kterém by nás tyto letecké drony (nebo jejich pozemní a námořní ekvivalenty) kontrolovaly, místo aby to bylo naopak. Pak bychom byli na destruktivně odlišné planetě způsobem, který by se dnes mohl zdát téměř nepředstavitelný. Bohužel, je to všechno jinak než nepředstavitelné, vzhledem k práci na umělé inteligenci (AI) a robotických zbraních, kterou již velmoci zahájily. Nyní vás vezmu do tohoto tajemného světa a pokusím se představit, co by mohla budoucnost válečnictví znamenat pro nás ostatní.

Spojením AI s pokročilou robotikou americká armáda a armády dalších pokročilých mocností již tvrdě pracují na vytváření škály samostatně řízených "autonomních" zbraňových systémů - bojových dronů, které mohou nezávisle na jakýchkoli lidských velitelích, kteří by jim měli velet, používat smrtící sílu. Kritiky nazývaní "vražední roboti", zahrnují taková zařízení různé bezpilotní nebo "bezposádkové" letouny, tanky, lodě a ponorky schopné autonomního provozu.

Americké letectvo například vyvíjí své "spolupracující bojové letouny", bezpilotní letecké prostředky (UAV) určené k účasti na vysokorizikových misích společně s pilotovanými letadly. Armáda podobně testuje různá autonomní bezpilotní pozemní vozidla (UGV), zatímco námořnictvo experimentuje s bezpilotními hladinovými plavidly (USV) a bezpilotními podmořskými plavidly (UUV, nebo dronové ponorky). Na takových zbraních pro budoucí bojiště pracují také Čína, Rusko, Austrálie a Izrael.

Blížící se vzhled těchto vraždících strojů vyvolává celosvětové obavy a kontroverze, přičemž některé země již usilují o jejich úplný zákaz a jiné, včetně Spojených států, plánují povolit jejich použití pouze za podmínek dohledu člověka. V Ženevě skupina států dokonce usiluje o zakázání nasazení a používání zcela autonomních zbraní, cituje smlouvu OSN z roku 1980, Úmluvu o některých běžných zbraních, která si klade za cíl omezit nebo zakázat nejaderné munice, o nichž se věří, že jsou zvláště škodlivé pro civilisty. Mezitím v New Yorku Valné shromáždění OSN vedlo svou první diskusi o autonomních zbraních minulý říjen a plánuje na příští podzim provést plnohodnotnou revizi tohoto tématu, uvádí server The Nation.

Většina debat o používání takových zařízení na bojišti se točí kolem otázky, zda budou oprávněny brát lidské životy bez lidského dohledu. Mnoho náboženských a občanských organizací tvrdí, že takové systémy nebudou schopny rozlišovat mezi bojovníky a civilisty na bojišti a proto by měly být zakázány, aby se chránili nebojovníci před smrtí nebo zraněním, jak vyžaduje mezinárodní humanitární právo. Američtí úředníci na druhou stranu tvrdí, že takové zbraně mohou být navrženy tak, aby fungovaly zcela dobře v rámci právních omezení.

Prozatím bude většina autonomních zbraní vyvíjených americkou armádou bezpilotními (nebo, jak se někdy říká, "neobývanými") verzemi stávajících bojových platforem a budou navrženy tak, aby fungovaly ve spolupráci s jejich obsazenými protějšky.

Ačkoli by mohly mít také určitou schopnost komunikovat mezi sebou, budou součástí "síťového" bojového týmu, jehož mise bude řízena a dohlížena lidskými veliteli. Například se očekává, že Spolupracující bojové letouny budou sloužit jako "věrný křídlatý společník" pro pilotovaný stealth stíhač F-35, zatímco budou provádět vysokorizikové mise ve sporném vzdušném prostoru. Armáda a námořnictvo z velké části následovaly podobný přístup ve svém přístupu k vývoji autonomních zbraní.

Nicméně, někteří američtí stratégové prosazují alternativní přístup k použití autonomních zbraní na budoucích bojištích, ve kterých by sloužily ne jako mladší kolegové v týmech vedených lidmi, ale jako rovnocenní členové samostatně řízených rojů robotů. Takové formace by se skládaly z desítek nebo dokonce stovek AI ovládaných UAV, USV nebo UGV, všechny schopné mezi sebou komunikovat, sdílet data o měnících se podmínkách na bojišti a kolektivně měnit své bojové taktiky, jak považuje "skupinový rozum" za nezbytné.


Jak Scharre ve své prorocké zprávě učinil jasné, plná realizace konceptu roje by vyžadovala vývoj pokročilých algoritmů, které by umožnily autonomním bojovým systémům komunikovat mezi sebou a "hlasovat" o preferovaných způsobech útoku. To, jak poznamenal, by zahrnovalo vytváření softwaru schopného napodobovat mravence, včely, vlky a další tvory, které v přírodě vykazují "rojové" chování. Jak Scharre řekl,

„Stejně jako vlci v smečce představují svému nepříteli neustále se měnící množinu hrozeb ze všech stran, neobývaná vozidla, která mohou koordinovat manévrování a útok, by mohla být výrazně efektivnější než nekoordinované systémy působící hromadně."

V roce 2014 však technologie potřebná k umožnění takového strojového chování byla stále v plenkách. Aby se řešil tento kritický nedostatek, Ministerstvo obrany pokračovalo ve financování výzkumu v oblasti AI a robotiky, i když také získávalo takovou technologii od soukromých firem jako Google a Microsoft. Klíčovou postavou této snahy byl Robert Work, bývalý kolega Paula Scharreho v CNAS a raný nadšenec pro válčení rojem. Work sloužil od roku 2014 do roku 2017 jako náměstek ministra obrany, pozice, která mu umožnila směrovat stále rostoucí sumy peněz na vývoj high-tech zbraní, zejména bezpilotních a autonomních systémů.

Mnoho tohoto úsilí bylo delegováno na Obrannou agenturu pro pokročilé výzkumné projekty (DARPA), interní high-tech výzkumnou organizaci Pentagonu. Jako součást snahy o vývoj AI pro takové spolupracující rojové operace zahájila DARPA svůj program „Mosaic“, sérii projektů určených k dokonalosti algoritmů a dalších technologií potřebných k koordinaci činností pilotovaných a nepilotovaných bojových systémů v budoucím vysokointenzivním boji s Ruskem a/nebo Čínou.

„Aplikováním velké flexibility konceptu mozaiky na válčení," vysvětlil Dan Patt, zástupce ředitele strategické technologické kanceláře DARPA, "mohou být systémy s nižšími náklady a menší složitostí spojeny dohromady mnoha způsoby, aby vytvořily požadované, propletené efekty přizpůsobené jakémukoli scénáři. Jednotlivé části mozaiky jsou spotřebovatelné [obětovatelné], ale dohromady jsou neocenitelné pro to, jak přispívají k celku."

Tento koncept válčení očividně leží v základu nové strategie „Replicator“, kterou oznámila náměstkyně ministra obrany Kathleen Hicks minulé léto.

„Replicator má nám pomoci překonat největší výhodu Číny, kterou je masa. Více lodí. Více raket. Více lidí,“ řekla zbrojním průmyslovým úředníkům minulý srpen. Nasazením tisíců autonomních UAV, USV, UUV a UGV naznačila, že americká armáda by mohla přelstít, předehnat a přemoci čínskou armádu, Lidovou osvobozeneckou armádu (PLA). „Abychom zůstali vpředu, vytvoříme nový stát umění. Budeme čelit masě PLA vlastní masou, ale ta naše bude těžší na plánování, těžší na zásah, těžší na porážku.“

Aby získalo jak hardware, tak software potřebný k realizaci tak ambiciózního programu, Ministerstvo obrany nyní vyhledává návrhy od tradičních obranných dodavatelů jako jsou Boeing a Raytheon, stejně jako od startupů v oblasti AI jako Anduril a Shield AI. Ačkoli do tohoto úsilí mohou být zahrnuty zařízení velkého rozsahu jako je Spolupracující bojové letadlo letectva a Orca Extra-Large UUV námořnictva, důraz je kladen na rychlou produkci menších, méně složitých systémů, jako je útočný dron AeroVironment’s Switchblade, nyní používaný ukrajinskými vojáky k vyřazení ruských tanků a obrněných vozidel za nepřátelskými liniemi.

Zároveň Pentagon již vyzývá technologické startupy, aby vyvinuly nezbytný software pro usnadnění komunikace a koordinace mezi takto rozdílnými robotickými jednotkami a jejich přidruženými pilotovanými platformami. Aby to usnadnil, požádalo letectvo Kongres o 50 milionů dolarů ve svém rozpočtu na fiskální rok 2024 na financování toho, co dost dostatečně hrozivě nazývá Projekt VENOM, nebo "Model Viper Experimentation and Next-generation Operations.“ V rámci VENOMu převede letectvo stávající stíhací letouny na UAV řízené AI a použije je k testování pokročilého autonomního softwaru v operacích s více drony. Armáda a námořnictvo testují podobné systémy, uvádí dále magazín The Nation.


Implementací těchto technologií se očekává, že se zvýší schopnost americké armády rychle reagovat na hrozby, přizpůsobit se dynamickým podmínkám bojiště a provádět složité operace s minimálním lidským zásahem. Tento směr k autonomii a robotizaci rovněž představuje nové etické a strategické výzvy, které je nutné řešit, včetně otázek odpovědnosti, rozhodování v kritických situacích a možnosti neúmyslných konfliktů způsobených chybami v softwaru nebo nedorozuměními mezi autonomními systémy.

Navzdory potenciálním výhodám a inovacím, které tyto technologie přinášejí, existuje také rostoucí obava z možnosti, že zvýšená autonomie a schopnost koordinovaného působení autonomních systémů by mohly vést k nekontrolovatelným situacím nebo dokonce k eskalaci konfliktů bez lidského přičinění. Proto je nezbytné, aby vývoj a nasazení těchto technologií byly doprovázeny pečlivou etickou a právní úvahou, stejně jako robustními bezpečnostními protokoly, aby se zajistilo, že tyto pokročilé systémy budou sloužit k posílení míru a bezpečnosti, nikoli k jejich ohrožení.

Vzhledem k rychlému pokroku v oblasti umělé inteligence a autonomních systémů bude klíčové, aby mezinárodní společenství spolupracovalo na vytvoření globálních norem a pravidel pro využívání těchto technologií v ozbrojených silách. To zahrnuje rozvoj mezinárodních dohod, které definují přijatelné použití autonomních zbraní a zajišťují, že všechny operace budou prováděny v souladu s mezinárodním humanitárním právem a etickými standardy. Jen tak lze zajistit, že výhody těchto technologií převáží nad jejich potenciálními riziky.

Jinými slovy, je jen otázkou času, než americká armáda (a pravděpodobně i armády Číny, Ruska a možná několika dalších mocností) bude schopna nasadit roje autonomních zbraňových systémů vybavených algoritmy, které jim umožní komunikovat mezi sebou a společně vybírat nové, nepředvídatelné bojové manévry během pohybu. Každý účastnící se robotický člen takových rojů by dostal úkol mise („najít a zničit všechny nepřátelské radary a protiletadlové raketové baterie umístěné v těchto [specifikovaných] geografických souřadnicích“), ale nedostal by přesné instrukce, jak toho dosáhnout. To by jim umožnilo vybrat si vlastní bojové taktiky po konzultaci mezi sebou. Pokud bychom se měli řídit omezenými testovacími daty, která máme k dispozici, mohlo by to znamenat využití velmi netradičních taktik, na které by lidští piloti a velitelé nepřišli (a byli by schopni je napodobit).

Sklon takových propojených systémů AI k zapojení do nových, neplánovaných výsledků je to, co počítačoví experti nazývají „emergentní chování“. Jak vysvětluje ScienceDirect, digest vědeckých časopisů, „Emergentní chování lze popsat jako proces, při němž větší vzory vznikají prostřednictvím interakcí mezi menšími nebo jednoduššími entitami, které samy o sobě takové vlastnosti nevykazují.“ Ve vojenských termínech to znamená, že roj autonomních zbraní by mohl společně rozhodnout o přijetí bojových taktik, na které nebyly jednotlivé zařízení programovány – možná dosahující úžasných výsledků na bojišti, ale také možná zapojení do eskalačních aktů nezamýšlených a nepředvídaných jejich lidskými veliteli, včetně zničení kritické civilní infrastruktury nebo komunikačních zařízení používaných pro jaderné i konvenční operace.

V tuto chvíli je samozřejmě téměř nemožné předpovědět, co by cizí skupinový rozum mohl udělat, pokud by byl vyzbrojen několika zbraněmi a odříznut od lidského dohledu. Předpokládá se, že takové systémy by byly vybaveny záchrannými mechanismy vyžadujícími, aby se vrátily na základnu, pokud by došlo ke ztrátě komunikace s jejich lidskými dozorci, ať už kvůli nepřátelskému rušení nebo z jakéhokoli jiného důvodu. Kdo ví, jak by takové myslící stroje fungovaly v náročných reálných podmínkách, nebo zda by skupinový rozum byl schopen takové direktivy překonat a vydat se na vlastní pěst.

Co pak? Mohli by se rozhodnout pokračovat v boji za hranice svého předprogramování, vyvolávající neúmyslnou eskalaci – dokonce, možná, i jaderného druhu? Nebo by se rozhodli zastavit útoky na nepřátelské síly a místo toho zasahovat do operací přátelských sil, možná na ně útočit a devastovat je (jako Skynet ve slavné sci-fi filmové sérii Terminátor)? Nebo by se mohli zapojit do chování, které by, k lepšímu či horšímu, bylo zcela mimo naši představivost?


Zvláště pozoruhodná je závěrečná zpráva, kterou v únoru 2021 vydala Národní bezpečnostní komise pro umělou inteligenci. Spolupředsedali jí Robert Work (který se vrátil do CNAS po svém působení v Pentagonu) a Eric Schmidt, bývalý generální ředitel společnosti Google. Komise doporučila rychlé využití AI americkou armádou, aby zajistila vítězství v jakémkoliv budoucím konfliktu s Čínou a/nebo Ruskem. Vyjádřila však také obavy z potenciálních nebezpečí bitev plných robotů.

„Neomezené globální používání takových systémů potenciálně riskuje neúmyslnou eskalaci konfliktů a nestabilitu krize,“ poznamenala zpráva. K tomu by mohlo dojít z několika důvodů, včetně „kvůli výzvám a netestovaným složitostem interakce mezi AI umožněnými a autonomními zbraňovými systémy [tj. emergentními chováními] na bojišti.

„Vzhledem k tomuto nebezpečí dospěla k závěru, že „země musí přijmout opatření, která se zaměřují na snížení rizik spojených s AI a autonomními zbraňovými systémy.“

Když nás přední zastánci autonomních zbraní varují před nezamýšlenými nebezpečími, která představují jejich použití v bitvě, měli bychom být skutečně znepokojeni. I když nemáme matematické dovednosti k pochopení emergentního chování v AI, mělo by být zřejmé, že lidstvo by mohlo čelit značnému riziku pro svou existenci, pokud by zabíjecí stroje získaly schopnost myslet samostatně. Možná by všechny překvapily a rozhodly se převzít roli mezinárodních mírotvorců, ale vzhledem k tomu, že jsou navrhovány k boji a zabíjení, je mnohem pravděpodobnější, že by se mohly rozhodnout plnit tyto instrukce nezávislým a extrémním způsobem.

Pokud by k tomu došlo, nemusel by být nikdo, kdo by mohl na náhrobní kámen lidstva umístit nápis RIP.
Tato perspektiva představuje kritickou potřebu pro globální společenství, aby se aktivně zapojilo do diskuse a regulace vývoje a nasazení autonomních zbraňových systémů. Vyvstává zde zásadní otázka: Jak můžeme vyvíjet a nasazovat tyto technologie tak, aby sloužily k ochraně a podpoře lidského života, místo aby ohrožovaly jeho samotnou podstatu?

Je nezbytné, aby byla vytvořena pevná a transparentní mezinárodní pravidla a dohody, které stanoví etické a právní rámce pro použití AI a autonomních systémů ve vojenském kontextu. To zahrnuje nejen omezení na určité typy autonomních zbraní, ale také vytvoření mechanismů pro zajištění odpovědnosti a kontroly, které zabrání nežádoucím a nebezpečným akcím.

Kromě toho je klíčové investovat do výzkumu a vývoje technologií, které zvyšují bezpečnost a spolehlivost AI systémů, a zajistit, že tyto systémy jsou schopné fungovat v souladu s mezinárodním humanitárním právem a lidskými hodnotami. To zahrnuje rozvoj "etické AI", která může rozhodovat s ohledem na morální a etické principy, a zajištění, že autonomní systémy mají robustní záchranné mechanismy, které umožní lidský zásah v případě selhání nebo nečekaných situací.