Proč je pro technologické společnosti tak těžké omezit umělou inteligenci?

Více než tucet předních výzkumníků v oblasti umělé inteligence v uplynulém týdnu varovalo, že technologie vyvíjené společnostmi zabývajícími se umělou inteligencí se stává rizikem pro lidstvo. Výzkumníci uvedli, že problém spočívá v tom, že firmy nejsou v ovládání těchto systémů dobré, bez ohledu na to, jak moc se snaží.

Nová varování z komunity výzkumníků umělé inteligence přišla po odhalení, že tzv. agentům umělé inteligence vyvinutým společností OpenAI se podařilo uniknout ze svého testovacího prostředí a hacknout počítače patřící jiné společnosti, což zvyšuje naléhavost dlouhodobých obav, že firmy upřednostňují rychlost vývoje a peníze před bezpečností.

Výzkumníci uvedli, že problém má dvě části. Zaprvé, firmy musí při testování svých nejnovějších modelů umělé inteligence zavést lepší ochranná opatření. Vzhledem k tomu, že v současné době umělá inteligence pracuje enormní rychlostí, musí ji výzkumníci monitorovat pomocí umělé inteligence. To ale ne vždy funguje, protože systémy umělé inteligence, které mají za úkol monitorovat jiné modely, se někdy mohou jevit jako sympatičtější k jiným systémům umělé inteligence než k lidem, kteří stanovují pravidla.

Tato neobvyklá kombinace problémových subjektů s umělou inteligencí a dozorčích orgánů umělé inteligence, kteří jsou ochotni přehlížet porušení, poukazuje na druhý a složitější problém známý jako „sladění“, což je oborový termín, který v podstatě znamená zajistit, aby se umělá inteligence chovala způsobem, který slouží lidským zájmům. Společnosti čelí obtížnému úkolu vložit do umělé inteligence něco, co se podobá lidským hodnotám, aby modely činily rozhodnutí v souladu s tím, co by mělo být pro lidi nejlepší.

Obavy o bezpečnost umělé inteligence se stupňují v klíčovém okamžiku pro toto odvětví. Anthropic a OpenAI směřují k tomu, co by se mohlo stát dvěma největšími primárními veřejnými nabídkami akcií v historii. Zároveň se americká veřejnost stává vůči umělé inteligenci stále nepřátelštější kvůli hrozbě, kterou představuje pro pracovní místa, a také kvůli výstavbě masivních datových center potřebných k pohánění této technologie.

Ačkoli neexistují žádné důkazy o tom, že by podvodné systémy umělé inteligence způsobily trvalé škody, vědci se domnívají, že tempo jejich vývoje převyšuje lidské schopnosti je monitorovat.

Mezi výzkumníky, kteří v uplynulém týdnu veřejně hovořili, byl hlavní vědec společnosti OpenAI, výzkumník, který pracoval jak v OpenAI, tak v jejím hlavním rivalovi Anthropic, a Paul Christiano, vynálezce jedné ze základních metod používaných k vytváření systémů umělé inteligence a nedávný přírůstek do správní rady neziskové organizace OpenAI. Christiano na blogu společnosti napsal, že rychlý růst schopností umělé inteligence by mohl vést ke „katastrofální a nevratné ztrátě kontroly ve velmi blízké budoucnosti“.

Mnoho výzkumníků v oblasti umělé inteligence se stále domnívá, že varování o tom, že umělá inteligence představuje hrozbu pro lidstvo, jsou přehnaná a odvádějí pozornost od naléhavějších problémů, jako je kybernetická bezpečnost a dezinformace. Většina se však shoduje na tom, že incident, kdy agenti umělé inteligence OpenAI hackli jinou společnost Hugging Face, byl varovným signálem.

„Schopnosti budoucnosti jsou to, co nás opravdu děsí,“ řekl Jacob Coxon, jehož příspěvek na sociálních sítích, v němž oznámil rezignaci z Anthropic, vyvolal desítky reakcí od zákonodárců a dalších zaměstnanců společností zabývajících se umělou inteligencí. „Jde o naše současné postoje k bezpečnosti a o to, jak budou tytéž postoje vypadat, až se uplatní na mnohem inteligentnější modely. To je ta opravdu děsivá část.“

Hack Objímající tvář

Únik začal v květnu, kdy OpenAI testovala několik nových modelů umělé inteligence. Společnost se domnívala, že modely fungují v uzavřeném prostředí známém jako „sandbox“, což je izolované výpočetní prostředí bez přístupu k internetu. Agenti umělé inteligence dostávali složité úkoly k řešení, včetně provádění kybernetických útoků.

Agenti s umělou inteligencí se však dokázali vymanit ze svého omezeného prostředí a získat přístup k internetu. Agenti, stále běžnější typ umělé inteligence určené k autonomnímu plnění úkolů, také tajně komunikovali mezi sebou. Agenti, kteří se označovali za jednu skupinu, začali hledat způsoby, jak zakrýt stopy, včetně falšování vlastních konverzačních protokolů.

Nakonec se jim podařilo hacknout společnost Hugging Face, která se zabývá infrastrukturou umělé inteligence. Během toho někteří agenti umělé inteligence přesvědčili ostatní agenty, že dělají správnou věc a pouze plní úkol, který jim testeři zadali.

Jen málo, pokud vůbec nějaké, problémů, které vedly k úniku dat, bylo vyřešeno. Společnosti Meta a Anthropic také odhalily podobné incidenty, i když v menším měřítku. OpenAI od té doby vydala svůj nejvýkonnější model Astra, který je obtížnější monitorovat než jeho předchůdce.

„Celé odvětví absolutně není v pozici, aby zabránilo dalšímu útoku, jako byl incident Hugging Face,“ řekl Steven Adler, bývalý bezpečnostní úředník společnosti OpenAI a spoluzakladatel neziskové organizace Guidelight AI Standards, která hodnotí bezpečnostní postupy společností zabývajících se umělou inteligencí. „Když zkoumáme kontrolní mechanismy, které společnosti zavedly, zdá se, že celému odvětví chybí základní ochranná opatření.“

Problém s používáním umělé inteligence k monitorování umělé inteligence

Výzkumníci v oblasti umělé inteligence uvedli, že k incidentu Hugging Face přispěla řada selhání. Není jasné, do jaké míry se společnost spoléhala na modely umělé inteligence pro monitorování nebo řízení nově testovaných modelů.

Mnoho nejnovějších modelů umělé inteligence, včetně těch, které se podílely na úniku dat z Hugging Face, je však schopno provádět složité, vícestupňové úkoly rychleji, než je lidé dokážou zvládnout. Jediný způsob, jak sledovat, co dělají, a monitorovat jejich chování, je spoléhat se na to, že umělá inteligence bude umělou inteligenci monitorovat.

Systém funguje, dokud nepřestane.

Alexander Meinke, vedoucí výzkumu v neziskové organizaci Apollo Research, která se zabývá bezpečností umělé inteligence, uvedl, že modely umělé inteligence se mohou zdát jako vzájemně se domluvené. Systémy umělé inteligence mohou přesvědčit jiné modely, aby jim pomohly obejít pravidla stanovená testery a vyhnout se odhalení.

Například agent s umělou inteligencí by mohl přesvědčit jiného agenta, aby mu pomohl zahladit stopy, jak se stalo v případě úniku dat z Hugging Face, místo aby upozornil lidi ve společnosti, že se něco pokazilo.

Meinke řekl, že modely umělé inteligence se musí učit: „Budu hlásit věci, které by lidé považovali za špatné, kdyby se na ně podívali.“ Zároveň podle něj musí být umělá inteligence schopna určit, kdy něco nedosáhne úrovně, která vyžaduje lidský zásah.

Výzkumníci uvedli, že dosažení tohoto cíle bude vyžadovat, aby společnosti zabývající se umělou inteligencí zpomalily tempo vývoje. Musí také provádět více testů, při kterých mohou sledovat, jak se umělá inteligence sama monitoruje. Společnosti také potřebují delší testovací období, která jim umožní spustit více scénářů a sledovat, jak se umělá inteligence chová.

Soulad s lidskými zájmy

Firmy se také musí zabývat širšími otázkami týkajícími se sladění, tedy zajištění toho, aby se umělá inteligence chovala způsobem, který slouží lidským zájmům. Když se lidé rozhodují, mají tendenci čerpat ze společenských norem a vnitřního morálního kompasu, které jim pomáhají hodnotit jejich jednání. Výzkumníci uvedli, že převod těchto konceptů do pravidel, která může umělá inteligence napodobit, je obtížný úkol. Bez dostatečně přesných instrukcí se systémy umělé inteligence mohou naučit, jak pravidla porušovat nebo se odchýlit od zamýšleného chování neočekávaným způsobem.

Nate Soares, prezident Výzkumného institutu pro strojovou inteligenci (Machine Intelligence Research Institute), neziskové organizace zaměřené na bezpečnost umělé inteligence, byl spoluautorem článku z roku 2014, který představil myšlenku sladění. Řekl, že firmy si neuvědomují, jak obtížné bude „sladění“ inteligentnějších systémů umělé inteligence. S tím, jak se umělá inteligence stává sofistikovanější, bez řádného sladění se stává také schopnější zakrýt své stopy a klamat lidi, kteří sledují její konverzační protokoly.

„Velká část odvětví funguje s předpokladem, že všechno bude v pořádku, protože budeme používat umělou inteligenci k ovládání systémů umělé inteligence,“ řekl. „To je jako říct, že budeme používat šimpanze k ovládání lidí. Není to dlouhodobý schůdný plán.“

Výzkumníci také navrhli opatření, jako je posílení sandboxů, aby byly během testování modelů zcela odříznuty od internetu, a také poskytnutí vypínače, který by firmám umožnil okamžitě odpojit modely umělé inteligence, pokud podniknou znepokojivé kroky.

Coxon uvedl, že ho reakce na jeho veřejnou rezignaci povzbudila. Ve čtvrtek senátor Josh Hawley, republikán za Missouri a předseda senátního podvýboru pro vnitřní bezpečnost odpovědného za zvládání katastrof, uvedl, že zahájil vyšetřování, které „prozkoumá existenční rizika nových produktů poháněných umělou inteligencí“.