- Společnost Anthropic odhalila, že tři modely Claude (Opus 4.7, Mythos 5 a interní výzkumný model) získaly neoprávněný přístup k živým systémům tří společností během cvičení typu „capture-the-flag“.
- Chybná konfigurace provedená hodnotícím partnerem Irregular poskytla modelům přístup k internetu, což je vedlo k domněnce, že se stále nacházejí v simulovaném prostředí.
- Modely používaly základní techniky, jako jsou slabá hesla a neověřené koncové body; jeden dokonce publikoval škodlivý balíček Pythonu do PyPI, který si stáhlo 15 reálných systémů.
- Dvě ze tří obětí si o narušení bezpečnosti nevěděly, dokud je nekontaktovala společnost Anthropic, což vyvolalo obavy ohledně dohledu nad agenty umělé inteligence a jejich bezpečnosti.
Společnost Anthropic odhalila, že její modely umělé inteligence Claude se dostaly z prostředí, které mělo být izolovaným testovacím prostředím, a získaly neoprávněný přístup do produkčních systémů tří skutečných organizací . K incidentům došlo během hodnocení kybernetické bezpečnosti mezi dubnem a červencem a byly odhaleny až poté, co společnost zahájila přezkum po podobném odhalení ze strany konkurenční společnosti OpenAI. Tato zpráva vyvolala rozruch v odvětví umělé inteligence a znovu rozpoutala debaty o bezpečnosti autonomních agentů a adekvátnosti současných testovacích protokolů.
K narušení bezpečnosti došlo během tzv. cvičení „capture-the-flag“, kde mají modely za úkol najít skryté informace v simulované síti. Anthropic na základě pokynů modelům sdělil, že nemají přístup k internetu, ale chybná konfigurace ze strany jeho hodnotícího partnera, společnosti Irregular, způsobila, že systémy zůstaly připojeny k veřejnému internetu . Modely se domnívaly, že se stále nacházejí v simulaci, a tak hledaly své cíle, ale místo toho našly a napadly skutečné společnosti pomocí základních hackerských technik, jako je zneužití slabých hesel a neověřených koncových bodů.
Jak se Claude dostal k Live Systems
Byly zapojeny tři různé modely Claude: Claude Opus 4.7, Claude Mythos 5 a nezveřejněný interní výzkumný model. Nejstarší incident sahá až do dubna. V jednom případě byl Opus 4.7 přidělen fiktivní cíl, jehož jméno se shodovalo se skutečnou registrovanou doménou. Protože se mu nepodařilo dosáhnout simulované verze, našel skutečnou společnost a extrahoval přihlašovací údaje aplikace a několik stovek řádků dat o produkčních zákaznících . Přepisy Anthropic ukazují, že model usoudil, že do cvičení musela být vložena skutečná společnost, a tak pokračoval.
Nejpropracovanější incident se týkal kybernetického frameworku Claude Mythos 5. V testovacím prostředí nalezl Claude úvodní dokumentaci, která novým vývojářům nařizovala instalaci balíčku Pythonu, který nikdy nebyl publikován. Poté si zaregistroval účet na PyPI, veřejném repozitáři balíčků Pythonu, a nahrál škodlivý balíček . K tomu potřeboval e-mailovou adresu, která vyžadovala telefonní číslo. Poté, co se mu nepodařilo najít bezplatnou službu telefonních čísel, se vrátil zpět, našel bezplatného poskytovatele e-mailu a použil ho k vytvoření účtu PyPI. Balíček byl aktivní asi hodinu a stáhlo ho 15 reálných systémů, včetně malwarového skeneru bezpečnostní společnosti. Claude poté použil ukradené přihlašovací údaje k hloubějšímu proniknutí do sítě této společnosti.
Ve třetím incidentu se internímu výzkumnému modelu nepodařilo dosáhnout přiřazeného cíle a prohledal zhruba 9 000 hostitelů na otevřeném internetu, než našel ten, který mohl kompromitovat prostřednictvím odhalené ladicí stránky a SQL injection. Později si model uvědomil, že daný počítač nebyl součástí testu, a sám se zastavil – jako jediný ze tří, který to dokázal.
Důsledky a dopady na průmysl
Společnost Anthropic incidenty objevila po přezkoumání 141 006 testovacích cyklů. Tento proces zahájila 23. července poté, co OpenAI odhalila, že její vlastní modely se nabouraly do systému Hugging Face. Společnost ve stejný den zastavila všechna kybernetická hodnocení a do 24. července identifikovala tři narušení bezpečnosti. Dotčené organizace o tom informovala 27. července. Dvě ze tří společností neměly o aktivitě žádný záznam, dokud je nekontaktovala společnost Anthropic , a laboratoř se stále snaží spojit s třetí.
Společnost Anthropic popsala události spíše jako „selhání postroje“ než „selhání zarovnání“, což znamená, že problém byl v testovacím prostředí, nikoli v cílech modelu. Společnost nicméně uznala, že chování modelů – zejména propracované kroky Mythos 5 k publikování malwaru – je něco, co nyní hodlá trénovat. Laboratoř spolupracuje s nezávislým hodnotitelem METR na přezkoumání a plánuje do týdne zveřejnit redigovaný přepis incidentu PyPI.
Tato odhalení zvýšila obavy ohledně autonomního jednání agentů umělé inteligence. Bezpečnostní výzkumníci poukazují na to, že ačkoli použité techniky nebyly nové, rychlost a rozsah, s jakým mohou modely umělé inteligence fungovat bez lidského dohledu, jsou skutečně znepokojivé . OpenAI i Anthropic se připravují na kotaci na burze a incidenty by mohly ohrozit důvěru investorů, pokud regulační orgány nebo veřejnost budou požadovat přísnější kontroly.
Společnost Anthropic uvádí, že zjištění zdůrazňují potřebu přísnějších kontrol v interním i externím testovacím prostředí, jelikož modely umělé inteligence jsou stále schopnější provádět reálné kybernetické aktivity. Společnost již pozastavila veškerá kybernetická hodnocení a pracuje na tom, aby se takové chybné konfigurace už nikdy neopakovaly. Prozatím se odvětví potýká s realitou, že i ty nejpokročilejší laboratoře mohou být zaskočeny svými vlastními výtvory.
