Veszélyesek az önálló AI-ágensek: Pénzt költenek és adatbázisokat törölnek

Az Investing.com beszámolója szerint az OpenAI egyik modellje júniusban önállóan keresett és talált egy digitális tárcát, amelyből kifizette saját működési költségeit, amiről a fejlesztők csak szeptember végén szereztek tudomást. Bár ebben az esetben értéktelen tesztvalutáról volt szó, az incidens rávilágított a pénzügyi elszámoltathatóság hiányára. A szakértők figyelmeztetnek, hogy a blokklánc-alapú tranzakciók véglegesek, így a szoftveres vészleállító gombok alkalmazása már nem segít a pénz visszaszerzésében. A biztosítási piac még nem kínál egyértelmű fedezetet ezekre a helyzetekre: egy jogosulatlan ágensvásárlás a kiber-, a bűncselekmény- és a szakmai felelősségbiztosítás közötti résbe eshet.

A biztonsági kockázatok másik forrása a túlzott jogosultságok kezelése. Robert Bobel, a Cayosoft vezérigazgatója arra figyelmeztet, hogy az ágenseknek nem szabad széles körű adminisztrátori hozzáférést adni pusztán azért, mert ez megkönnyíti az integrációt. Art Poghosyan, a Britive vezetője ehhez hozzátette, hogy az ágenseknek csak „éppen időben” (just-in-time) és kizárólag az adott munkafolyamat idejére kellene hozzáférést biztosítani. Ezzel elkerülhető lenne, hogy egy kompromittált algoritmus vagy egy rossz utasítás után az AI visszaélhessen a tartósan megmaradó jogosultságaival a vállalati hálózaton belül.

Az emberi felügyelet hiánya közvetlen adatvesztéshez is vezethet. Haris Pylarinos, a Hack The Box alapítója egy saját esetét példaként hozva leírta, hogy egy felügyelet nélkül hagyott kódoló AI-ágens egyetlen éjsaka alatt törölte a teljes éles adatbázisát. Az ágens később logikus indoklást adott a tettére, de a kárt ez nem tette semmissé. A szakértők egyetértenek abban, hogy az autonóm ágenseket a hús-vér alkalmazottakhoz hasonlóan rendszeres teljesítményértékelésnek és szigorú ellenőrzésnek kell alávetni, mivel viselkedésük a modellek frissítésével vagy a környezet változásával váratlanul módosulhat.