A statikus dokumentumok nem elegek: így építhető ki a banki AI-ügynökök memóriája

Schäffer Krisztián, az ARDINSYS szakértője rámutatott, hogy a nyelvi modellek (LLM) „állapottal nem rendelkező” matematikai függvényekként működnek. Ez azt jelenti, hogy két hívás között alapvetően nem őriznek meg információt, ezért a beszélgetési előzményeket minden alkalommal újra el kell küldeni a rendszernek; a döntéshozatalhoz szükséges bizalmas adatokat pedig továbbítani kell a modellt kiszolgáló szerverek felé. Az ágensek úgynevezett eszközhívásokon (tool calling) keresztül folytatnak önmagukkal párbeszédet a kontextusablakon belül, amíg el nem érik a válaszhoz szükséges információmennyiséget.

A szakember az emberi elme memóriatípusait – munkamemória, epizodikus, szemantikus és procedurális memória – vette alapul a Volumentor munkakörnyezet architektúrájának kialakításakor. A rendszerben független „kurátor ágensek” elemzik a felhasználói interakciókat. Ha ezek az ágensek új információt vagy visszajelzést azonosítanak, azt automatikusan egy központi, Git-alapú Markdown-fájlokban tárolt tudástárba vezetik át, miközben az elavult adatokat archiválják. Ez a folyamatosan frissülő „törzsi tudás” biztosítja, hogy a mesterséges intelligencia ne csak statikus forráskódokból vagy konfigurációkból dolgozzon.

A vállalati implementáció során kritikus szempont az architektúra függetlenségének megőrzése. Mivel a mögöttes technológia gyorsan változik, a rendszereket úgy kell felépíteni, hogy az egyes modellek bármikor lecserélhetők legyenek, elkerülve a hosszú távú beszállítói kiszolgáltatottságot. A hatékonyságot továbbá egy asszociatív réteg is segíti, amely a beszélgetés indításakor „gyors irányjelző morzsákat” szúr be a kontextusba, segítve az ágenst a releváns irány meghatározásában.