Kwestia tego, w jaki sposób agent AI podejmuje kolejne decyzje, dotyczy samego serca jego architektury. U podstaw leży tak zwana pętla percepcja–planowanie–działanie, w której program najpierw odbiera informacje z otoczenia, następnie analizuje dostępne możliwości, a wreszcie realizuje wybraną akcję. Cały ten obieg powtarza się wielokrotnie, aż do uzyskania zamierzonego efektu.
Trzonem tego procesu jest model językowy, który pełni rolę własnego głosu doradczego agenta. To on odczytuje instrukcje użytkownika, rozbija złożone zadanie na drobniejsze podzadania i sugeruje kolejność ich wykonania. Otoczenie modelu stanowią pomocnicze narzędzia – wyszukiwarki, kalkulatory, interfejsy API – które agent wywołuje wtedy, gdy wymaga konkretnych danych spoza swojej wiedzy treningowej.
Interesującym elementem architektury jest tak zwana pamięć robocza, w której agent przechowuje kontekst bieżącego zadania. Dzięki niej nie traci wątku nawet wtedy, gdy procedura rozciąga się na wiele etapów i wymaga przełączania między różnymi źródłami informacji. To dokładnie ta umiejętność odróżnia agenta od podstawowego skryptu, który odtwarza jedynie wcześniej ustaloną listę poleceń.
Oddzielną sprawą pozostaje sposób oceny własnych działań. Dobrze skonstruowany agent potrafi zidentyfikować, że otrzymany wynik nie zgadza się od oczekiwanego, i cofnąć się do poprzedniego etapu, by spróbować innej ścieżki. Taka autokorekta przybliża działanie maszyny do ludzkiego zwyczaju sprawdzania własnej pracy przed jej złożeniem.