Kwestia tego, w jaki sposób agent AI podejmuje kolejne decyzje, dotyczy samego serca jego architektury. U podstaw leży tak zwana pętla percepcja–planowanie–działanie, w której program najpierw rejestruje informacje z otoczenia, następnie rozkłada na czynniki dostępne możliwości, a wreszcie wykonuje wybraną akcję. Cały ten cykl odtwarza się kilkakrotnie, aż do uzyskania zamierzonego efektu.
Sercem tego procesu jest model językowy, który pełni rolę własnego głosu doradczego agenta. To on odczytuje instrukcje użytkownika, rozbija złożone zadanie na drobniejsze podzadania i proponuje kolejność ich wykonania. Środowisko modelu stanowią pomocnicze narzędzia – wyszukiwarki, kalkulatory, interfejsy API – które agent wywołuje wtedy, gdy wymaga konkretnych danych spoza swojej wiedzy treningowej.
Ciekawym składnikiem architektury jest tak zwana pamięć operacyjna, w której agent przechowuje kontekst bieżącego zadania. Dzięki niej nie traci nici nawet wtedy, gdy procedura rozciąga się na kilka etapów i potrzebuje przeskakiwania między różnymi źródłami informacji. To właśnie ta umiejętność wyróżnia agenta od podstawowego skryptu, który wykonuje jedynie z góry ustaloną listę poleceń.
Oddzielną sprawą pozostaje mechanizm ewaluacji własnych działań. Odpowiednio skonstruowany agent potrafi rozpoznać, że otrzymany wynik odbiega od zamierzonego, i cofnąć się do poprzedniego etapu, by podjąć próbę alternatywnej ścieżki. Taka samokorekta przybliża działanie maszyny do ludzkiego zwyczaju weryfikowania własnej pracy przed jej złożeniem.