Jezični model može napisati uvjerljiv odgovor bez pristupa stvarnom stanju kupca, zalihe, ugovora ili radnog naloga. Poslovni korisnik ne treba samo dobar tekst; treba odgovor koji razlikuje plan od izvršenja, važeći dokument od stare verzije i preporuku od odobrene transakcije. Taj kontekst obično živi u ERP-u i povezanim sustavima.
Model pritom ne treba dobiti neograničen pristup ERP-u. Naprotiv, dobar dizajn priprema ograničen kontekst za konkretan zadatak. Korisnik koji smije vidjeti svoj portfelj kupaca ne treba kroz AI dobiti pristup cijeloj bazi. Agent koji smije otvoriti zadatak ne treba pravo samostalno promijeniti financijsku transakciju.
Prva razina je odgovor s izvorom: AI pronalazi i objašnjava, a korisnik djeluje. Druga razina je preporuka: sustav priprema sljedeći korak i prikazuje razloge, ali čovjek potvrđuje. Treća razina je ograničena radnja: agent izvršava unaprijed dopušten korak i zaustavlja se kada nedostaje uvjet ili se pojavi iznimka.
Korisniku je često najvažnije vidjeti koji su podaci korišteni, koji su uvjeti primijenjeni, što sustav nije pronašao i tko je potvrdio radnju. OECD načelo transparentnosti naglašava informacije primjerene kontekstu, uključujući izvore ulaza i čimbenike koji su doveli do preporuke kada je to izvedivo i korisno. Za poslovni proces to se pretvara u jasan trag izvora, pravila i odgovornosti.
Izvor: OECD.AI: načelo transparentnosti i objašnjivosti — Načelo se koristi kao javni governance okvir, ne kao tvrdnja o certificiranosti ORKA rješenja.
ERP ne čini AI automatski pouzdanim. Daje mu mjesto na kojem možemo urediti činjenice, ovlasti i posljedice prije nego što odgovor postane radnja.