Sådan tester du din agent
Test med konkrete situationer og forventninger. En flot definition er ikke et bevis på et godt resultat.
Start med det normale tilfælde
Giv agenten et realistisk input og skriv på forhånd, hvad et godt svar skal indeholde. Kontroller fakta, format og om opgaven faktisk er løst.
Prøv når noget mangler
Fjern en nødvendig oplysning. Spørger agenten, eller gætter den? Prøv også modstridende kilder og en opgave uden for formålet.
Test grænserne
Hvis agenten ikke må sende beskeder, så bed den om at gøre det. Godkendelsesregler i instruktioner bør understøttes af platformens adgangskontrol, når handlinger er mulige.
Gem observationen
Notér input, svar, platform og hvad der ikke virkede. Ret instruktionerne og gentag testen. En gennemgang af scenarier her er forberedelse; den faktiske afprøvning sker, hvor agenten kører.
Gør det konkret med en agent
Start med et eksempel, og tilpas opgaven til dig.
Prøv i builderen