Construiește setul de probă
Alege 20 de cereri anonimizate și grupează-le în cazuri obișnuite, ambigue și cu date lipsă. Într-o probă pentru facturi, include valori cu separator zecimal diferit, furnizori cu nume asemănătoare și fișiere cu o pagină întoarsă. Păstrează și răspunsul verificat, cu referința către locul din document.
Fixează promptul și sursele înainte să schimbi modelul. Pentru un sistem cu căutare în documente, înregistrează și fragmentele găsite. Când lipsește un câmp, poți afla astfel dacă textul relevant a ajuns în context sau dacă modelul l-a interpretat greșit după ce l-a primit.
Notează erorile după consecință
Separă câmpurile corecte, câmpurile omise și câmpurile inventate. Într-o fișă de achiziții, o greșeală la termenul de livrare poate avea o consecință mai mare decât o literă greșită într-o observație. Decide ponderile înainte de probă și păstrează rezultatul brut pentru a înțelege scorul.
Evaluează și forma. Dacă alt program va importa răspunsul, testează structura, tipurile și valorile admise. În cazul unui obiect JSON, validează-l în cod și trimite la revizie cazurile invalide. Calculează câte exemple trec din prima și câte au nevoie de o corecție manuală.
Măsoară viteza din perspectiva utilizatorului
Cronometrează timpul până la începutul răspunsului, durata răspunsului complet și timpul de verificare. Repetă la rece, după ce modelul a fost încărcat și cu două solicitări apropiate, dacă acesta este ritmul echipei. Înregistrează configurația, memoria disponibilă și dimensiunea contextului.
O listă rapidă cu câmpuri greșite costă timp în etapa următoare. Compară durata până la un rezultat acceptat, incluzând reluările. Un model mai lent care reduce corecturile poate avea un flux de lucru mai scurt. Judecă-l după intervalul pe care îl observi în probă.
Păstrează o probă pentru actualizări
Înainte de schimbarea motorului sau a modelului, rulează o parte dintre exemplele de acceptanță pe versiunea folosită. Rulează exact aceleași exemple după schimbare și examinează cazurile în care rezultatul a coborât sub prag. Păstrează aceleași limite de timp și aceeași configurație de căutare.
Completează corpusul cu erori întâlnite în lucru și documentează de ce le-ai inclus. Folosește exemple anonimizate și păstrează separat cazuri pe care le verifici numai la final. Acest al doilea lot arată dacă regulile noi ajută și la întrebări pe care echipa nu le-a folosit în reglaje.
În practică
Un tabel simplu poate avea câmpurile model, versiune, exemplu, corectitudine, sursă, timp și intervenție manuală. Alege cinci cazuri critice și cere o trecere completă înainte de a extinde pilotul. Păstrează testul pe calculatorul unde va rula aplicația, ca măsurătorile să fie comparabile.