Ce descarci înainte de lucru
Alege un model cu instrucțiuni, verifică licența pentru utilizarea propusă și păstrează identificatorul exact al versiunii. Pentru llama.cpp, fișierul GGUF conține modelul într-un format pe care motorul îl poate încărca direct. Unele familii sau variante multimodale au fișiere suplimentare. Consultă descrierea versiunii înainte să le copiezi pe un sistem izolat.
Pe un calculator cu acces la internet pregătești motorul, modelul și dependențele necesare. Dacă vei căuta în documente, inventariază separat programul de indexare și eventualul model de embeddings. Include și instrucțiunile pentru recrearea mediului, deoarece o instalare refăcută în grabă poate trage alte versiuni.
Cum estimezi memoria
Cuantizarea reduce numărul de biți folosiți pentru reprezentarea multor ponderi ale modelului. Un fișier mai mic poate face posibilă rularea pe un calculator obișnuit. Dimensiunea de pe disc reprezintă o parte a bugetului de memorie. Motorul, cache-ul pentru context și componentele active ale sistemului consumă și ele resurse.
Începe cu un model pe care îl poți porni cu marjă. Măsoară apoi un prompt scurt și unul apropiat de lungimea reală. Dacă extinzi contextul pentru documente mai lungi, verifică iar memoria, viteza și cât timp așteaptă colegul până apare primul răspuns. Compară două variante de cuantizare cu același set de întrebări.
Unde pot pleca datele
Verifică setările furnizorului modelului și pe cele ale aplicației. Ollama documentează un mod cu funcțiile cloud dezactivate. O aplicație care îl apelează poate avea în continuare căutare web, embeddings de la distanță sau jurnale sincronizate. Notează fiecare conexiune necesară pentru flux și ține serviciul de probă pe adresa locală.
Fișierele de intrare și răspunsurile intermediare au nevoie și ele de o destinație controlată. Folosește un dosar de lucru cu acces limitat și verifică dacă indexul poate fi șters la finalul experimentului. Pentru comparații, pregătește un lot în care ai înlocuit datele personale cu valori fictive.
Proba fără internet
După ce ai pregătit toate componentele, pornește sistemul de test fără acces la internet și rulează sarcina completă. Dacă un pas se oprește, înregistrează ce dependență încearcă să încarce. Verifică și ce se întâmplă după repornire, când un model poate trebui citit iar de pe disc.
Înregistrează versiunea motorului și modelului, setările de context, durata și erorile. Un rezultat reproductibil te ajută să stabilești dacă un calculator mai puternic aduce un câștig relevant sau dacă volumul de date trebuie împărțit în fragmente mai bine alese.
În practică
Fă o probă cu zece fișiere de câte o pagină. Cere câte două câmpuri verificabile din fiecare și salvează rezultatul local. Repetă după deconectare și repornire, apoi verifică atât diferențele din tabel, cât și timpul necesar pentru a ajunge la un răspuns complet.