Cost pe sarcină pentru configurații de model
Valori ilustrative introduse în browser. Nicio înregistrare reală.
Ce demonstrează
Compară costul pe sarcină și costul lunar pentru până la trei configurații, prin API sau cu inferență locală, pornind de la volumul lunar și de la tokenii pe sarcină. Arată care configurație costă cel mai puțin la volumul introdus, calculează punctul de echilibru dintre o configurație locală și una API, întâi față de cea mai ieftină, și arată cum variază costul cu volumul.
Demonstrația
Rezultate calculat în pagină
| Configurație | Cost pe sarcină | Cost lunar | Capacitate pe unitate | Unități necesare |
|---|
Punct de echilibru local–API (întâi față de configurația cea mai ieftină)
Cum funcționează
Pentru o configurație API, costul pe sarcină este tokeni_intrare × preț_intrare / 1.000.000 + tokeni_ieșire × preț_ieșire / 1.000.000, în EUR. Costul lunar este acest cost înmulțit cu volumul lunar.
O configurație locală are un cost lunar fix pe unitate: amortizare, energie și găzduire. O sarcină ocupă o unitate tokeni_intrare / debit_citire_prompt + tokeni_ieșire / debit_generare secunde, cu debite separate, pentru că citirea promptului este de obicei mult mai rapidă decât generarea. Capacitatea unei unități este 2.592.000 de secunde (30 de zile) × gradul de utilizare, împărțită la acest timp. Dacă volumul depășește capacitatea, sunt necesare N = ⌈volum / capacitate⌉ unități. Costul lunar este atunci N × costul unei unități, deci crește în trepte.
Punctul de echilibru este volumul lunar la care costul local devine egal cu cel API: cost_unitate / cost_API_pe_sarcină, rotunjit în sus la o sarcină întreagă. El există doar dacă volumul respectiv încape într-o singură unitate; altfel, configurația locală nu devine niciodată mai ieftină. După primul punct de echilibru, pagina arată și intervalele, imediat după fiecare treaptă, în care API redevine mai ieftină.
Calculatorul nu conține nume de modele, nume de furnizori sau scoruri de calitate. Alegerea unei configurații depinde și de calitatea rezultatelor pe sarcina reală, de confidențialitate și de control. Virtual Soft evaluează separat aceste criterii în consultanță, comparând modele deschise găzduite local cu servicii API din UE.
Ce este real și ce este simulat
Real, calculat în pagină:
- costul pe sarcină și costul lunar pentru fiecare configurație, recalculate la fiecare modificare;
- capacitatea pe unitate, numărul de unități necesare și gradul de încărcare;
- configurația cea mai ieftină la volumul introdus și punctul de echilibru dintre fiecare configurație locală și fiecare configurație API (întâi față de cea mai ieftină), cu intervalele în care avantajul se inversează;
- graficul de sensibilitate și tabelul său;
- fișa tehnică descărcabilă, cu formulele și valorile introduse.
Simulat:
- prețurile, costurile hardware, debitele și gradul de utilizare precompletate sunt valori ilustrative, nu prețuri sau măsurători ale unui furnizor anume;
- modelul presupune debite medii constante, separate pentru citirea promptului și pentru generare, și un cost lunar fix pe unitate; nu include reduceri de volum, cache, costuri de personal sau vârfuri de trafic.
Verificat ultima dată: