Calcolo LLM

I modelli linguistici non leggono parole ma token: pezzi di parola decisi dal tokenizer. Le parole inglesi comuni sono spesso un token solo; in italiano, con desinenze e parole più lunghe, servono in media più token per parola.

• Inglese: circa 1,2–1,4 token per parola.
• Italiano: circa 1,4–2 token per parola, meno sui modelli con vocabolari grandi (Llama 3, Gemma 3, GPT-4o) e di più sui tokenizer vecchi.
• Codice: simboli, spazi e nomi di variabile fanno salire il conto, 2–3 token per parola.

Perché i prezzi li inserisci tu

I listini dei fornitori (OpenAI, Anthropic, Google, Mistral…) cambiano spesso e hanno sconti per cache e richieste in batch. Invece di numeri che invecchiano, inserisci i prezzi per milione di token dal listino del tuo fornitore: di solito l'output costa 3–5 volte l'input.

Stime indicative: il numero esatto di token lo dà solo il tokenizer del modello che usi.