Non serve un modello frontier per gestire la tua azienda

L'assunto implicito nella maggior parte delle conversazioni sull'AI è che "AI seria" significhi OpenAI, Anthropic o Google. Si paga a token, i dati viaggiano verso server di terzi e la bolletta API mensile cresce di pari passo con l'utilizzo. Per qualche attività di ragionamento complessa e occasionale, questo compromesso può avere senso. Per le operazioni ripetitive e ad alto volume che mandano avanti concretamente una PMI, di solito non ce l'ha.

Lo stiamo seguendo con attenzione, e un segnale chiaro sta emergendo. Il divario tra modelli frontier e modelli open-weight capaci si sta riducendo rapidamente. Il caso per possedere la propria infrastruttura di inferenza, anche a scala PMI, sta diventando difficile da ignorare.

Cosa significa oggi "AI in-house"

Eseguire l'AI in azienda significava un tempo una workstation GPU sotto la scrivania di qualcuno e un mucchio di script Python tenuti insieme dalla speranza. Questo scenario è cambiato.

Mistral Small 4, rilasciato di recente (https://mistral.ai/news/mistral-small-4/), è un buon esempio di dove siamo arrivati. Gestisce chat, ragionamento strutturato, coding e input visivi in un unico modello. Ha 119 miliardi di parametri totali ma solo 6 miliardi attivi per token, il che mantiene i requisiti di memoria GPU gestibili. Gira su quattro NVIDIA H100 ed è rilasciato sotto licenza Apache 2.0: puoi fare fine-tuning sui tuoi dati e distribuirlo all'interno della tua infrastruttura senza costi per chiamata e senza che i dati escano dall'edificio. Il throughput è 3x superiore al predecessore.

Non si tratta di una curiosità accademica. È un modello pronto per la produzione che puoi installare in un data centre privato o in un rack co-locato, servire a tutte le applicazioni interne contemporaneamente, e pagare una volta in hardware anziché in modo continuativo in fee API.

Dove l'in-house vince chiaramente

Per la maggior parte delle operazioni quotidiane di una PMI, gli argomenti a favore dell'inferenza on-premise sono diretti:

• Prevedibilità dei costi. L'hardware è un costo in conto capitale. Le chiamate API frontier sono un costo operativo variabile che scala con ogni nuovo flusso di lavoro automatizzato. A volume, la matematica si sposta decisamente verso la proprietà.
• Sovranità del dato. Fatture, dati HR, contratti clienti, documenti medici. Nessuno di questi dovrebbe essere in transito verso un'API di terze parti senza una ragione molto valida. Mistral OCR 4 (https://mistral.ai/news/ocr-4/), ad esempio, gira in un singolo container sui propri server e processa documenti a $2 per 1.000 pagine in modalità batch. Cifra che scende a zero con il self-hosting. Ha ottenuto il punteggio più alto sull'OlmOCRBench e i revisori hanno preferito il suo output rispetto a tutti i concorrenti nel 72% dei confronti diretti.
• Latenza e affidabilità. Un modello on-premise non ha round-trip di rete né code su infrastruttura condivisa. Per i flussi di lavoro agentici che effettuano decine di chiamate LLM per task, questo fa la differenza.
• Fine-tuning senza esposizione. Puoi specializzare un modello sui tuoi dati interni senza che questi tocchino una pipeline di addestramento esterna.

Dove i modelli frontier guadagnano ancora il loro costo

Non stiamo sostenendo che GPT-4o o Claude 3.5 non siano mai lo strumento giusto. Non è così.

Per attività di ragionamento genuinamente complesse e non ripetitive, sintesi di ricerca in più passaggi, o tutto ciò che richiede la più ampia conoscenza possibile del mondo, i modelli frontier hanno ancora un vantaggio. E per i team senza capacità di ML operations, l'API gestita è spesso il punto di partenza sensato.

L'errore è usare i modelli frontier come default per tutto, compresi i task ad alto volume e ben definiti dove un modello più piccolo e self-hosted farebbe il lavoro a una frazione del costo.

La domanda reale per una PMI

La domanda onesta sui costi non è "quanto costa GPT-4o per token?". È "quanto costa questo flusso di lavoro al mese a volume di produzione, e quanto costa l'alternativa hardware ammortizzata su tre anni?"

Per un'azienda che esegue estrazione documenti, Q&A interne, arricchimento dati CRM e sintesi strutturate su centinaia di record al giorno, la matematica in-house vince spesso già entro la fine del primo anno. La famiglia di modelli open-weight, da Mistral a Llama di Meta, copre la maggior parte dei task comuni senza toccare alcuna API frontier.

Cosa osservare

I prezzi dell'hardware continuano a scendere e l'efficienza dei modelli continua a crescere. La decisione sull'hardware di inferenza che prendi oggi sembrerà conservativa entro 18 mesi. La scelta architetturale più importante è progettare i sistemi AI in modo che l'endpoint del modello sia intercambiabile, che si tratti di un cluster GPU on-premise, di un'API gestita o di qualcosa nel mezzo. Blocca la logica del flusso di lavoro. Tieni il livello del modello sostituibile.