Il FinOps “da slide deck” non serve a nulla. Quello che serve è collegare ogni decisione tecnica al suo costo reale. Con i workload AI, almeno, i driver sono abbastanza identificabili: token/secondo, ore di GPU, storage, egress. Il 55% di riduzione si ottiene combinando molte leve piccole — non una singola ottimizzazione magica.
Leve sul modello e sull’inferenza
Model selection per tier. Non usare il modello più costoso per task che un 9B locale gestisce bene. La selezione del modello è la prima e più impattante decisione di costo.
Quantizzazione e distillazione. Dove la qualità lo permette, modelli compressi riducono sia i costi di inferenza che i requisiti hardware.
Batching e caching aggressivi. Cache di prompt, cache di retrieval, cache dei risultati per richieste ripetute. Il costo marginale di una richiesta già cachata è zero.
Compressione del contesto. Spesso il costo non sta nella risposta — sta nel contesto che ci passi. Ridurre il contesto dove non è necessario è una delle ottimizzazioni più semplici e più ignorate.
Leve sull’infrastruttura
Autoscaling su segnali di coda e utilizzo GPU, non su CPU. Spot e Preemptible per batch e workload non interattivi. Scheduling per spegnere ambienti inutilizzati la notte e nei weekend. GPU sharing (MIG) per modelli piccoli invece di GPU dedicate per pod.
Leve sul prodotto
“Non generare quello che puoi recuperare.” Un RAG ben costruito riduce token spesi e migliora l’accuratezza simultaneamente.
UX che riduce richieste inutili: debounce, suggerimenti, prefill. Se l’utente non usa l’output, hai speso per produrre qualcosa di inutile.
Observability economica: costo per endpoint, costo per cliente, costo per feature. Quando il team vede un dashboard che dice “questa feature costa X al giorno”, le ottimizzazioni diventano conversazioni naturali invece di battaglie interne.
Il cambio mentale che cambia tutto
Tratta token e GPU come database query e IOPS. Non sono gratis. Ogni prompt è una query, ogni tool call è un’operazione con un costo. Quando il team interiorizza questo, le scelte architetturali cambiano.
Ridurre del 55% non significa tagliare qualità. Significa progettare sistemi che usano intelligenza quando serve e determinismo quando basta.