Caso studio
Su una piattaforma consumer di finanza e investimenti abbiamo riscritto le pipeline AI, e i costi dell'AI sono scesi di circa l'80%. Le chiamate al modello ridondanti non ci sono più, ogni chiamata riceve solo il contesto che le serve e ci sono tetti di spesa e rate limit. Ogni report generato registra quanto è costato. Le funzionalità sono le stesse di prima.
La piattaforma, sviluppata in Mokka Studios su AWS, usa l'AI per scrivere report finanziari sui singoli titoli e per creare le immagini delle notizie. Le pipeline che abbiamo ereditato chiamavano il modello più spesso del necessario e gli mandavano molto più contesto di quello che usava. Non c'era nessun limite alla spesa.
Backend su AWS (API, dashboard di amministrazione, acquisizione dei dati di mercato, pipeline AI), una coda in background per i lavori lunghi, modelli Anthropic con ricerca web e prompt versionati.
Quasi sempre la bolletta LLM è alta per come è costruito il sistema: chiamate doppie, prompt pesanti, niente cache, nessun limite. Il prezzo del modello raramente è la causa principale. Se guardi dove finiscono i token, di solito trovi il risparmio prima ancora di cambiare modello.
Prima misura quanto costa ogni chiamata. Poi togli le chiamate ridondanti, manda solo il contesto che serve, metti in cache le risposte ripetute e fissa tetti di spesa e rate limit. Su questa piattaforma finanziaria questi interventi hanno ridotto i costi AI di circa l'80%, con le stesse funzionalità.
Non per forza. Qui il risparmio di circa l'80% è arrivato dalla riscrittura delle pipeline: meno chiamate, meno contesto, cache e limiti. Nessun passaggio a un modello meno capace. Sistema prima l'architettura, poi valuta se cambiare modello ha ancora senso.
Con limiti scritti nel codice: tetti di spesa giornalieri e per categoria, rate limit e regole che decidono quando una funzione parte. Su questa piattaforma, per esempio, le immagini si generano solo per gli articoli sopra una certa soglia di punteggio. E siccome ogni report registra il suo costo, ti accorgi subito di qualsiasi deriva.
No, se i controlli di qualità restano. I report finanziari continuano a verificare le fonti e a controllare l'output del modello. Il taglio ha colpito solo lo spreco: chiamate duplicate e contesto che al modello non serviva.
Correlati
Prossimo passo
La spesa AI cresce più dell'uso? Cerchiamo cosa tagliare senza perdere qualità.
Raccontami il processo. Lo definiamo in una call gratuita, poi una versione funzionante è operativa entro 10 giorni.
Prenota una call di analisi