La domanda arriva quasi sempre così: "Si può avere un ChatGPT che conosce le nostre procedure, i listini e i manuali?". Sì, e la tecnica si chiama RAG (retrieval-augmented generation). Prima di comprarne uno, però, conviene sapere dove sbaglia, perché nei sistemi che ho costruito quasi tutti gli errori venivano dalla ricerca, la fase che decide quali documenti il modello può leggere.
Che cos'è un chatbot RAG sui documenti aziendali, in parole semplici?
Un chatbot RAG lavora in due tempi. Quando un dipendente o un cliente fa una domanda, il sistema cerca nei documenti aziendali i passaggi più pertinenti: una sezione di un manuale, un articolo di una policy, una riga di un listino. Poi passa quei passaggi al modello linguistico insieme alla domanda, e il modello scrive la risposta usando solo quel materiale.
Il modello legge i documenti al momento della domanda, senza essere addestrato su di essi, come farebbe un collega a cui passate tre fogli prima di una telefonata. Per questo un documento aggiornato oggi può essere usato già nella risposta di domani, senza rifare nulla sul modello.
Perché un chatbot sui documenti dà risposte sbagliate?
Se il passaggio giusto non arriva al modello, il modello risponde con quello che ha: un documento simile, una versione vecchia, un caso vicino ma diverso. La risposta suona credibile ed è sbagliata. Migliorare la ricerca sposta la qualità molto più che passare a un modello più grande.
L'ho visto con Estyl, un assistente moda conversazionale su un catalogo di oltre 2 milioni di prodotti. La sola ricerca vettoriale, quella che trova testi "simili per significato", restituiva articoli somiglianti che però ignoravano taglia, prezzo e disponibilità. I filtri rigidi, al contrario, spesso non restituivano niente. Il retrieval è stato ricostruito con ricerca ibrida, filtri strutturati, un rilassamento controllato dei filtri quando la richiesta è troppo stretta e un riordino finale dei risultati. Con una valutazione severa, in cui una risposta conta come corretta solo se ogni articolo rispetta la richiesta, oltre il 90% delle risposte è risultato del tutto corretto. Il dettaglio è nel caso studio sulla ricerca prodotti conversazionale.
Lo stesso vale per i documenti interni. Nell'help desk di una grande banca italiana un agente LLM smista oltre 1 milione di ticket l'anno su più di 400 categorie gerarchiche. Mettere tutte le definizioni in ogni richiesta al modello non era praticabile, quindi la RAG recupera solo i rami pertinenti della tassonomia e il modello sceglie tra quelli. L'accuratezza è dell'81%, contro il 75% dello smistamento fatto dalle persone (caso studio sullo smistamento ticket).
| Cosa va storto | Perché succede | Rimedio |
|---|---|---|
| Risposta sicura ma sbagliata | La ricerca ha passato al modello un documento simile ma non quello giusto | Ricerca ibrida (parole esatte più significato), filtri sui metadati, riordino dei risultati |
| Cita una procedura superata | Nell'archivio convivono più versioni dello stesso documento | Una sola versione valida, data di validità nei metadati, pulizia periodica |
| "Non trovo informazioni" su domande banali | Il testo è dentro scansioni, tabelle o immagini che non sono state lette bene | OCR e analisi del layout prima dell'indicizzazione, controllo a campione |
| Mostra dati che l'utente non dovrebbe vedere | I permessi sono applicati dopo la ricerca, o per niente | Filtrare per utente, reparto o cliente già nella ricerca |
| Risposte vaghe su domande con codici o numeri | La ricerca per significato confonde codici articolo e sigle simili | Ricerca per parole esatte affiancata a quella semantica |
Come vanno preparati i documenti prima di collegarli a un chatbot?
La preparazione dei documenti pesa quanto il resto del progetto. Le cartelle condivise di una PMI contengono di solito tre versioni dello stesso regolamento, PDF scansionati storti, listini in Excel con celle unite e documenti che nessuno apre da anni. Se entrano tutti nell'indice, il chatbot li userà tutti.
Prima si sceglie un perimetro (per esempio solo le procedure del customer care), si eliminano duplicati e versioni superate, e a ogni documento si aggiungono metadati utili alla ricerca: reparto, data di validità, prodotto, lingua. Poi i documenti vengono divisi in pezzi, e ogni pezzo deve restare comprensibile da solo. Un paragrafo che dice "il termine è di 30 giorni" senza dire di quale contratto parla è inutile. Anthropic ha misurato che aggiungere a ogni pezzo una breve frase di contesto riduce del 49% le ricerche fallite, e del 67% se si aggiunge anche il riordino dei risultati (Anthropic, settembre 2024).
Chi può vedere cosa in un chatbot aziendale?
Un chatbot che legge tutti i documenti aziendali può anche mostrarli tutti: buste paga, contratti con i clienti, verbali del consiglio. I permessi vanno applicati nella fase di ricerca. Se un documento non è visibile all'utente, non deve essere neanche recuperato. Un'istruzione nel prompt del tipo "non mostrare dati riservati" non è un controllo di sicurezza.
In Estyl la separazione era per merchant: ogni negozio ha il suo assistente, che cerca solo nel catalogo di quel negozio. In azienda la stessa logica si applica per reparto, ruolo o cliente. Nei progetti bancari si aggiungono altri vincoli: modelli su Azure OpenAI nel cloud UE del cliente o su infrastruttura propria come OpenShift, nessun dato sensibile nei log, audit trail su ogni operazione.
Il chatbot deve citare le fonti delle risposte?
Sì, sempre. Ogni risposta dovrebbe indicare il documento e il punto da cui viene, con un link che lo apre. La citazione serve a chi legge, che può verificare in dieci secondi invece di fidarsi, e serve a voi, perché quando una risposta è sbagliata vedete subito se la colpa è del documento recuperato o della sintesi del modello.
La seconda regola è la risposta "non lo so". Se la ricerca non trova passaggi abbastanza pertinenti, il chatbot deve dirlo e, se serve, passare la domanda a una persona. Un sistema che risponde sempre, anche quando non ha trovato nulla, è quello che finisce per inventare.
Come si misura se le risposte di un chatbot RAG sono giuste?
Si raccolgono domande reali (dalle email, dai ticket, da chi oggi risponde a voce), si scrive per ciascuna la risposta corretta e il documento che la contiene, e si fa girare il sistema su tutto l'insieme a ogni modifica. Si misurano due cose separate: se la ricerca ha trovato il documento giusto e se la risposta finale è corretta.
Il criterio deve essere severo. In Estyl una risposta contava come corretta solo se tutti gli articoli proposti rispettavano la richiesta, perché per chi compra basta un articolo sbagliato a rovinare la risposta. Serve anche un riferimento: nello smistamento dei ticket il confronto era con il 75% di accuratezza delle persone, e senza quel numero l'81% del sistema non avrebbe detto niente.
Quando conviene un chatbot sui documenti aziendali, e quando no?
| Situazione | Conviene? | Perché |
|---|---|---|
| Molte domande ripetitive su procedure, prodotti, policy | Sì | Le risposte esistono già nei documenti, la ricerca le trova |
| Documenti tenuti aggiornati da qualcuno | Sì | Il chatbot è affidabile quanto i documenti che legge |
| Domande che richiedono dati vivi (giacenze, stato ordini) | Solo con un'integrazione | Servono API verso il gestionale, i documenti non bastano |
| Archivio disordinato, senza un responsabile | Non ancora | Prima va fatta pulizia, poi il chatbot |
| Poche domande al mese | Di solito no | Una pagina FAQ curata costa meno |
Se lo scopo è trasformare documenti in dati da caricare nel gestionale (DDT, preventivi, fatture estere), serve l'estrazione documentale, che è un altro strumento: ne parlo nella guida su come estrarre dati da PDF, DDT e preventivi.
Sul costo non do cifre generiche. Lo fanno salire il numero e il disordine dei documenti, i connettori verso SharePoint, Google Drive o il gestionale, la gestione dei permessi e i vincoli su dove girano i dati. Il costo del modello per singola risposta è quasi sempre la voce più piccola.
Quali errori evitare con un chatbot RAG sui documenti aziendali?
Il primo errore è caricare tutto l'archivio il primo giorno: si parte da un perimetro piccolo e misurabile. Il secondo è cambiare modello quando le risposte sono sbagliate, senza aver controllato cosa ha trovato la ricerca. Il terzo è affidare i permessi al prompt. Poi c'è il chatbot che non cita le fonti, per cui nessuno riesce a capire da dove vengono gli errori, e quello lanciato senza un insieme di domande di prova, che si giudica a sensazione dopo la prima risposta sbagliata davanti al capo. L'ultimo errore è non nominare un responsabile dei documenti: dopo sei mesi le procedure cambiano e il chatbot continua a citare quelle vecchie.
Volete un chatbot sui vostri documenti?
Mandatemi una ventina di domande reali e qualche documento di esempio: vi dico cosa troverebbe la ricerca e dove sbaglierebbe.
ParliamoneSe lavorate in banca o in un altro settore regolamentato, la pagina sul servizio di AI documentale e RAG per settori regolamentati descrive come imposto ricerca, permessi e audit trail.



