Il RAG è facile da mettere in piedi e difficile da rendere affidabile. La prima versione funziona sempre sugli esempi che hai provato. Il problema arriva quando qualcuno in azienda controlla una citazione e scopre che non dice affatto quello che le viene attribuito.
Io costruisco sistemi in cui quella verifica regge.
Cosa comporta
- Chunking che rispetta la struttura. Tagliare solo per numero di token separa le tabelle dalle intestazioni e le clausole dalle condizioni. Come tagli un documento decide cosa potrai mai recuperarne.
- Ricerca ibrida. I vettori densi si perdono codici e termini rari; la ricerca per parole chiave si perde le parafrasi. In produzione servono entrambi, fusi con criterio.
- Reranking. Un cross-encoder sui primi candidati è spesso il singolo miglior rapporto qualità-prezzo, ed è quasi sempre il passo mancante.
- Valutazione. Un set di domande con risposte note, così una modifica si misura invece di discuterne.
- Aggiornamento. Pipeline che tengono l’indice aggiornato, e che dicono quando non ci sono riuscite.
Quando serve chiamarmi
- Risposte fluenti, sicure e sottilmente sbagliate.
- Citazioni che puntano a documenti veri che però non dicono quella cosa.
- Funziona in inglese e si sfalda in italiano.
- Nessuno sa dire se la modifica della settimana scorsa ha migliorato qualcosa.
Come procede il lavoro
Parto costruendo il set di valutazione, perché senza quello ogni decisione successiva è questione di gusti. Poi miglioro il retrieval a incrementi misurabili, e alla fine il banco di prova resta a te.
Parliamone
Portami il problema spinoso. Se non è un lavoro adatto a me te lo dico, e ti indico chi può aiutarti.