AI Chunking
Il chunking AI è il processo di divisione dei documenti sorgente in segmenti di testo più piccoli — chiamati chunk — prima di convertirli in embedding e archiviarli in un database vettoriale. I confini, la dimensione e la sovrapposizione dei chunk determinano quale testo un sistema RAG riesce a recuperare in risposta a una determinata query.
Come Funziona
Quando un documento viene ingerito in una pipeline RAG, è troppo grande per essere embeddato come unità singola: embeddare un contratto di 50 pagine produce un solo vettore che media il significato di tutte le sue sezioni, rendendo il recupero impreciso. Il chunking risolve questo problema creando unità più piccole — ognuna con il proprio embedding — così il passaggio di recupero può riportare in superficie il paragrafo o la clausola specifica che risponde alla query.
Le strategie di chunking più comuni includono:
- Chunking a dimensione fissa — suddivisione ogni N token (es. 512), indipendentemente dai confini delle frasi. Rapido ma rischia di tagliare le frasi a metà.
- Chunking basato sulle frasi — suddivisione ai confini delle frasi, preservando la coerenza grammaticale.
- Chunking semantico — raggruppamento delle frasi per similarità di argomento prima della suddivisione, così ogni chunk porta un concetto coerente.
- Splitting ricorsivo per caratteri — tentativo di suddivisione su interruzioni di paragrafo, poi di frase, poi di parola — privilegiando il confine naturale più grande che rimanga entro il limite di token.
La sovrapposizione dei chunk — ripetere gli ultimi N token del chunk k all'inizio del chunk k+1 — evita che le informazioni ai confini vengano perse quando il recupero restituisce un solo chunk.
Casi d'Uso Comuni
- Analisi contrattuale — il chunking per confini di clausola mantiene ogni obbligo legale in un'unità autonoma, così il recupero restituisce la clausola rilevante anziché un frammento che attraversa due obblighi.
- Q&A su documentazione di prodotto — il chunking per gerarchia di titoli (H2/H3) si allinea naturalmente al modo in cui gli utenti formulano le domande.
- Elaborazione di note CRM — chunk brevi a dimensione fissa funzionano bene per record brevi dove le suddivisioni semantiche produrrebbero unità troppo piccole.
Chunking vs. Embedding dell'Intero Documento
L'embedding dell'intero documento collassa tutto il significato in un solo vettore: il recupero o restituisce l'intero documento o lo manca. Il chunking scambia efficienza di archiviazione con precisione di recupero. Per la maggior parte delle applicazioni RAG la precisione conta più del costo di archiviazione, quindi il chunking è l'approccio predefinito.
L'eccezione è quando i documenti sono già brevi (meno di circa 512 token) — in quel caso il chunking aggiunge complessità senza benefici.
Termini Correlati
L'Approccio di Knowlee
La pipeline di ingestione del knowledge graph di Knowlee applica il chunking semantico ai record degli account, alla documentazione di prodotto e ai feed di intelligence aziendale prima dell'indicizzazione. I confini dei chunk seguono le transizioni di argomento piuttosto che conteggi di token fissi, così ogni unità recuperata porta un pezzo di contesto coerente anziché una porzione di testo arbitraria. Questo migliora direttamente la rilevanza del contesto passato al modello di generazione — riducendo rumore e allucinazioni nell'outreach generato dagli agenti. Per un'analisi completa di come il grafo moltiplica la qualità del recupero nel tempo, vedi The Enterprise Knowledge Graph Moat.