\n<\/p>\n
I modi in cui i documenti possono entrare a far parte del nostro sistema sono disparati pertanto anche un ambito che potrebbe sembrare il pi\u00f9 lineare dell’architettura si dirama in varie vie. Analizzeremo insieme, con tutti i dovuti esempi, l’uso di Document loader<\/em> per acquisire documenti da integrare in una struttura dati in attesa che uno splitter li sminuzzi per una loro miglior digestione nella RAG<\/strong>.<\/p>\n Ci baseremo sempre sulla libreria Langchain<\/a> ed in particolare sulla versione 0.3, attualmente la pi\u00f9 recente. In Python<\/a>, la richiederemo in questo modo:<\/p>\n Da ricordare che, se lo si esegue in un notebook Google Colab, sar\u00e0 il caso di anteporre un punto esclamativo ( L’opzione pi\u00f9 basilare consiste nel Questo codice produce un oggetto in grado di elaborare un testo. Si noti che abbiamo applicato un paio di argomenti riguardanti l’encoding<\/em> per evitare errate interpretazioni dei caratteri. Qui chiediamo di non applicare un encoding specifico ma di provare lui stesso – il Loader – ad individuare il migliore procedendo per tentativi. Fatto ci\u00f2 passiamo all’estrazione dei contenuti con:<\/p>\n A questo punto l’operazione \u00e8 svolta e ci troviamo in possesso di E’ importante conoscere come \u00e8 fatto un oggetto Passiamo ora al caricamento di tutti i documenti presenti in una cartella, caso ancora pi\u00f9 comune rispetto ad un singolo testo.<\/p>\n Supponiamo di avere una cartella di nome La classe di cui facciamo uso \u00e8 In questo modo carichiamo tutto il contenuto della cartella Notare anche gli altri parametri usati:<\/p>\n Potremo a questo punto procedere al caricamento dei documenti con Parlando di RAG, abbiamo portato l’esempio di solo due loader, i pi\u00f9 utilizzati, ma si consideri che la documentazione ufficiale<\/a> ne descrive moltissimi che potranno essere sperimentati, distinti sia per formati di dato (non strutturati, PDF, HTML, etc.) sia per tipologia di origine (servizi web, servizi di storage on line, social network, etc.). Noi proseguiremo ora con lo splitting dei documenti per trasformarli in chunk molto pi\u00f9 gestibili.<\/p>\n Se vuoi aggiornamenti su RAG: caricamento di documenti<\/em> inserisci la tua email nel box qui sotto:<\/p>\n<\/div>\npip install langchain==0.3 langchain-community<\/code><\/pre>\n!<\/code>) per indicare che non si tratta di un’istruzione Python bens\u00ec di una direttiva da riga di comando Linux<\/a>.<\/p>\nTextLoader e RAG: un documento alla volta<\/h2>\n
TextLoader<\/code>, un oggetto che legge un file di testo e lo carica come documento. Iniziamo con l’interpretazione di un testo di nome documento.txt<\/code>:<\/p>\nfrom langchain_community.document_loaders.text import TextLoader\nloader = TextLoader(\n \"documento.txt\",\n encoding=None,\n autodetect_encoding=True\n)<\/code><\/pre>\ndocumenti = loader.load()<\/code><\/pre>\ndocumenti<\/code>, una lista di oggetti di tipo Document<\/code> (classe definita in Langchain). Avendo interpretato un solo documento avremo a che fare con una lista di un solo item che sar\u00e0 il documento che rappresenta il file da noi fornito.<\/p>\nDocument<\/code> in quanto sar\u00e0 il frutto di qualsiasi Loader<\/em> useremo. Al suo interno tipicamente troviamo due porzioni principali:<\/p>\n\n
page_content<\/code>, una stringa che immagazzina tutto il testo del documento. In quanto stringa, ovviamente, in Python \u00e8 sottoponibile con facilit\u00e0 a miriadi di operazioni di elaborazione;<\/li>\nmetadata<\/code>, un dizionario Python in cui vengono fissati parametri utili a definire correttamente il contenuto del documento. Nel nostro caso, i metadati prodotti coincideranno con {'source': 'documento.txt'}<\/code>, in pratica solo il nome del file di origine.<\/li>\n<\/ul>\nDirectoryLoader e RAG: una cartella intera<\/h2>\n
archivio<\/code> che include molti documenti di testo. Il nostro scopo \u00e8 acquisirli tutti in una struttura dati. Quanto visto al paragrafo precedente ci sembra gi\u00e0 adeguato in quanto, in fin dei conti, abbiamo fatto uso di un oggetto specifico, Document<\/code> che andr\u00e0 bene anche per ognuno dei documenti che tratteremo in questo esempio ed il risultato del Loader consisteva gi\u00e0 in una lista, seppur di un solo item, pertanto in grado di ospitare potenzialmente una moltitudine di elementi.<\/p>\nDirectoryLoader<\/code> ancora messa a disposizione da Langchain.<\/p>\nfrom langchain_community.document_loaders import DirectoryLoader\nloader = DirectoryLoader(\n \"archivio\",\n glob=\"**\/*.txt\",\n loader_cls=TextLoader,\n show_progress=True,\n use_multithreading=True\n)<\/code><\/pre>\narchivio<\/code> di cui non forniamo il percorso assoluto solo perch\u00e9 si trova nel nostro path di lavoro. L’argomento glob<\/code> segue il formato dell’omonima funzione Python che permette di ricercare solo file con estensione .txt<\/code> ma in ogni sottocartella (**\/<\/code>).<\/p>\n\n
loader_cls<\/code> dichiara la classe che servir\u00e0 a caricare il singolo documento. Qui facciamo uso di TextLoader<\/code> che gi\u00e0 conosciamo;<\/li>\nshow_progress<\/code> se impostato a True<\/code> chiede di mostrare una barra di progresso testuale che potr\u00e0 essere comoda per tenere il segno di caricamenti molto articolati. Il suo corretto funzionamento richiede per\u00f2 la disponibilit\u00e0 della libreria tqdm<\/code> che all’occorrenza potr\u00e0 essere caricata con pip<\/code>;<\/li>\nuse_multithreading<\/code> impostato a True<\/code> invita il sistema a parallelizzare il caricamento istanziando thread paralleli se possibile.<\/li>\n<\/ul>\ndocumenti = loader.load()<\/code> per ottenere una lista di oggetti Document<\/code> dal formato identico a quello visto nell’esempio del TextLoader<\/code>.<\/p>\nE ora?<\/h2>\n