database vettoriale<\/strong>.<\/p>\nIl vantaggio di trasformare un testo in un vettore di numeri consiste nel fatto che potremo confrontare due frasi e calcolare la distanza tra i testi in esse immagazzinati<\/strong>. Il problema della distanza, trattandosi ora di vettori numerici e non pi\u00f9 di testi, sar\u00e0 espressamente ridotto ad un puro calcolo matematico.<\/p>\nIl valore della vettorizzazione<\/h2>\n
A prima vista, un approccio di questo tipo potrebbe non sembrare cos\u00ec fondamentale, visto che esistono moltissimi algoritmi di natura linguistica, gi\u00e0 pienamente sfruttati dai motori di ricerca, che permettono di calcolare la somiglianza tra espressioni. Il valore di questa vettorizzazione<\/em> per\u00f2 consiste nell’allontanare i concetti dalle parole<\/strong>. I vettori rappresenteranno non tanto i testi per come sono scritti ma i concetti che essi identificano.<\/p>\nFacciamo un esempio semplice al solo scopo di chiarimento: se un vettore rappresenta un testo che parla di un gatto sar\u00e0 sicuramente pi\u00f9 “vicino”, relativamente al loro spazio geometrico, ad uno che parla di un “felino” che ad uno che parla di caffettiere. Il significato pertanto sar\u00e0 preservato e manipolato al di l\u00e0 che le parole “gatto” e “felino” siano tecnicamente differenti tra loro. Ci\u00f2 permette di avvicinare tra loro concetti nascosti in parole diverse ma anche di mettere al riparo da falsi amici<\/em> come parole ortograficamente simili ma dal significato del tutto diverso, per non parlare di una parola scritta in modo identico che pu\u00f2 indicare a seconda dei casi concetti del tutto differenti (pensiamo a un piatto per mangiare o a un piatto per la batteria).<\/p>\nCalcolo della distanza<\/h2>\n
Per calcolare la distanza tra due vettori ci rivolgeremo ad algoritmi che si occupano di valutare quanto essi in uno spazio siano vicini tra loro. Uno degli algoritmi pi\u00f9 usati e che sperimenteremo anche noi, si basa sul coseno<\/strong>. Tale concetto trigonometrico valuta l’angolo che due vettori formano tra loro: minore \u00e8 questo angolo pi\u00f9 si pu\u00f2 dire che i concetti sono simili.<\/p>\nQuello del coseno \u00e8 un sistema molto pratico ma non sicuramente l’unico. Esistono altre famiglie di algoritmi che si basano su altri fattori oltre all’angolo come la direzione e la lunghezza. Ad esempio, ve ne sono alcuni focalizzati sulla distanza euclidea<\/strong> che mirano a vedere quanto sono lontani i vertici dei vettori tra loro mentre altri sfruttano il prodotto scalare<\/strong> per concentrarsi su direzione e lunghezza del vettore.<\/p>\nNoi faremo in primis uso del metodo del coseno, non solo perch\u00e9 \u00e8 estremamente diffuso, ma anche perch\u00e9 \u00e8 un sistema che sintetizza diversi aspetti dei vettori come la direzione stessa che, in caso di divergenza tra i vettori studiati, porterebbe immediatamente ad un angolo pi\u00f9 ampio.<\/p>\n
Embedding in pratica<\/h2>\n
Il concetto centrale l’abbiamo illustrato ma quindi, ora, come applicare l’embedding? Come in molti altri casi siamo estremamente fortunati perch\u00e9 framework e operatori di Intelligenza Artificiale mettono a disposizione i loro embedder<\/em> per poter accedere a queste funzionalit\u00e0 molto velocemente. Se si \u00e8 gi\u00e0 provato a sperimentare un po’ di programmazione AI-based<\/em> non sar\u00e0 strano che ci si sia trovati in punti in cui, oltre al modello LLM da usare, sia stato chiesto di indicare un embedder<\/em>: ecco, quello era proprio il componente che si occupava di embedding.<\/p>\nIn generale, quando si sceglie un embedder si pu\u00f2 procedere in vari modi ma i criteri sono sempre simili a quelli dominanti nella Intelligenza Artificiale Generativa:<\/p>\n