Attention Mechanism
Componente chiave dei Transformer: permette al modello di concentrarsi sulle parti rilevanti.
L'Attention Mechanism è il componente fondamentale dell'architettura Transformer che permette al modello di assegnare pesi diversi alle diverse parti dell'input, "concentrandosi" sulle informazioni più rilevanti per il compito da svolgere.
In pratica, quando un chatbot legge la domanda "Qual è il prezzo del divano Milano in pelle bianca?", l'attention mechanism permette al modello di focalizzarsi simultaneamente su "prezzo", "divano Milano" e "pelle bianca", collegando questi elementi per cercare la risposta corretta nel database.
La Self-Attention (o Multi-Head Attention) è la variante usata nei Transformer moderni: ogni parola del testo "guarda" tutte le altre per comprendere le relazioni. È computazionalmente intensiva ma estremamente potente, ed è la ragione per cui gli LLM moderni comprendono sfumature, ambiguità e contesto meglio di qualsiasi sistema precedente.