Il mio lavoro di tesi affronta il problema del potenziamento dei Large Language Models (LLM) per una classificazione testuale maggiormente performante in domini specialistici attraverso una iniezione di conoscenza strutturata e specifica. In primo luogo ho costruito AIDA24k, un benchmark di 24000 articoli scientifici suddivisi equamente tra Intelligenza Artificiale, Ingegneria del Software e Interazione Uomo–Computer, arricchito mediante l’Ontologia di Scienze Informatiche (CSO) e il knowledge graph AIDA. Ho confrontato cinque strategie di iniezione della conoscenza (aggiunta diretta al testo, K-BERT, aumento delle feature con un multilayer perceptron, pre-addestramento supplementare basato su knowledge graph e un approccio ibrido di mascheramento casuale) dimostrando che i metodi che sfruttano esplicitamente la struttura del grafo garantiscono i maggiori incrementi di F1 rispetto ai classificatori BERT di base.

Sulla base di questi risultati, ho esteso lo studio al dominio degli Obiettivi di Sviluppo Sostenibile (SDG). Ho curato un dataset multilingue per la classificazione SDG (OSDG-community-data-v2023-10-01) e ho valutato sia modelli proprietari (GPT-4, GPT-3.5) sia open-source (Phi-4-8B, QWQ-32B, LLaMA-2, Mistral, Mixtral, Zephyr, Gemma, Flan-T5) in scenari zero-shot, few-shot e di fine-tuning. I miei risultati mettono in luce i compromessi tra dimensione del modello, disponibilità di dati e progettazione dei prompt, mostrando che modelli più piccoli possono avvicinarsi alle prestazioni di GPT quando il prompt viene sviluppato in modo opportuno o il modello viene sottoposto a fine-tuning.

Infine, ho introdotto un nuovo task di polarity detection nel dominio degli SDG: obiettivo di questo task è determinare se un testo indichi progresso, neutralità o regressione rispetto a un particolare SDG. Per superare la scarsità di dati annotati, ho sviluppato una pipeline di etichettatura ibrida in cui più LLM collaborano per generare un set di addestramento sintetico, successivamente utilizzato per il fine-tuning di modelli più piccoli. La valutazione su un test set annotato da esperti conferma che il mio approccio raggiunge un accordo vicino a quello umano (κ di Cohen > 0,70), dimostrando la fattibilità e il valore dell’analisi automatica della polarità per il monitoraggio della sostenibilità.

Nel complesso dimostro che arricchire i LLM con conoscenze ontologiche e basate su grafi dedicati migliora sostanzialmente le prestazioni e l’affidabilità in compiti complessi di classificazione e nell’individuazione di polarità in ambiti scientifici e di sostenibilità.