Nel mio progetto sto esplorando come gli end-user developer, come designer o altri esperti di dominio, possano costruire ambienti di eXtended Reality (XR) senza la necessità di avere conoscenze di programmazione. Sebbene esistano già numerosi lavori nella letteratura relativo a questo ambito, la maggior parte delle soluzioni si basa su approcci non supportati da intelligenza artificiale. Il mio progetto si concentra sulla prototipazione di un Agente Conversazionale Intelligente (in inglese ICA) multimodale pensato per guidare gli end-users. Questo agente aiuta gli utenti a definire comportamenti fra oggetti o fra il "giocatore immerso nell'ambiente" e gli oggetti. L’agente è progettato per funzionare su tutti i livelli della XR, inclusi la Virtual Reality (VR), l’Augmented Reality (AR) e la Mixed Reality (MR). Le interazioni possono coinvolgere oggetti virtuali (es. un rubinetto virtuale), oggetti reali e smart (es. un termometro intelligente) e oggetti reali non smart (es. uno straccio per le pulizie).

Finora ho esplorato come agenti intelligenti possano assistere gli utenti nella creazione di regole Event-Condition-Action (ECA) in ambienti VR e AR. Attualmente sto estendendo questo lavoro al supporto della MR. Le interazioni trattate fino ad ora hanno coinvolto oggetti virtuali e oggetti reali smart, ma la gestione degli oggetti reali non smart rappresenta ancora una sfida aperta. L’agente è considerato multimodale perché non si basa solo sui comandi vocali, ma tiene conto anche di ciò che l’utente guarda o indica.