Fabio Ruini's blog

Nel caso in cui qualcuno di voi si stesse chiedendo come procede il mio lavoro, per rispondere ho realizzato un breve video dove mostro lo stato attuale dell’applicazione sulla quale sto spendendo i miei giorni. Da un punto di vista tecnico il contesto di riferimento e’ quello dell’iCub simulator sviluppato da Tikhanoff ed altri. La mia applicazione si interfaccia al simulatore tramite Yarp e mira ad implementare un’architettura cognitiva che renda in grado iCub di memorizzare/eseguire sequenze più’ o meno lunghe di istruzioni nella forma “prendi oggetto x e spostalo in posizione y”. L’ipotesi che si vuole verificare e’ se l’attention deployment, ovvero come l’attenzione (sguardo) del robot si muove durante la fase di memorizzazione, abbia un effetto sulle successive probabilità’ di riuscita del task finale (consistente nel replaying della sequenza memorizzata da parte del robot). Ancora siamo un po’ lontanucci dall’obiettivo finale (e’ poco più’ di un mese che sto lavorando full time sul progetto), ma stiamo rapidamente marciando in quella direzione.

Nel video qui sotto potete vedere le due diverse modalità in accordo alle quali i setup sperimentali sono ricreati nel simulatore (2D utilizzando uno schermo di proiezione posto di fronte al robot; 3D con un tavolo “vero e proprio” sul quale vengono appoggiati gli stimoli), la fase di creazione/pre-training delle SOMs che implementano il cuore dell’architettura cognitiva, la connessione al robot (che in automatico sposta le sue braccia in maniera tale che le mani non siano all’interno del suo campo visivo) con refresh automatico delle immagini provenienti dai suoi occhi all’interno della GUI dell’applicazione e di alcune statistiche legate ai colori percepiti, possibilità di controllo manuale di occhi/collo o pre-programmato/random lungo lo schermo/tavolo, ecc. Nel background, la parte interessante che non si vede, e’ l’apprendimento hebbiano in corso che provvede a creare link tra le diverse self-organizing maps.

PS: grazie agli sviluppatori di recordMyDesktop, che mi hanno indirettamente permesso di realizzare questo video.

Comments(0)