Centro Airett Comunicazione e apprendimento Progetti

AMELIE: l’amica delle bimbe che dà voce ai loro occhi

Una piattaforma tecnologica composta da una suite di software che permette da un app mobile (sul telefono) di gestire un computer con eye-tracker Tobii appositamente calibrato.

AMELIE: l’amica delle bimbe che dà voce ai loro occhi

Ci siamo chiesti:
“Come possiamo far comunicare o giocare in modo più semplice e veloce le nostre bimbe con Sindrome di Rett e i loro genitori, fratelli, compagni e maestre?”
La risposta: “Amélie”

DESCRIZIONE

Il progetto nasce dall’Associazione Airett, con lo scopo di aiutare le bambine con Sindrome di Rett a comunicare.
Realizzato in collaborazione con la Fondazione Vodafone, il software è stato sviluppato da un team multidisciplinare interamente italiano che ha progettato un sistema basato sul puntamento oculare personalizzato sulla sindrome di Rett. 

Da diverso tempo, AIRETT con l’equipe di terapisti specializzati, con il supporto di tecnici e ingegneri informatici e con la supervisione di ricercatori e professori universitari specializzati nella Sindrome di Rett, ha lavorato per creare Amélie, un software di gioco, comunicazione e apprendimento innovativo, specifico per le bambine/ragazze con Sindrome di Rett e più in generale per tutte le disabilità cognitive e motorie gravi.Finalmente, dopo molto lavoro siamo arrivati a terminare la sessione di gioco e comunicazione di Amélie, che permetterà alle vostre figlie, pazienti, amiche di poter comunicare in modo veloce, dinamico e spontaneo.Il percorso per arrivare fino a qui è stato lungo e difficile in quanto l’obiettivo era quello di creare qualcosa di differente da quello che è in commercio e che non è adatto per le nostre bambine; infatti i sistemi di comunicazione in commercio sono:

  • specifici per patologie motorie e/o lievi disabilità cognitive;
  • presentano software solo di comunicazione e gioco e non di apprendimento;
  • complessità del software che rende arduo l’utilizzo da parte dei cargivers;
  • costo molto elevato che non permette alle famiglie di poterne fare utilizzo;
  • scarsamente personalizzabili e adattabili ai pazienti.

Amélie invece punta ad essere:

  • costruito con e per la Sindrome di Rett, ma adatto per tutte le patologie cognitive motorie gravi;
  • software completo con giochi, comunicazione, apprendimento e monitoraggio sistematico dei dati;
  • interfaccia semplice, pulita, ordinata che ne consente un utilizzo facile ed immediato sia per il paziente che per i caregivers;
  • utilizza una strumentazione già in commercio, abbattendo nettamente i costi;
  • altamente personalizzabile e adattabile al paziente.

In questo percorso le famiglie e le bambine sono state il tassello principale che ha permesso di testare, provare e modificare ogni piccola caratteristica di ogni passo avanti nella creazione: 10 bambine hanno partecipato a questa fase sperimentale, delle quali 5 con esperienza con l’Eye tracker e 5 senza nessuna esperienza con questa strumentazione. Il metodo di lavoro è stato molto specifico: ogni passo avanti del software e del dispositivo è stato frutto dei feedback, accorgimenti e miglioramenti derivanti dai terapisti Airett, dalle famiglie, dalle bambine e dai loro insegnanti. Siamo partiti dal primo prototipo che si basava solo sull’analisi dello sguardo sullo schermo e sull’interazione tra cellulare e computer, per passare al secondo e poi terzo prototipo nel quale era presente la strutturazione essenziale dello scheletro di comunicazione, si era conclusa la sessione giochi ed era in atto la sperimentazione di un tipo di calibrazione personalizzata, per poi arrivare alla versione finale di Amélie con la strutturazione definitiva della sessione di comunicazione e gioco, del sistema innovativo di calibrazione e del sistema di sincronizzare dei contenuti. Parallelamente allo sviluppo della parte utente, Airett, insieme al gruppo di ingegneri, ha lavorato alla creazione della parte backoffice: una piattaforma online che permette ai supervisori di AIRETT di monitorare a distanza i dati sulla comunicazione, ovvero quante scelte, in che tempi, con che durata, con che parametri.Amélie manca ancora di una parte, quella di potenziamento cognitivo, che sarà implementata come un aggiornamento di questa versione finale, non appena tutto il programma e materiale saranno pronti.

IL SOFTWARE

amelie Eye tracking Suite favorisce la comunicazione e il potenziamento cognitivo per l’apprendimento e il miglioramento delle capacità di interazione e comprensione tra care-giver e care-receiver.

Il sistema integra diverse tecnologie (applicazioni mobile, servizi cloud ed algoritmi adattivi) per fornire un servizio innovativo, completo e facile da usare.

La suite è composta da: amelie Mobile (app per i care-giver), amelie Communicate (per comunicare), amelie potenziamento cognitivo (per imparare), amelie Play (sessioni di gioco).

FUNZIONALITÀ

Utilizza una strumentazione già in commercio, abbattendo nettamente i costi

Altamente personalizzabile e adattabile al paziente

Interfaccia semplice, pulita, ordinata

Piattaforma online per monitoraggio sperimentale dati

Che cos’è e che cosa si può fare con la versione finale di Amélie?

Oggi siamo arrivati alla versione finale della sessione giochi e comunicazione che prevede al suo interno l’inserimento di due nuove funzioni molto importanti: la calibrazione e la sincronizzazione. Ma vediamo in dettaglio. Amélie è costituita da tre parti: dispositivo, software e piattaforma online.

prevede l’assemblaggio di strumentazioni già in commercio:

  • la strumentazione che userà l’utente è un computer, con determinate caratteristiche (che gli ingegneri forniranno) e una barra eyetracker o un computer con eyetracker incorporato.
  • La strumentazione che userà il caregiver per giocare o per parlare con l’utente è semplicemente un cellulare smartphone Android o Apple, con caratteristiche base.

La possibilità di poter utilizzare strumentazione già in commercio, abbatte i costi per le famiglie e rende possibile avere una più vasta gamma di prodotti che siano compatibili con il software.

è composto da giochi, comunicazione e potenziamento.Il software è la vera innovazione di Amélie. Amélie è per i caregiver una app nel cellulare, e per le bambine un’icona nel desktop del computer. Scattando una foto Amélie mette in collegamento computer e cellulare del caregiver che può, dopo avere messo le credenziali della propria bimba, giocare, avviando uno dei quattro giochi di allenamento dei prerequisiti della comunicazione, o comunicare, creando facilmente delle tabelle di comunicazione che con un semplice tasto vengono inviate al pc della bimba. 

Cliccando sul telefono la voce GIOCHI, dalla home, vengono mostrati i 4 giochi che hanno come obiettivo di condizionare positivamente la strumentazione e di allenare i prerequisiti della comunicazione: esplorazione, fissazione, inseguimento e attenzione visiva. Ciascun gioco, eccetto il gioco delle bolle che ha l’obiettivo di fare esplorare liberamente lo schermo per fare comprendere la causa effetto dello sguardo, ha diversi livelli di complessità crescente che possono essere selezionati dal cargiver (ad esempio, aumentando i target da colpire o il tempo di fissazione). 

Il caregiver cliccando dalla home, la voce COMUNICAZIONE, può creare in maniera veloce e intuitiva i flussi di comunicazione, cosiddetti “alberi di comunicazione” perché prevedono la possibilità di mettere in ogni schermata più cards di scelta, e ogni card può avere più livelli di collegamento, di modo da creare uno scambio comunicativo completo e sequenziale. Tutti gli alberi di comunicazioni vengono salvati nella libreria. Le cards possono essere create prendendo foto dalla galleria del telefono, da internet o scattando in diretta una foto. La stessa possibilità è presente per i video. Una volta preparato l’albero di comunicazione lo si invia al computer cliccando una semplice freccia sulla schermata del cellulare e la bambina sul suo schermo vedrà la scelta che le viene rivolta. Fissando le card potrà rispondere e continuare nella sequenza di scelte impostate dal caregiver. Nello stesso momento il caregiver, nel suo cellulare, potrà vedere lo sguardo della bambina nello schermo tramite un pallino rosso, potrà richiamare l’attenzione attraverso dei campanelli sonori e potrà attivare e disattivare il controllo oculare nel caso alla bambina servisse più tempo per esplorare lo schermo prima di dare la scelta. In questo modo lo schermo di scelta dell’utente è solo suo, e non viene mai disturbato dai caregivers; quest’ultimo può gestire tutto dal telefono.La sessione di comunicazione prevede due grandi innovazioni: la CALIBRAZIONE PERSONALIZZATA e la SINCRONIZZAZIONE DEI CONTENUTI. Il problema emerso negli anni passati con gli altri sistemi di puntamento oculare è stata la calibrazione, ovvero il processo mediante il quale l’Eye tracker si configura sui movimenti oculari della persona che lo usa: target poco interessanti, tempi necessari troppo lunghi… In Amélie ci sono due sistemi per tarare lo sguardo della bambina sullo schermo: manuale con la quale il caregiver può impostare manualmente il raggio e il tempo di fissazione e una personalizzata automatica che avviene mentre la bambina guarda un video motivante per lei, e che, con la ripetizione nel tempo, permette che i parametri diventino sempre più precisi e individualizzati. Inoltre, Amélie è pensata per migliorare la comunicazione delle bambine con tutti i caregivers possibili. Perciò proprio per questo, è stato messo a punto un sistema di sincronizzazione che dà la possibilità a tutti i caregivers che hanno le credenziali di una bambina di condividere i contenuti creati e di utilizzarli da cellulare diversi e a distanza. In questo modo viene perseguito l’obiettivo della generalizzazione e dell’omogeneità del materiale utilizzato.

Allo stesso tempo Amélie è un software pensato per la supervisione a distanza da parte dei terapisti e per la raccolta dati scientifica poiché Airett unisce la parte di riabilitazione alla parte di ricerca, perché è quest’ultima che fornisce le evidenze necessarie per pensare, proporre e strutturare nuove ricerche. Proprio per questo è stato creato un BACKOFFICE, ovvero una piattaforma online che attraverso la sincronizzazione registra le sessioni di utilizzo di Amélie di tutti gli utenti, permettendo di monitorare a distanza da parte dei ricercatori i diversi parametri, come ad esempio, il numero di scelte che vengono fatte da una bambina, il tempo necessario per dare la risposta, gli aiuti che vengono dati etc. 

Amélie è un software open source. Questo significa che il codice del software è disponibile a chi voglia continuare a svilupparlo o adattarlo per alcune specifiche applicazioni, in modo completamente gratuito. Per le famiglie associate, Airett distribuisce il software specificamente implementato per le bambine con Sindrome di Rett, fornendo al contempo supporto tecnico e specialistico, nonché la piattaforma cloud per la memorizzazione e la condivisione dei dati utili alla piattaforma.Una volta che l’associato farà richiesta per avere il software, il software verrà installato sul pc della famiglia e Airett creerà il profilo utente di quella specifica bambina con le specifiche credenziali rispettando tutte le regolamentazioni della privacy.Importante è sottolineare che il dispositivo ovvero, computer, eyetracker e cellulare non vengono forniti da Airett, ma saranno a carico della famiglia. Airett fornirà tutte le caratteristiche dei pc e della strumentazione idonea all’utilizzo del software.Una volta fatta richiesta, verranno organizzate delle sessioni di formazione collettive all’utilizzo di Amélie seguite da sedute settimanali e individuali di affiancamento a distanza dei nostri terapisti Airett con i caregivers delle bambine che utilizzeranno Amélie, per la durata di circa un mese. Al termine di questo mese verranno impostati gli obiettivi di lavoro e i terapisti di AIRett li monitoreranno attraverso la documentazione inviata ai caregivers, i quali la dovranno restituire mensilmente tramite email in modo che i nostri professionisti impostino le supervisioni, che avverranno ogni 6 mesi.

Il software è ora disponibile per le famiglie con le modalità sopra indicate.