Home > News > I.S.A… I Speak Again!

ISA I.S.A., I Speak Again, è un progetto di Informatici Senza Frontiere nato nella sezione Puglia nel 2011 a seguito di una richiesta di aiuto pervenuta al nostro responsabile progetti, Dino Maurizio, da un malato di SLA (Sclerosi Laterale Amiotrofica) il quale, in fase terminale, impossibilitato al movimento ed alla parola, per comunicare con i propri amici e parenti, utilizzava un sistema molto avanzato e costoso, che gli permetteva di intercettare il movimento della pupilla per muovere il mouse sullo schermo per digitare parole riprodotte poi in sintesi vocale.

Dino Maurizio ci ha parlato della sua situazione, creando in noi un grande interesse per le esigenze di questa tipologia di malati.
Abbiamo così pensato di creare uno strumento simile a quello utilizzato, scrivendo noi, da un lato, il core del codice, e avvalendoci di software open source per creare le componenti più difficili.

E’ nata così I.S.A., acronimo di “I Speak Again”… “Io parlo di nuovo”.

I.S.A. È una tastiera virtuale, interamente progettata e realizzata dai soci di ISF, che, pur permettendo alla sua prima beta release, un’esperienza utente di rilievo, non pretende di essere uno strumento definitivo, né di funzionare alla perfezione, ma vuol porre le basi per qualcosa di più evoluto, apre una strada allo sviluppo di nuovi strumenti di assistenza.

L’intento è quello di cercare una strada semplice e immediata per restituire la parola a chi per malattia perde temporaneamente o definitivamente la possibilità di parlare e muoversi.

“Ho freddo”, “ho caldo”, “voglio andare a dormire”, “mi fa male la testa”, frasi apparentemente banali, eppure chiaro specchio di bisogni primari che sono da sempre parte integrante della nostra quotidianità. Ogni persona nel pieno delle sue capacità motorie impiega un solo secondo per pronunciarle. Un malato di Sclerosi Laterale Amiotrofica, o un tetraplegico anartrico (senza l’uso della parola) “murato vivo” dentro un corpo granitico che ne avvolge la mente vigile, può impiegare parecchi minuti per esprimere il più banale concetto. Con I.S.A., però può farlo con il suo pc. Si calibrano inziialmente i movimenti del viso o dell’occhio, e con una connessione ad Internet o intranet o sullo stesso pc, si possono digitare con il movimento dell’occhio o del viso le lettere che compaiono sulla tastiera virtuale così da comporre la frase che gli permetterà di far capire a chi lo segue ciò di cui ha bisogno o che vuole esprimere.

ISA è proprio questo, una applicazione web on-line, ma installabile anche in locale su un webserver di tipo Xampp, quindi lanciabile da una comune cartella scaricabile in formato zip, disponibile per tutti, realizzata utilizzando HTML5 (non ancora uno standard web), i fogli di stile CSS3, il framework JavaScript jQuery, il plugin multimediale jPlayer, e il sistema di Text To Speech Open Source Festival. L’uso di una webcam pilotata da uno dei software Open Source da noi selezionati, completa poi l’equipaggiamento, permettendo al paziente di spostare il cursore del mouse con i movimenti del viso, o anche solo con i movimenti degli occhi. L’utente può comunque acquistare un sistema di puntamento a pupilla a pagamento che offre la massima precisione del movimento, oppure utilizzare uno dei software open source indicati a destra nella stessa pagina. Questa lista è destinata ad ampliarsi, anche grazie alle segnalazioni che vorrete farci.

 

La versione base si presenta con una tastiera virtuale alfanumerica completa di punteggiatura, e di una barra inferiore munita di pulsanti sui quali sono scritte alcune parole utili per comunicare i propri bisogni primari: sete, fame, sonno, freddo ma anche leggere un libro o guardare un film. Al momento le parole della barra inferiore sono predefinite, ma stiamo lavorando ad una versione customizzabile e soprattutto multilingua.
Con opportune scelte che abbiamo operato, piuttosto che realizzare i tasti di combinazione come SHIFT, CTRL, ALT, grazie alla generosa dimensione dei pulsanti di I.S.A., abbiamo pensato di dividere i tasti con più caratteri in 2 o 4 parti, riportando in ciascuna sottoarea, il carattere previsto. Ad esempio, per digitare il carattere “$”, sarà sufficiente cliccare sulla metà superiore del tasto 4, mentre per digitare il numero 4, sulla parte inferiore, e così via, ma vi invitiamo a provarla per comprendere meglio le nostre scelte.

 

Cliccando sui bottoni con le parole già scritte o scrivendo una frase con le lettere della tastiera e cliccando sul tasto “Parla!” dopo aver completato il testo, jQuery raccoglie la stringa e, con una chiamata AJAX la posta al server, dove un sintetizzatore vocale riceve la richiesta, genera il file audio che restituisce in callback alla pagina, dove poi il plugin jPlayer avrà il compito di riprodurlo. Le casse del pc faranno il resto.
Si può equipaggiare I.S.A. mediante sintetizzatori a pagamento e voci di qualità superiore, o altri di medio costo come ad esempio Loquendo. Al momento la beta 0.1 di I.S.A. utilizza, le voci Mbrola, a corredo del sintetizzatore vocale Open Source Festival, di qualità non eccelsa, ma più che sufficienti per un funzionamento dignitoso.

La versione base permette a tutti gli utenti che dispongono di un pc e di una webcam di utilizzare immediatamente I.S.A., da casa, in un letto di ospedale, ovunque si trovino senza dover configurare nulla.

E’ in fase di sviluppo la versione personalizzabile che prevede una registrazione dell’utente inserendo solo un codice (userid) sempre dalla tastiera virtuale. Loggandosi l’utente potrà configurare, sempre con il solo movimento degli occhi, un proprio profilo modificando le parole presenti sui bottoni e sostituendole con quelle più frequentemente utilizzate nella sua vita.

Nella road map sono inoltre previste le seguenti features:

  • invio di testo in modalità push basato su node.js alle persone che assistono il malato
    (oggetto della tesi del nostro laureando Maurizio Caprioli, seguito in qualità di tutor ISF da Roberto De Nicolò e con relatore il prof. Filippo Lanubile del Dipartimento di Informatica dell’Università di Bari, nonché membro del Comitato Tecnnico Scientifico di I.S.F., questa feature verrà rilasciata dopo la seduta di laurea, ed al momento è disattiva nella versione online)
     
  • invio di posta elettronica
     
  • invio di sms
     
  • attivazione di un sistema come il T9 per la “digitazione” rapida
     
  • skip della generazione dei testi già digitati, per una più rapida riproduzione del file audio
     
  • associazione al proprio account sui social network mediante API
     
  • possibilità di uploadare un e-book per una lettura automatica
     
  • possibilità di conferenza audio, mediante sintesi remota del testo digitato

 

L’obiettivo del progetto è di offrire a tutti, anche ai non esperti, uno strumento facile da utilizzare, gratuito e che non lasci nessuno nel silenzio, dando la possibilità a chiunque viva situazioni così difficili di pensare… “Io parlo di nuovo”.

Su suggerimento dello stesso prof. Lanubile, abbiamo reso disponibili i sorgenti di I.S.A. Su github a questo url:
https://github.com/informatici/ISA-I-Speak-Again-by-ISF

 

I.S.F. I.S.A. beta 0.1 è disponibile qui:
http://www.walks.to/isa/

 

Credits:

  • segnalazione: Dino Maurizio
     
  • realizzazione tastiera virtuale: Chiara de Felice e Roberto rodenic De Nicolò
     
  • hosting e configurazione server: Maurizio mizzio Bertoldi
     
  • installazione e configurazione sintesi vocale Festival: Rino del Campo
     
  • installazione e configurazione sistema push node.js e socket.io: Fabrizio Lippolis
     
  • modulo push basato su node.js: Maurizio Caprioli (laureando) e relatore Prof. Filippo Lanubile
     

La versione beta è online e disponibile.
Guarda come funziona: http://youtu.be/v9R07hMD34Y