Studentica treće godine inženjerstva sa indijskog Vellore instituta za tehnologiju (VIT), Priyanjali Gupta, razvila je izvanredan model umjetne inteligencije sposoban da prevede američki znakovni jezik na engleski u realnom vremenu.
Prema Priyanjali, njen novorazvijeni model sa AI-om inspirisan je videom naučnika Nikolasa Renotea o detekciji znakovnog jezika u realnom vremenu. Ona je izmislila AI model koristeći Tensorflow API za otkrivanje objekata koji prevodi pokrete ruku koristeći transfer učenja iz unaprijed obučenog modela pod nazivom “ssd_mobilenet”.
– Set podataka se ručno pravi pomoću kompjuterske web kamere i daje napomene. Model je, za sada, obučen na pojedinačnim okvirima. Da bi detektovao video zapise, model mora biti obučen na više okvira, za koje ću vjerovatno koristiti Long short mreže terminske memorije (LSTM), rekla je Priyanjali u intervjuu za Analytics Drift.
Također je napomenula da je izgradnja modela deep learninga posvećenog detekciji znakovnog jezika prilično izazovna i vjeruje da će zajednica “open source” uskoro pronaći rješenje. Ona je dalje rekla da bi u budućnosti moglo biti moguće izgraditi modele deep learninga samo za znakovne jezike.
Ranije 2016. godine, dva studenta sa Univerziteta Washington po imenu Thomas Pryor i Navid Azodi izmislili su par rukavica pod nazivom “SignAloud”, koje su mogle prevesti znakovni jezik u govor ili tekst.