Bio-ingenieurs van de UCLA Samueli School of Engineering hebben een handschoenachtig apparaat bedacht dat Amerikaanse gebarentaal in realtime in Engelse spraak kan vertalen via een smartphone-app. Het systeem omvat een paar handschoenen met dunne, rekbare sensoren die door de lengte van elk van de vijf vingers lopen.
De sensoren op de handschoen zijn gemaakt van elektrisch geleidende garens en registreren handbewegingen en vingerplaatsingen (die staan voor individuele letters, cijfers, woorden en zinnen). Het apparaat zet de vingerbewegingen vervolgens om in elektrische signalen, die naar een printplaat ter grootte van een dollar-munt worden gestuurd die om de pols wordt gedragen. Het bord verzendt die signalen draadloos naar een smartphone die ze vertaalt in gesproken woorden met een snelheid van ongeveer één woord per seconde.
Het apparaat bevat ook zelfklevende sensoren die op de gezichten van de testers passen (tussen hun wenkbrauwen en aan één kant van hun mond) om gezichtsuitdrukkingen vast te leggen die deel uitmaken van de Amerikaanse gebarentaal. Het apparaat is gemaakt van lichtgewicht en goedkope maar duurzame, rekbare polymeren. De elektronische sensoren zijn ook erg flexibel en goedkoop.
Het draagbare apparaat is getest op vier dove mensen die Amerikaanse gebarentaal gebruiken. De dragers herhaalden elk handgebaar 15 keer en een aangepast algoritme voor machine learning veranderde deze gebaren in de letters, cijfers en woorden die ze vertegenwoordigden. Het systeem herkende 660 tekens, inclusief elke letter van het alfabet en de cijfers 0 tot en met 9. Het apparaat is niet omvangrijk of oncomfortabel en maakt het gemakkelijker voor mensen die gebarentaal gebruiken om rechtstreeks te communiceren met niet-gebarende gebruikers zonder de hulp van iemand anders. Het commerciële model dat op deze technologie is gebaseerd, zou extra woordenschat en snellere vertaaltijden vereisen.