A nagyothallók és siketek kommunikációjában főszerepet játszik a jelbeszéd, amely kézmozdulatokkal, arcjátékkal, testbeszéddel teszi lehetővé bonyolult mondanivalók kifejtését. Ennek minden nyelvben külön szótára, nyelvtana és mondattana van, például még a brit, az ausztrál és az amerikai jelnynelv is különbözik egymástól. Már eddig is készültek olyan programok, amelyek valós időben próbálják lefordítani a jelnyelvet (írott) szavakra, a kezekre szerelt mozgásérzékelőket és komputeres képalkotó technológiákat használva. A Floridai Atlanti Egyetem számítógép-tudományi tanszékének kutatói most olyan kísérletről számoltak be, amelynek során az amerikai jelnyelv (ASL) csaknem 30 ezer statikus jelének fordítógéppel való értelmezését tették lehetővé.
A MediaPipe, a Google mesterséges intelligenciája segítségével minden gesztust 21 jellemzője alapján írtak le, ezekkel bőséges információt nyújtva a kezek szerkezetéről, pozíciójáról. Ezek az adatok sokat segítettek a YOLOv8 gépi tanulás program fejlesztésében, képzésében ahhoz, hogy sokkal jobban értelmezze a finom eltéréseket a kézhelyzetek között, mindezt figyelemre méltó, 98 százalékos pontossággal teszi. Kutatók korábban már dolgoztak a YOLOv5-tel is, ami nagyon könnyen kezelhető, de annak a pontossága még jó tíz százalékkal alacsonyabb volt.
A hallássérültek számára hatalmas előrelépés volna egy olyan applikáció, amely az általuk jelnyelven elmondottakat mások számára érthető szöveggé alakítaná. A továbbiakban még fejlesztik a modellt, hogy nagyobb adatbázisa legyen a különböző kézformákról és gesztusokról annak érdekében, hogy jobban meg tudja különböztetni a hasonló gesztusokat, ezzel növelve pontosságát, továbbá olyan segédeszközket készítenek hozzá, amelyekkel biztosítható a valósidejűség olyan környezetben, ahol a mozdulatok nehezebben értelmezhetők.
