Jelek, amelyek szöveggé alakulnak át

Gyerekek tesztelték a siketek és hallók kommunikációját forradalmasító magyar fejlesztésű technológia oktató modulját, a Learn ASL-t.

A SignAll projekt húsz fős csapata az utóbbi 3-4 évben hozta létre a működő prototípusát annak a technológiának, amely forradalmasíthatja a kommunikációt a siketek és a hallók között. Más projektekkel ellentétben ez a fejlesztés nem csupán felismeri a jelnyelv jeleit, hanem a világon elsőként a jelnyelvi mondatokat angol nyelvre le is fordítja. Eddig a felnőtt korosztály volt a fókuszban, a fejlesztők most a Funside School délutáni iskolában programozást és angolt tanuló gyerekeket hívták meg a jelnyelvet oktató modul tesztelésére.

A jelelést tanító oktatóprogram egyszerű kifejezéseket tanított a gyerekeknek, akik aztán maguk mutatták meg, hogy mit hogyan jelelnének el. A technológia helyes működéséhez egyelőre elengedhetetlen egy színes kesztyű viselése – ebből képes a szerkezet kitalálni, hogy milyen pozíciót vesz fel a kéz egy-egy jelelés során. A tesztelést nyomon követték a SignAll kutatói, feljegyezték milyen jeleket milyen pontossággal ismer fel a rendszer, miben kell finomhangolni a fejlesztést.

A rendszer a jelnyelvet teljes komplexitásában képes értelmezni és nyelvtanilag helyes, értelmes (angol) mondatokra fordítani. A szoftver kamerák segítségével érzékeli a jeleket, és egy chatfelületen szöveggé alakítja, hogy a jelnyelvet nem beszélők elolvashassák. A másik oldalon pedig a halló fél beszédét beszédfelismerő technológia segítségével dolgozza fel a rendszer, és szintén írott szöveggé konvertálja, amelyet a siket fél elolvashat.

A fejlesztés megoldásának összetettségét az adja, hogy a jelnyelv nem csupán különálló jelek sorozata, hanem olyan további szempontok is hozzájárulnak a jelentés közvetítéséhez, mint az arckifejezés, a testtartás vagy a tér használata – a SignAll rendszere pedig képes ezeket is figyelembe venni.

A fejlesztés egyelőre az amerikai jelnyelv (ASL) angol hangzó nyelvre történő fordítására képes, de folyamatban van a fordított irányú, azaz hangról jelnyelvre történő fordítás megoldása is, valamint tervezik a projekt kiterjesztését a magyar jelnyelvhasználók számára megoldást nyújtó alkalmazás megvalósítására.