IIT-AIIMS’ Low-Cost ‘Talking Gloves’ For Speech Disabilities is Language-Independent

Talking Gloves

Sayan apa yang bisa menjadi terobosan signifikan bagi penyandang disabilitas wicara, dokter dan insinyur dari Institut Ilmu Kedokteran Seluruh India (AIIMS) Jodhpur dan Institut Teknologi India (IIT) Jodhpur, masing-masing, telah mengembangkan ‘Sarung Tangan Bicara’ yang murah.

Dengan harga kurang dari Rs 5.000, perangkat ini menggunakan prinsip kecerdasan buatan (AI) dan pembelajaran mesin (ML) untuk secara otomatis menghasilkan ucapan yang “tidak tergantung bahasa” dan memfasilitasi percakapan antara orang yang bisu dan tidak. Apa yang pada dasarnya dilakukan oleh perangkat ini adalah membantu seseorang dengan disabilitas bicara untuk mengubah gerakan tangan menjadi teks atau suara yang sudah direkam sebelumnya. Hal ini memungkinkan orang tersebut untuk mengkomunikasikan pesan mereka secara mandiri.

Memimpin tugas dalam desain dan pengembangan Talking Gloves adalah Profesor Sumit Kalra, Asisten Profesor di Departemen Ilmu dan Teknik Komputer, IIT Jodhpur.

Dia dengan cakap dibantu oleh sesama inovator Dr Arpit Khandelwal dari IIT Jodhpur, dan Dr Nithin Prakash Nair (Penduduk Senior, Otorhinolaryngology atau THT), Dr Amit Goyal (Profesor dan Kepala, Departemen Otorhinolaryngology) dan Dr Abhinav Dixit (Profesor, Departemen Fisiologi ), dari AIIMS Jodhpur.

Mereka bahkan telah memperoleh paten untuk inovasi ini.

“Berbagai situasi yang telah ditentukan sebelumnya mengakibatkan penyakit atau cedera pada orang-orang dan menghilangkan kemampuan alami mereka untuk berkomunikasi secara verbal…Bahasa isyarat adalah cara komunikasi bagi pasien yang terpengaruh sejak lahir… [However] Dalam beberapa tahun terakhir, kemajuan teknologi di bidang perangkat elektro-medis untuk mendukung kehidupan, perangkat biomedis implan, dan perangkat medis yang dapat dipakai telah berhasil memberikan kemampuan buatan kepada orang-orang yang menderita terkait dengan segala jenis kecacatan atau gangguan,” catat paten 2019 mereka. aplikasi.

Dalam hal ini, inovasi yang dipatenkan dari para peneliti di IIT Jodhpur dan AIIMS Jodhpur merupakan langkah signifikan menuju kemajuan di bidang ini.

“Perangkat generasi pidato bahasa-independen akan membawa orang kembali ke arus utama di era global saat ini tanpa hambatan bahasa. Pengguna perangkat hanya perlu belajar sekali dan mereka akan dapat berkomunikasi secara verbal dalam bahasa apa pun dengan pengetahuan mereka. Selain itu, perangkat dapat dikustomisasi untuk menghasilkan suara yang mirip dengan suara asli pasien sehingga tampak lebih natural saat menggunakan perangkat,” kata Prof Sumit Kalra, dalam siaran pers yang dikeluarkan IIT Jodhpur awal pekan ini.

Inspirasi

Dorongan awal untuk inovasi ini datang dari Dr Amit Goyal dan Dr Abhinav Dixit yang telah lama berpikir untuk memecahkan masalah rehabilitasi bagi pasien yang menderita kehilangan kemampuan vokal. Mereka mengamati bahwa rehabilitasi bicara adalah proses yang sulit dan sering kali orang tersebut mengalami banyak stres. “Tingkat keberhasilan [of speech rehabilitation] juga serendah 33 persen. Bahkan dengan metode dan perangkat digital yang ada, kualitas suara yang dihasilkan juga tidak bagus. Ini memotivasi mereka untuk mencari solusi yang cocok,” kata Prof Kalra, berbicara kepada India yang Lebih Baik.

Dr Goyal dan Dr Dixit, bersama dengan Dr Nithin Prakash Nair, bertemu dengan Profesor Sumit Kalra dan Profesor Arpit Khadelwal dari IIT Jodhpur untuk membahas kemungkinan solusi pada Oktober 2018. Setelah sesi brainstorming selama berjam-jam, mereka menemukan solusi saat ini.

Iklan

Spanduk Iklan

“Butuh waktu delapan bulan untuk mengembangkan prototipe pertama dan menunjukkan kelayakannya. Permohonan paten diajukan pada September 2019. Tantangan utama adalah menghasilkan skrip yang tidak bergantung pada bahasa dan seperangkat sensor dan metode yang sesuai untuk menghasilkan pidato,” kenang Prof Kalra.

Bagaimana cara kerjanya?

Sinyal listrik dihasilkan oleh set sensor pertama di perangkat yang dikembangkan, dapat dikenakan pada kombinasi ibu jari, jari, dan/atau pergelangan tangan dominan pengguna. Sinyal listrik ini dihasilkan oleh kombinasi gerakan jari, ibu jari, tangan dan pergelangan tangan. Demikian pula, sinyal listrik juga dihasilkan oleh set kedua sensor di sisi lain.

Sinyal listrik ini diterima di unit pemrosesan sinyal. “Besarnya sinyal listrik yang diterima dibandingkan dengan sejumlah kombinasi besaran yang telah ditentukan sebelumnya yang disimpan dalam memori dengan menggunakan unit pemrosesan sinyal,” catat aplikasi paten.

Dengan menggunakan algoritme AI dan ML, kombinasi sinyal ini diterjemahkan ke dalam fonetik yang sesuai dengan setidaknya satu konsonan dan vokal.

“Dalam implementasi contoh, konsonan dan vokal bisa dari fonetik bahasa Hindi. Sebuah fonetik ditugaskan untuk sinyal listrik yang diterima berdasarkan perbandingan. Sinyal audio dihasilkan oleh pemancar audio yang sesuai dengan fonetik yang ditetapkan dan berdasarkan data terlatih yang terkait dengan karakteristik vokal yang disimpan dalam unit pembelajaran mesin. Generasi sinyal audio menurut fonetik yang memiliki kombinasi vokal dan konsonan mengarah ke generasi pidato dan memungkinkan orang bisu untuk berkomunikasi secara terdengar dengan orang lain. Teknik sintesis ucapan dari materi pelajaran saat ini menggunakan fonetik, dan oleh karena itu generasi ucapan tidak tergantung pada bahasa apa pun, ”tambahnya.

“Gerakan jari dari kedua tangan digunakan untuk memetakan suku kata fonetik dan diberikan sebagai input ke modul pembangkitan suara untuk menghasilkan suara. Modul generasi ucapan dapat disesuaikan untuk memilih aksen berdasarkan preferensi pengguna. Untuk pengembangan prototipe, kami telah menggunakan sarung tangan biasa yang tersedia di pasar dan memasang sensor yang sangat ringan pada sarung tangan tersebut. Secara umum, bahan sarung tangan biasa bisa digunakan untuk tujuan ini,” kata Prof Kalra.

Sarung Tangan Berbicara IIT
Gambar Representasional: “Metode yang ada untuk menghasilkan ucapan adalah simbolis atau bergantung pada bahasa.” (Sumber: def.org.in)

Berbicara tentang keuntungan khusus yang dimiliki ‘Talking Gloves’ bagi penyandang disabilitas, Kalra mencatat, “Metode yang ada untuk menghasilkan ucapan adalah simbolik atau bergantung pada bahasa. Metode simbolik memiliki keterbatasan dalam hal cakupannya tentang apa yang dapat diucapkan dan metode yang bergantung pada bahasa dibatasi oleh bahasa saja. Dengan metode yang diusulkan, seseorang dapat berbicara bahasa apa pun dengan kombinasi kata apa pun tanpa batasan seperti itu.”

Tim ini selanjutnya bekerja untuk meningkatkan fitur seperti daya tahan, bobot, daya tanggap, dan kemudahan penggunaan, dari perangkat yang dikembangkan. Produk yang dikembangkan akan dikomersialkan melalui startup yang diinkubasi oleh IIT Jodhpur. Pengguna dan pelanggan potensial dapat mengharapkan versi pertama dari Sarung Tangan Bicara ini diluncurkan di pasar pada akhir tahun 2022.

(Diedit oleh Yoshita Rao)

Suka cerita ini? Atau punya sesuatu untuk dibagikan? Tulis kepada kami: contact@thebetterindia.com, atau terhubung dengan kami di Facebook dan Indonesia.

Author: Aaron Ryan