Article Info Pengenalan Bahasa Isyarat Otomatis Menggunakan Algoritma CNN, LSTM, dan N-GRAM
PENGENALAN BAHASA ISYARAT OTOMATIS MENGGUNAKAN ALGORITMA CNN, LSTM, DAN N-GRAM
Keywords:
CNN, Bahasa Isyarat, TensorFlow.js, HandPose, Web Speech API, Realtime , AksesbilitasAbstract
Keterbatasan pemahaman masyarakat umum terhadap bahasa isyarat kerap menjadi kendala komunikasi bagi penyandang tunarungu dan tunawicara di Indonesia. Sebagai solusi dari permasalahan tersebut, penelitian ini merancang sebuah sistem pengenalan bahasa isyarat otomatis berbasis web. Sistem ini memanfaatkan algoritma Convolutional Neural Network (CNN) untuk mendeteksi sekaligus mengklasifikasikan gestur tangan secara real-time, yang kemudian diterjemahkan menjadi output suara berbahasa Indonesia. Proses deteksi dilakukan dengan memetakan 21 titik (landmark) pada tangan. Selanjutnya, sistem mengklasifikasikan delapan gestur dasar menggunakan pendekatan berbasis aturan (rule-based) yang mengacu pada pola biner status jari. Pengembangan perangkat lunak ini menggunakan metode Waterfall, sedangkan evaluasi kelayakannya dilakukan melalui pengujian Black-box dengan 15 skenario uji. Berdasarkan hasil pengujian, sistem terbukti mampu mengenali kedelapan gestur tersebut dengan akurat dan sangat responsif, mencatat latensi rata-rata di bawah 100 milidetik per frame. Keunggulan lainnya, aplikasi ini dapat diakses dengan lancar langsung melalui browser tanpa mengharuskan pengguna melakukan instalasi perangkat lunak tambahan.
References
Badan Pusat Statistik. (2023). Statistik penduduk penyandang disabilitas Indonesia 2023. BPS Indonesia.
Cholifah, W. N., Yulianingsih, & Sagita, S. M. (2018). Pengujian black box testing pada aplikasi Action & Strategy berbasis Android dengan teknologi PhoneGap. Jurnal String, 3(2), 206–210.
Google. (2023a). HandPose model for TensorFlow.js. Diperoleh dari https://github.com/tensorflow/tfjs-models/tree/master/handpose.
Google. (2023b). TensorFlow.js: Machine learning for the web and beyond. Diperoleh dari https://www.tensorflow.org/js
Handayani, A. N., Hariyono, H., Nasih, A. M., Rochmawati, R., Hitipeuw, I., Ar Rosyid, H., Ardiansah, J. T., Praja, R. I., Nurdiansyah, A., & Azizah, D. F. (2025). Comparative analysis of speech-to-text APIs for supporting communication of the deaf community. Indonesian Journal of Data and Science, 6(3), 492–500.
Jurafsky, D., & Martin, J. H. (2021). Speech and Language Processing (3rd ed.). Draft version. Stanford University.
Khan, R., Ahmad, S., & Ali, M. (2022). Performance analysis of N-gram language models for text prediction. International Journal of Advanced Computer Science and Applications, 13(5), 45–52.
LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. Nature, 521(7553), 436–444.
Norré, L. (2020). Word prediction using N-gram models in augmentative and alternative communication systems. Assistive Technology Journal, 32(4), 210–218.
Mahardika, M. A. R., Yudistira, N., & Ridok, A. (2024). Sistem rekognisi citra digital bahasa isyarat menggunakan convolutional neural network dan spatial transformer. Jurnal Teknologi Informasi dan Ilmu Komputer, 11(6), 1159–1168. https://doi.org/10.25126/jtiik.2023118098
Moryossef, A., Tsochantaridis, I., Aharoni, R., Ebling, S., & Narayanan, S. (2020). Real-time sign language detection using human pose estimation. arXiv preprint arXiv:2008.04637.
Mozilla. (2026a). Canvas API. Diperoleh dari https://developer.mozilla.org/en-US/docs/Web/API/Canvas_API.
Mozilla. (2026b). WebRTC API. Diperoleh dari https://developer.mozilla.org/en-US/docs/Web/API/WebRTC_API.
Myers, G. J., Sandler, C., & Badgett, T. (2022). The art of software testing (4th ed.). John Wiley & Sons.
Norré, M. (2020). Evaluation of a word prediction system in an augmentative and alternative communication for disabled people. Mathematical Modelling of Engineering Problems, 8(1–4), 49–54.
Oyedotun, O. K., & Khashman, A. (2017). Deep learning in vision-based static hand gesture recognition. Neural Computing and Applications, 28(12), 3941–3951.
[17]Paul, S. K., Walid, M. A. A., Paul, R. R., Uddin, M. J., Rana, M. S., Devnath, M. K., Dipu, I. R., & Haque, M. M. (2024). An Adam based CNN and LSTM approach for sign language recognition in real time for deaf people. Bulletin of Electrical Engineering and Informatics, 13(1), 499–509.
Pressman, R. S., & Maxim, B. R. (2021). Software engineering: A practitioner's approach (9th ed.). McGraw-Hill Education.
Reddy, S., Kumar, P., & Sharma, V. (2022). Time series prediction using LSTM networks. Journal of Artificial Intelligence Research, 68, 345–360.
Rodríguez-Correa, P. A., Valencia-Arias, A., Patiño-Toro, O. N., Oblitas Díaz, Y., & Teodori De la Puente, R. (2023). Benefits and development of assistive technologies for Deaf people's communication: A systematic review. Frontiers in Education, 8, 1121597.
Smilkov, D., Thorat, N., Assogba, Y., Yuan, A., Kreeger, N., Yu, P., Zhang, K., Cai, S., Nielsen, E., Soergel, D., Bileschi, S., Terry, M., Nicholson, C., Gupta, S. N., Sirajuddin, S., Sculley, D., Monga, R., Corrado, G., Viégas, F. B., & Wattenberg, M. (2019). TensorFlow.js: Machine learning for the web and beyond. arXiv preprint arXiv:1901.05350.
Sommerville, I. (2022). Software engineering (10th ed.). Pearson Education.
W3C. (2018). Web content accessibility guidelines (WCAG) 2.1. Diperoleh dari https://www.w3.org/TR/WCAG21/.
W3C. (2022). WebRTC 1.0: Real-time communication between browsers. Diperoleh dari https://www.w3.org/TR/webrtc/.
W3C. (2023). Web Speech API specification. Diperoleh dari https://wicg.github.io/speech-api/.
Yadav, A., Patel, K., & Mehta, R. (2021). Applications of LSTM in natural language processing: A review. International Journal of Machine Learning and Computing, 11(3), 250–256.
Zhang, F., Bazarevsky, V., Vakunov, A., Tkachenka, A., Sung, G., Chang, C. L., & Grundmann, M. (2020). MediaPipe Hands: On-device real-time hand tracking. arXiv preprint arXiv:2006.10214..
