Deteksi Bahasa Isyarat Indonesia (BISINDO) Pada Video dengan YOLOv7

Abstrak

Bahasa isyarat merupakan metode berkomunikasi yang tidak menggunakan suara, namun menggunakan gerakan fisik seperti tangan, tubuh, dan bibir. Salah satu bahasa isyarat yang banyak digunakan penyandang tuli untuk berkomunikasi adalah Bahasa Isyarat Indonesia (BISINDO). Pada penelitian ini bertujuan menerapkan model deteksi objek deteksi dan klasifikasi citra gestur abjad BISINDO dengan menggunakan algoritma You Only Look Once (YOLO) versi 7. Penelitian ini menggunakan data citra video yang terdiri dari 26 abjad alfabet. Pada penelitian ini dilakukan 3 percobaan dengan nilai parameter yang berbeda. Evaluasi dilakukan menggunakan metrik mean Average Precision (mAP), precision, recall, dan F1-Score. Berdasarkan percobaan yang dilakukan nilai akurasi terbaik didapatkan pada percobaan 1 dengan nilai parameter epoch = 100, batch size = 64, learning rate = 0.001, weight decay = 0.0001, dan momentum = 0.9 menghasilkan  nilai mAP@IoU 0.5 sebesar 0.995, recall 1.00, precision 1.00, F1-Score 1.00. Meskipun demikian, ditemukan bahwa pada penerapan model kedalam model real-time, hasil deteksi tidak sebaik hasil yang didapatkan pada proses pelatihan.