Hệ thống nhận diện thủ ngữ (Sign Language) sang văn bản sử dụng mạng Nơ-ron tích chập (CNN)
Từ khoá:
Nhận diện thủ ngữ
MediaPipe
Convolutional Neural Network (CNN)
Tóm tắt
Đồ án tập trung giải quyết bài toán hỗ trợ giao tiếp cho người khiếm thính thông qua việc chuyển đổi thủ ngữ ASL sang định dạng văn bản. Tác giả sử dụng khung làm việc MediaPipe để trích xuất các điểm mốc (landmarks) trên bàn tay, sau đó đưa vào mô hình mạng nơ-ron tích chập (CNN) để phân loại ký tự. Giải pháp này giúp loại bỏ nhiễu từ môi trường nền phức tạp và tập trung vào các đặc trưng hình thái của tay. Kết quả thực nghiệm cho thấy hệ thống đạt độ chính xác cao đối với các ký tự tĩnh và mở ra hướng phát triển cho việc nhận diện các câu giao tiếp động trong tương lai
Tài liệu tham khảo
- I. Goodfellow, Y. Bengio, and A. Courville, Deep Learning. MIT Press, 2016.
- F. Chollet, Deep Learning with Python. Manning Publications, 2017.
- C. Lugaresi et al., "MediaPipe: A Framework for Building Perception Pipelines," arXiv preprint arXiv:1906.08172, 2019.
- L. Pigou et al., "Sign Language Recognition using Convolutional Neural Networks," in Proc. Eur. Conf. Comput. Vis. (ECCV), 2014.