Nghiên cứu tập trung vào việc tự động hóa quy trình kiểm thử giao diện người dùng (UI) bằng cách ứng dụng thuật toán nhận diện đối tượng YOLO. Hệ thống có khả năng tự động phát hiện và phân loại các thành phần giao diện như nút bấm, ô nhập liệu từ ảnh chụp màn hình ứng dụng. Việc này giúp giảm thiểu sai sót thủ công và tăng tốc độ kiểm thử phần mềm. Đồ án đã thực hiện từ khâu xây dựng bộ dữ liệu gán nhãn đến huấn luyện và đánh giá mô hình trên các kịch bản thực tế.