Luận văn tập trung nghiên cứu kiến trúc Transformer và ứng dụng vào bài toán thêm dấu cho văn bản tiếng Việt. Trước hết, luận văn hệ thống hóa các kiến thức nền tảng về xử lý ngôn ngữ tự nhiên, đặc điểm ngữ âm và chính tả tiếng Việt liên quan đến dấu thanh. Tiếp theo, nghiên cứu chi tiết kiến trúc Transformer với cơ chế Self-Attention, đồng thời khảo sát các mô hình tiền huấn luyện như BERT và PhoBERT. Trên cơ sở đó, luận văn đề xuất mô hình dựa trên PhoBERT kết hợp với các kỹ thuật tinh chỉnh để giải quyết bài toán thêm dấu. Kết quả thực nghiệm trên các bộ dữ liệu tiếng Việt cho thấy mô hình đề xuất đạt độ chính xác cao, vượt trội so với các phương pháp truyền thống dựa trên n-gram hay CRF, khẳng định hiệu quả của việc ứng dụng mô hình Transformer vào nhiệm vụ này.