Viettel huấn luyện mô hình AI chủ quyền tiếng Việt 120 tỷ tham số

Làm chủ LLM tiếng Việt là bước đi cốt lõi để hình thành các giải pháp AI chủ quyền tại Việt Nam. Ảnh: Viettel

Thông qua các bài kiểm tra, VT-Super-120B-A12B - mô hình ngôn ngữ lớn (Large Language Model - LLM) tiếng Việt do Viettel AI nghiên cứu và làm chủ đạt hiệu suất cao, nằm trong nhóm dẫn đầu về độ chính xác so với các mô hình có cùng quy mô.

Đây là kết quả của việc mô hình được huấn luyện trên dữ liệu bản địa và tối ưu cho các bài toán nghiệp vụ trong nước. Đáng chú ý, VT-Super-120B-A12B tăng cường năng lực xử lý tiếng Việt mà không làm suy giảm hiệu năng tiếng Anh của mô hình gốc, đồng thời hạn chế hiện tượng quên kiến thức cũ thường gặp trong quá trình huấn luyện và tinh chỉnh mô hình AI.

VT-Super-120B-A12B được xây dựng trên kiến trúc mở NVIDIA Nemotron 3 Super với quy mô 120 tỷ tham số, do đội ngũ kỹ sư Việt Nam trực tiếp huấn luyện, tinh chỉnh và tối ưu cho tiếng Việt. Khả năng xử lý ngữ cảnh dài của kiến trúc NVIDIA Nemotron cho phép mô hình duy trì mạch thông tin xuyên suốt giữa nhiều tài liệu, quy trình và hội thoại phức tạp trong cùng một tác vụ.

Việc sở hữu một mô hình lõi có khả năng ghi nhớ và thích ứng linh hoạt với dữ liệu thực tế tạo tiền đề để Viettel AI tinh chỉnh LLM đạt độ chính xác cao, giải quyết triệt để việc tối ưu hóa ứng dụng AI cho từng tổ chức, doanh nghiệp Việt Nam.

VT-Super-120B-A12B được xây dựng trên kiến trúc mở NVIDIA Nemotron 3 Super, có khả năng xử lý ngữ cảnh dài. Ảnh: NVIDIA

Bên cạnh việc kế thừa năng lực từ kiến trúc NVIDIA Nemotron 3 Super, Viettel AI cũng xây dựng quy trình huấn luyện LLM dựa trên các nguồn dữ liệu mang tính bản địa như dữ liệu hành chính, nghiệp vụ doanh nghiệp, hội thoại thực tế và hệ thống văn bản chuyên ngành tại Việt Nam.

Quá trình này gồm nhiều giai đoạn huấn luyện; trong đó, giai đoạn tiếp tục tiền huấn luyện mở rộng năng lực ngôn ngữ và tri thức tiếng Việt trên kho dữ liệu quy mô lớn. Tiếp theo, mô hình được tinh chỉnh có giám sát nhằm cải thiện khả năng suy luận, sau đó được học tăng cường để nâng cao độ chính xác trong phản hồi và khả năng xử lý nghiệp vụ.

Trên nền tảng mô hình này, Viettel AI đang phát triển nền tảng AI Agent dành cho người Việt với khả năng tự thực hiện chuỗi tác vụ trong cùng một không gian làm việc. Trong đó, trợ lý AI pháp luật là một trong những ứng dụng đầu tiên, được kỳ vọng sẽ sở hữu khả năng hỗ trợ phân tích hồ sơ, đối chiếu quy định, tổng hợp dữ liệu và đề xuất giải pháp xử lý theo bài toán cụ thể của người dùng, với chất lượng được nâng cao đáng kể so với các phiên bản trước đây.

Từ hành chính công, chăm sóc khách hàng đến vận hành doanh nghiệp và phân tích dữ liệu, VT-Super-120B-A12B được định hướng trở thành công nghệ lõi cho các hệ thống AI hiểu và phục vụ đúng nhu cầu thực tế của tổ chức, doanh nghiệp Việt Nam.