Theo đó, các mô hình LLM từ Việt Nam đã xuất sắc thăng hạng lên vị trí số 2, cạnh tranh trực tiếp với các LLM hàng đầu thế giới như Llama-3-70B của Meta hay GPT-4 của OpenAI. 

Cụ thể, trong bảng xếp hạng các mô hình from-scratch models, mô hình KiLM-13b-v24.7.1 do Zalo AI phát triển đã đạt số điểm tổng quát trung bình 66,07 điểm, chỉ xếp sau Llama-3-70B với 66,44 điểm. Bên cạnh đó, mô hình ViGPT-1.6B-v1 của Vin BigData nằm trong Top 10 của bảng xếp hạng. `

Báo cáo do Zalo AI và Viện Khoa học & Công nghệ tiên tiến Nhật Bản tiến hành cũng ghi nhận sự nở rộ mạnh mẽ của các mô hình LLM hướng đến người dùng Việt Nam. Cụ thể trong năm 2024, VMLU công bố 45 LLM trên bảng xếp hạng, tiếp nhận yêu cầu đánh giá của hơn 155 tổ chức & cá nhân, tổng kết 691 lượt tải bộ tiêu chuẩn đánh giá và 3.729 lượt đánh giá LLM từ nền tảng.

LMM tiêu biểu do doanh nghiệp Việt Nam phát triển.

Bảng xếp hạng năng lực các Mô hình LLM tiếng Việt được xây dựng dựa trên nền tảng VMLU (Vietnamese Mastery Language Understanding). Đây là nền tảng đầu tiên tại Việt Nam được thiết kế để đánh giá năng lực tiếng Việt của các mô hình ngôn ngữ lớn (LLM). 

Zalo AI và Viện Khoa học & Công nghệ tiên tiến Nhật Bản (JAIST) phát triển với mục tiêu đo lường khả năng hiểu và xử lý tiếng Việt, cũng như mức độ am hiểu sâu sắc về ngôn ngữ và văn hóa Việt Nam. 

Ra mắt vào tháng 11/2023, VMLU đã cung cấp bộ dữ liệu (dataset) và tiêu chuẩn kiểm tra toàn diện, gồm: 10.880 câu hỏi trắc nghiệm thuộc 58 chủ đề, bao quát 4 lĩnh vực là STEM (khoa học, công nghệ, kỹ thuật và toán học), khoa học xã hội, khoa học nhân văn và mở rộng. Mức độ khó của các câu hỏi tăng dần theo 4 cấp độ: tiểu học, trung học cơ sở, trung học phổ thông và chuyên nghiệp (bậc đại học & sau đại học).

Sau khi sử dụng VMLU để đo lường và đánh giá mô hình, các nhà phát triển LLM có thể cung cấp điểm số và yêu cầu công bố trên bảng xếp hạng (VMLU Leaderboard). Thông qua đó, họ sẽ so sánh năng lực mô hình của mình với các LLM hiện có trên thị trường để thúc đẩy việc huấn luyện ngày một hoàn thiện hơn. Sau hơn 1 năm cung cấp miễn phí cho cộng đồng, VMLU đã trở thành công cụ hữu ích đối với các đơn vị nghiên cứu AI.

Nền tảng VMLU không chỉ thu hút các nhóm nghiên cứu trong nước mà còn nhận được sự quan tâm và tham gia của các tổ chức quốc tế như  nhóm nghiên cứu từ UONLP x Ontocord - Đại học Oregon (Hoa Kỳ), DAMO Academy - Alibaba Group (Trung Quốc) và SDSRV teams - Samsung. 

TS. Châu Thành Đức, Trưởng Bộ phận Nghiên cứu & Phát triển tại Zalo AI, chia sẻ: "Chúng tôi sẽ tiếp tục tối ưu bộ tiêu chuẩn đánh giá năng lực tiếng Việt VMLU để hỗ trợ cộng đồng AI Việt Nam phát triển các mô hình chất lượng cao. Zalo AI hy vọng rằng sự phát triển của tầng nghiên cứu sẽ tạo tiền đề cho những bước tiến ứng dụng, mang lại những sản phẩm AI tiên tiến và hữu ích cho người Việt".