Trước thềm Embedded World 2025, Neuchips, nhà cung cấp Mạch tích hợp dành riêng cho ứng dụng (ASIC) trí tuệ nhân tạo (AI) hàng đầu, đang công bố hợp tác với ShareGuru của Vecow và Golden Smart Home (GSH) Technology Corp.

Sự hợp tác này nhằm mục đích cách mạng hóa việc xử lý dữ liệu SQL bằng cách sử dụng giải pháp AI riêng tư, an toàn và tiết kiệm năng lượng, cung cấp thông tin chi tiết theo thời gian thực từ cơ sở dữ liệu nội bộ thông qua các yêu cầu ngôn ngữ tự nhiên.

"Sự hợp tác của chúng tôi với Vecow và GSH đại diện cho tương lai của triển khai AI công nghiệp", Ken Lau, Giám đốc điều hành của Neuchips cho biết. "Tại Embedded World 2025, khách tham quan gian hàng của Vecow sẽ được trải nghiệm các khả năng độc đáo của card tăng tốc Viper AI của chúng tôi - bao gồm khả năng hỗ trợ mô hình tham số 12B với mức tiêu thụ điện năng chỉ 45 W - bổ sung cho Hệ thống điện toán AI biên công nghiệp mạnh mẽ của Vecow và các giải pháp ShareGuru SLM của GSH. Sự kết hợp mạnh mẽ này mang lại khả năng xử lý dữ liệu độc quyền bằng AI an toàn, hiệu quả, đáp ứng các yêu cầu khắt khe của môi trường công nghiệp hiện đại. Chúng tôi tự hào hợp tác với Vecow để đưa sự đổi mới AI sáng tạo này vào không gian ứng dụng tập trung vào doanh nghiệp".

"Khi các ứng dụng AI tạo sinh tại chỗ mở rộng, nhu cầu về các mô hình ngôn ngữ lớn (LLM) đa phương thức đang phát triển nhanh chóng", Joseph Huang, Phó chủ tịch điều hành tại Vecow cho biết. "Là nhà cung cấp dịch vụ giải pháp điện toán AI biên, Vecow đang hợp tác với Neuchips để phát triển các giải pháp LLM dựa trên RAG tiên tiến, cho phép người dùng truy cập dữ liệu mới nhất mà không cần đào tạo các mô hình, từ đó mang lại kết quả phù hợp và chất lượng cao hơn. Nó rất cần thiết cho khách hàng của chúng tôi, những người tìm kiếm một máy trạm AI tiết kiệm chi phí, nhỏ gọn và tiêu thụ năng lượng thấp, hoạt động tốt hơn các giải pháp GPU dựa trên đám mây truyền thống".

Kết hợp các lực lượng cho giải pháp xử lý dữ liệu dựa trên AI tối ưu

Khi độ phức tạp của cơ sở dữ liệu tăng lên và chuyên môn SQL vẫn còn khan hiếm, các doanh nghiệp phải đối mặt với sự chậm trễ đáng kể trong việc trích xuất những thông tin phân tích chuyên sâu quan trọng từ dữ liệu. Tuy nhiên, các mô hình AI trực tuyến không thể được sử dụng do thiếu sự bảo vệ đối với thông tin độc quyền.

Để giải quyết những khó khăn này cho các doanh nghiệp trong các ngành, giải pháp đột phá này sử dụng Vecow ECX-3100 RAG Edge AI Inference Workstation, một nền tảng điện toán LLM hỗ trợ RAG (Tạo sinh tăng cường bằng truy suất). Thiết bị này chạy giải pháp ShareGuru QA 2.0 của GSH, được hỗ trợ bởi Nền tảng ShareGuru SLM, sử dụng một card Neuchips LLM duy nhất - card AI tạo sinh dòng Viper.

Kết hợp lại, giải pháp cho phép sử dụng ngôn ngữ của con người để tạo ra các truy vấn SQL, làm cho chúng dễ tiếp cận và hiệu quả hơn trong khi giảm chi phí chuyên môn SQL. Ngoài ra, nó cung cấp:

• Quyền riêng tư và bảo mật dữ liệu tối đa: Card ngoại tuyến của Neuchips chạy giải pháp và nền tảng ShareGuru cục bộ
• Độ chính xác cao: Thông qua xác thực truy vấn power query AI
• Hiệu suất năng lượng cao: Dòng Viper của Neuchips mang lại hiệu suất năng lượng 45 W với mô hình 12 tỷ tham số đầy đủ

Card tăng tốc AI dòng Viper của Neuchips

Ra mắt tại COMPUTEX 2024, dòng Viper giải phóng hơn 90% tài nguyên cần thiết cho AI tạo sinh từ CPU để giải phóng toàn bộ tiềm năng của LLM. Nó phân biệt chính nó trên thị trường bằng cách cung cấp:

• Dung lượng bộ nhớ 32GB bổ sung
• Hỗ trợ mô hình ngôn ngữ có cấu trúc BF16 gốc
• Chip tăng tốc AI tạo sinh Raptor của Neuchips, ra mắt tại CES 2024

Hướng tới năm 2026, Neuchips có kế hoạch tập trung vào ASIC đa phương thức tiêu thụ năng lượng thấp để tăng hiệu suất hơn nữa.