AI agent đang rời khỏi phạm vi của chatbot để trở thành phần mềm có thể đọc tài liệu, gọi công cụ, thực hiện nhiều bước và trả kết quả theo quy trình. Nhưng một câu hỏi thực tế vẫn còn nguyên: doanh nghiệp nên chạy agent trên hạ tầng đám mây, máy chủ riêng hay ngay trên PC của nhân viên? NVIDIA Nemotron 3.5, công bố ngày 19/10/2026, cho thấy thị trường đang thử một câu trả lời mới: dùng các mô hình có kích thước khác nhau cho từng tầng triển khai.
Bài viết này phân tích thông tin NVIDIA công bố và bài đưa tin của TechCrunch, sau đó chuyển thành checklist thực tế cho đội phát triển. Phần “nguồn xác nhận” chỉ nói những gì tài liệu gốc nêu rõ; phần “phân tích” là nhận định về cách áp dụng, không phải cam kết hiệu năng cho mọi hệ thống.
NVIDIA Nemotron 3.5 là gì?
Theo bài viết chính thức của NVIDIA , Nemotron 3.5 gồm Super VL và hai biến thể Bolt. Super VL là mô hình open-weight 120 tỷ tham số, hướng tới agent luôn hoạt động trong môi trường doanh nghiệp. Bolt 74B-A9B 24GB nhắm tới các tác vụ agent chạy cục bộ trên NVIDIA RTX hoặc DGX Spark, còn Bolt E4B 4GB dành cho agent hội thoại và thiết bị biên. NVIDIA cho biết Super VL và Bolt 74B-A9B đã có thể sử dụng, trong khi Bolt E4B dự kiến ra mắt ngày 23/10/2026.
Điểm đáng chú ý không chỉ là tên mô hình hay số lượng tham số. NVIDIA đang đóng gói một “dải lựa chọn” cho agent: mô hình lớn xử lý workflow phức tạp ở máy chủ, mô hình nhỏ hơn xử lý tác vụ riêng tư tại máy trạm và thiết bị. Với người dùng, điều này có thể giúp tránh tư duy “một mô hình dùng cho mọi việc”.
Điều nguồn chính thức xác nhận
Super VL hướng tới workflow nhiều bước
NVIDIA mô tả Super VL có khả năng xử lý instruction following, tool use, workflow kinh doanh nhiều bước và hiểu nội dung trực quan. Mô hình có thể làm việc với văn bản, hình ảnh, trang web, PDF, bảng và biểu đồ. Đây là nhóm năng lực phù hợp với các agent phải chuyển đổi từ tài liệu sang dữ liệu rồi sang hành động, chẳng hạn đọc hóa đơn, trích xuất điều khoản hoặc tổng hợp hồ sơ.
NVIDIA cũng nói Super VL có open weights, dữ liệu và công thức huấn luyện mở, cho phép tổ chức post-train trên dữ liệu riêng và triển khai trên hạ tầng của mình. Cần hiểu đúng: “mở” không đồng nghĩa với việc triển khai miễn phí hoặc tự động an toàn. Doanh nghiệp vẫn phải lo GPU, vận hành, bảo vệ dữ liệu, kiểm thử và giấy phép sử dụng.
Bolt đưa agent tới thiết bị cục bộ
NVIDIA cho biết Bolt 74B-A9B 24GB dùng lượng tử hóa 2-bit để vừa bộ nhớ 24GB, còn Bolt E4B 4GB được thiết kế cho GeForce RTX, Jetson và RTX/DGX Spark. Mục tiêu là chạy một số tác vụ mà không cần gửi toàn bộ dữ liệu lên đám mây. TechCrunch, trong bài ngày 19/10/2026, cũng ghi nhận hướng đi này: NVIDIA muốn phục vụ cả doanh nghiệp chạy model trong data center lẫn người dùng chạy agent trên PC.
Các tuyên bố về tốc độ, độ chính xác và vị trí trên benchmark trong bài công bố là tuyên bố của NVIDIA. Chúng cần được kiểm tra độc lập với dữ liệu, prompt, phần cứng và cách đo của từng đội. Không nên biến các con số marketing thành cam kết SLA.
Vì sao kiến trúc nhiều tầng quan trọng với AI agent?
Agent thường có nhiều loại việc khác nhau. Một tác vụ như phân loại email nội bộ không cần cùng năng lực với việc phân tích hợp đồng dài, điều phối nhiều API hoặc suy luận qua hàng chục bước. Nếu tất cả yêu cầu đều gửi tới mô hình lớn trên cloud, chi phí và độ trễ có thể tăng. Nếu ép mọi việc chạy trên PC, chất lượng và khả năng kiểm soát có thể không đủ.
- Tầng cục bộ: xử lý dữ liệu nhạy cảm, tác vụ lặp lại, phản hồi nhanh và không cần Internet.
- Tầng máy chủ riêng: xử lý workflow doanh nghiệp cần tùy biến, log tập trung và tích hợp hệ thống nội bộ.
- Tầng cloud hoặc mô hình lớn: dùng cho yêu cầu khó, cần năng lực cao hoặc có tải tăng đột biến.
Đây là phân tích kiến trúc, không phải tuyên bố rằng Nemotron luôn tốt hơn mô hình đóng. Lợi ích thực tế chỉ xuất hiện khi đội ngũ định tuyến đúng tác vụ, đo chi phí trên dữ liệu thật và có cơ chế chuyển tuyến khi mô hình cục bộ không đủ khả năng.
Thiết kế Website chuẩn SEO & tối ưu doanh số
Ftechx thiết kế trọn gói từ giao diện, hosting đến hệ thống thanh toán tự động.
Hướng dẫn đánh giá Nemotron 3.5 cho doanh nghiệp
Bước 1: Lập bản đồ dữ liệu và công cụ
Trước khi tải model, hãy liệt kê agent được phép đọc gì, gọi API nào và ghi dữ liệu ở đâu. Tách tài liệu công khai, dữ liệu nội bộ và dữ liệu đặc biệt nhạy cảm. Với mỗi công cụ, ghi rõ quyền đọc, quyền ghi, giới hạn tốc độ và điều kiện cần người duyệt. Đây là bước quan trọng hơn việc chọn model vì agent có quyền quá rộng sẽ tạo rủi ro dù model có mạnh đến đâu.
Bước 2: Chia tác vụ theo yêu cầu năng lực
Tạo một bộ mẫu gồm câu hỏi thực tế, tài liệu thật đã ẩn thông tin cá nhân, lỗi thường gặp và tình huống chống prompt injection. Đánh dấu mỗi mẫu cần đọc hình ảnh, gọi công cụ, nhớ ngữ cảnh dài hay chỉ phân loại. Từ đó mới quyết định tác vụ nào chạy Bolt cục bộ và tác vụ nào cần Super VL hoặc một dịch vụ khác.
Bước 3: Đo cả chất lượng lẫn tổng chi phí
Đừng chỉ đo thời gian trả lời. Hãy ghi nhận tỷ lệ hoàn tất đúng, số lần gọi công cụ, số lần cần chạy lại, mức sử dụng bộ nhớ, điện năng, thời gian bảo trì và chi phí nhân sự. Với agent, một câu trả lời nhanh nhưng gọi nhầm API hoặc tạo dữ liệu sai có thể đắt hơn một câu trả lời chậm.
| Tiêu chí | Chạy cục bộ | Máy chủ doanh nghiệp | Cloud |
|---|---|---|---|
| Quyền kiểm soát dữ liệu | Cao trên thiết bị | Cao nếu cấu hình đúng | Phụ thuộc nhà cung cấp |
| Mở rộng tải | Giới hạn phần cứng | Cần đầu tư hạ tầng | Linh hoạt hơn |
| Bảo trì | Phân tán theo máy | Tập trung | Nhà cung cấp gánh một phần |
| Độ trễ mạng | Thấp khi offline | Thấp trong mạng nội bộ | Phụ thuộc kết nối |
Bước 4: Thiết kế fallback và human approval
Agent không nên tự động thực hiện hành động có hậu quả lớn chỉ vì model trả về một lệnh hợp lệ về mặt cú pháp. Hãy yêu cầu xác nhận người dùng trước khi gửi email hàng loạt, sửa dữ liệu, tạo giao dịch hoặc thay đổi quyền truy cập. Khi model cục bộ không chắc chắn, hệ thống nên trả về người dùng hoặc chuyển sang tầng mạnh hơn, thay vì đoán.
Những rủi ro cần lưu ý
- Độ chính xác không đồng đều: kết quả trên benchmark không đại diện cho dữ liệu tiếng Việt, tài liệu nội bộ hoặc workflow đặc thù.
- Prompt injection: PDF, trang web và email có thể chứa chỉ dẫn độc hại khiến agent bỏ qua chính sách.
- Rò rỉ qua log: chạy cục bộ không tự động bảo vệ dữ liệu nếu log, bộ nhớ đệm hoặc công cụ quan sát ghi lại nội dung nhạy cảm.
- Chi phí phần cứng: mô hình open-weight vẫn cần GPU, driver, cập nhật và người vận hành.
- Giấy phép và chuỗi cung ứng: cần đọc điều khoản model, kiểm tra nguồn container, dependency và quy trình cập nhật.
- Ảo tưởng về quyền riêng tư: dữ liệu không rời khỏi PC là lợi thế, nhưng phần mềm độc hại hoặc tài khoản người dùng bị chiếm vẫn có thể truy cập kết quả.
Đặc biệt, không nên dùng tuyên bố “open” như một lý do duy nhất để thay thế hệ thống hiện tại. Đội ngũ cần kiểm tra khả năng quan sát, cập nhật bản vá, phân quyền và kế hoạch khôi phục khi model hoặc runtime gặp lỗi.
Checklist triển khai thử nghiệm
- Chọn một workflow có phạm vi nhỏ, đầu ra đo được và không trực tiếp xử lý giao dịch.
- Ẩn dữ liệu cá nhân trong bộ kiểm thử, đồng thời giữ các trường hợp lỗi đại diện.
- Chạy cùng prompt và cùng bộ dữ liệu trên model cục bộ, máy chủ riêng và phương án cloud để so sánh công bằng.
- Giới hạn tool bằng allowlist; mặc định chỉ đọc, muốn ghi phải có phê duyệt.
- Ghi log quyết định, công cụ đã gọi và lý do fallback nhưng không lưu bí mật thô.
- Kiểm thử prompt injection, sai định dạng, mất mạng, quá tải GPU và rollback model.
- Đặt ngưỡng dừng thử nghiệm nếu chất lượng, chi phí hoặc rủi ro vượt mức chấp nhận.
Kết luận: Nemotron 3.5 đáng chú ý ở cách triển khai
NVIDIA Nemotron 3.5 không chỉ là một lần ra mắt model mới. Điểm đáng chú ý là cách hãng chia AI agent thành nhiều tầng: Super VL cho workflow doanh nghiệp và Bolt cho thiết bị cục bộ. Điều này phù hợp với xu hướng đưa dữ liệu, chi phí và độ trễ vào cùng một bài toán thiết kế.
Tuy nhiên, mô hình mở không thay thế kiến trúc an toàn. Doanh nghiệp nên bắt đầu bằng dữ liệu, quyền hạn, bộ kiểm thử và tiêu chí đo; sau đó mới chọn model. Nếu anh em đang xây agent cho sản phẩm hoặc hệ thống nội bộ, FTECHX có thể hỗ trợ khảo sát hạ tầng, thiết kế workflow và xây checklist triển khai phù hợp thay vì chạy theo một con số benchmark. Hãy theo dõi FTECHX để đọc thêm các phân tích AI thực dụng, tập trung vào cách đưa công nghệ vào vận hành an toàn.
Nguồn tham khảo: NVIDIA Blog, “Open From Data Center to Desktop: NVIDIA Expands Nemotron Family With Highest Efficiency Super VL and Bolt Models”, ngày 19/10/2026; TechCrunch, “Nvidia launches new open models to run agents in the enterprise and on PCs”, ngày 19/10/2026.
