Shanghai Neardi Technology Co., Ltd. sales@neardi.com 86-021-20952021
Tại sao ngày càng có nhiều thiết bị edge nói về NPU và bộ đồng xử lý? RK3588 đã là một SoC 6 TOPS (INT8) mạnh mẽ, nhưng trong các tình huống phức tạp như suy luận đa nhiệm, song song hóa mô hình và phân tích video-AI, giới hạn tính toán của một chip đơn vẫn còn đó. RK1820 được tạo ra chính xác để đảm nhận phần tải đó và giảm bớt “nỗi lo tính toán” của SoC chính. Trong thiết bị edge-AI, bộ xử lý host không còn chiến đấu một mình; khi các tác vụ AI vượt quá khả năng lên lịch của CPU/NPU truyền thống, bộ đồng xử lý lặng lẽ bước vào và đảm nhận một phần khối lượng công việc thông minh.
RK1820 là một bộ đồng xử lý được chế tạo riêng cho suy luận AI và mở rộng tính toán; nó kết hợp linh hoạt với các SoC host như RK3588 và RK3576 và giao tiếp với chúng hiệu quả thông qua giao diện PCIe hoặc USB.
| Danh mục Khả năng | Các thông số & Chức năng chính |
|---|---|
| Kiến trúc Bộ xử lý | 3× lõi RISC-V 64-bit; 32 KB bộ nhớ đệm L1 I + 32 KB bộ nhớ đệm L1 D trên mỗi lõi, 128 KB bộ nhớ đệm L2 dùng chung; RISC-V FPU độ chính xác H/F/D |
| Bộ nhớ | 2.5 GB DRAM băng thông cao trên chip + 512 KB SRAM; hỗ trợ bên ngoài cho eMMC 4.51 (HS200), SD 3.0, SPI Flash |
| Codec | Mã hóa JPEG: 16×16–65520×65520, YUV400/420/422/444; Giải mã JPEG: 48×48–65520×65520, nhiều định dạng YUV/RGB |
| NPU | 20 TOPS INT8; độ chính xác hỗn hợp INT4/INT8/INT16/FP8/FP16/BF16; framework: TensorFlow/MXNet/PyTorch/Caffe; Qwen2.5-3B (INT4) 67 token/s, YOLOv8n (INT8) 125 FPS |
| Giao tiếp | PCIe 2.1 (2 làn, 2.5/5 Gbps), USB 3.0 (5 Gbps, dùng chung với PCIe) |
| Các Chức năng Chính | Suy luận Edge-AI (phát hiện / phân loại / LLM), tính toán chung RISC-V, tăng tốc đồ họa 2-D (tỷ lệ / xoay), bảo mật AES/SM4 |
Trong hệ thống RK3588 + RK1820, pipeline tác vụ AI được phân tách thành kiến trúc bốn tầng:
Ứng dụng → Middleware → Thực thi bộ đồng xử lý → Điều khiển & Trình bày.
Host RK3588: xử lý việc lên lịch tác vụ, tiền xử lý dữ liệu và xuất kết quả, quản lý toàn bộ quy trình làm việc.
Bộ đồng xử lý RK1820: dành riêng cho suy luận AI tính toán cao, kết hợp với host thông qua PCIe, tạo thành một mô hình cộng tác “điều khiển nhẹ + tính toán nặng”.
| Giai đoạn | Tác nhân | Hành động |
|---|---|---|
| Yêu cầu Ứng dụng | RK3588 | Cuộc gọi tác vụ AI được phát hành từ lớp ứng dụng (nhận dạng/phát hiện) |
| Điều phối | Bộ điều phối RK3588 | Quyết định có chuyển sang bộ đồng xử lý hay không |
| Suy luận | RK1820 | Chạy tính toán mô hình học sâu |
| Trả về | RK1820 → RK3588 | Gửi lại kết quả suy luận; host hiển thị hoặc tiếp tục logic |
Lớp ứng dụng là nơi mọi tác vụ AI bắt đầu; nó chuyển đổi các yêu cầu của người dùng—phân tích hình ảnh, phát hiện đối tượng, hỏi đáp LLM ở cạnh, v.v.—thành các lệnh tác vụ có thể thực thi được của hệ thống và chuyển chúng đến lớp middleware thông qua các API tiêu chuẩn. Lớp này được xử lý hoàn toàn bởi host RK3588, quản lý tương tác của người dùng, logic nghiệp vụ và dữ liệu ngoại vi.
Tiếp nhận tác vụ: thu thập các lệnh của người dùng thông qua camera, bảng điều khiển cảm ứng, Ethernet, UART, v.v.
Tiêu chuẩn hóa lệnh: biến đầu vào không có cấu trúc thành các tham số tác vụ có cấu trúc
Lớp middleware là trung tâm cộng tác: nó đánh giá từng tác vụ, phân bổ tài nguyên, tiền xử lý dữ liệu và quản lý lưu lượng bus. Nó quyết định xem tác vụ có chạy trên host hay được chuyển sang bộ đồng xử lý.
Chỉ RK3588; RK1820 không tham gia vào cấu hình PCIe hoặc quản lý ngắt—nó chỉ thực thi các công việc suy luận do host điều phối.
Phân loại và lên lịch tác vụ
Tiền xử lý dữ liệu
Kiểm soát giao tiếp bus
Lớp này là lõi suy luận, được điều khiển độc quyền bởi bộ đồng xử lý RK1820, dành riêng cho suy luận AI tính toán cao.
RK1820 hoạt động; RK3588 không can thiệp vào suy luận, nó chỉ đợi kết quả. Hết thời gian chờ hoặc các ngoại lệ được xử lý bởi RK3588 thông qua các lệnh đặt lại PCIe.
Tiếp nhận và chuẩn bị tác vụ
Nhận dữ liệu, trọng số mô hình và các lệnh do RK3588 điều phối; ghi chúng vào DRAM băng thông cao cục bộ, tải mô hình và cấu hình NPU.
Tính toán suy luận NPU
Trả về kết quả
Lớp này là điểm cuối của mọi tác vụ AI: nó chuyển đổi các kết quả suy luận thô từ RK1820 thành đầu ra trực quan hoặc sẵn sàng cho doanh nghiệp và đóng vòng lặp.
RK3588 hoạt động; RK1820 chỉ cung cấp dữ liệu suy luận thô.
Hậu xử lý kết quả
Kiểm soát hệ thống & đầu ra phản hồi
Giá trị của sự hiệp đồng: không chỉ nhanh hơn, mà còn thông minh hơn
| Giai đoạn | Tác nhân | Hành động |
|---|---|---|
| Yêu cầu Ứng dụng | RK3588 | Cuộc gọi tác vụ AI được phát hành từ lớp ứng dụng (nhận dạng/phát hiện) |
| Điều phối | Bộ điều phối RK3588 | Quyết định có chuyển sang bộ đồng xử lý hay không |
| Suy luận | RK1820 | Chạy tính toán mô hình học sâu |
| Trả về | RK1820 → RK3588 | Gửi lại kết quả suy luận; host hiển thị hoặc tiếp tục logic |
Nói một cách đơn giản: RK3588 điều hành chương trình và giữ mọi thứ đi đúng hướng, trong khi RK1820 cung cấp các đợt tính toán thô; cùng nhau, chúng làm cho các thiết bị edge-AI “thông minh hơn, nhanh hơn và không gặp rắc rối.”
Theo dõi chúng tôi để biết thêm tin tức về RK1820 và các bản cập nhật SDK, các hướng dẫn mới và các bản demo chạy sẵn.
