การคำนวณ AI ไม่ได้มีแค่ SoC หลัก! มองบทบาทที่แท้จริงของ RK1820 ในระบบ RK3588 อย่างชัดเจน

ทำไมอุปกรณ์ Edge จำนวนมากขึ้นเรื่อยๆ ถึงพูดถึง NPUs และตัวประมวลผลร่วม? RK3588 เป็น SoC ที่ทรงพลังอยู่แล้วถึง 6 TOPS (INT8) แต่ในฉากที่ซับซ้อน เช่น การอนุมานแบบหลายงาน การทำงานแบบขนานของโมเดล และการวิเคราะห์วิดีโอ AI เพดานการคำนวณของชิปตัวเดียวก็ยังคงมีอยู่ RK1820 ถูกสร้างขึ้นมาเพื่อรับภาระงานส่วนนั้นและบรรเทา “ความวิตกกังวลในการคำนวณ” ของ SoC หลัก ในอุปกรณ์ edge-AI โปรเซสเซอร์โฮสต์ไม่ได้ต่อสู้เพียงลำพังอีกต่อไป เมื่องาน AI เกินขีดความสามารถในการจัดตารางเวลาของ CPU/NPU แบบดั้งเดิม ตัวประมวลผลร่วมจะเข้ามาเงียบๆ และรับภาระงานอัจฉริยะบางส่วน

RK1820 เป็นตัวประมวลผลร่วมที่สร้างขึ้นเพื่อการอนุมาน AI และการขยายการคำนวณ โดยจับคู่กับ SoC โฮสต์อย่างยืดหยุ่น เช่น RK3588 และ RK3576 และสื่อสารกับพวกมันอย่างมีประสิทธิภาพผ่านอินเทอร์เฟซ PCIe หรือ USB

ในระบบ RK3588 + RK1820 ท่อส่งงาน AI จะถูกแยกออกเป็นสถาปัตยกรรมสี่ระดับ:
แอปพลิเคชัน → มิดเดิลแวร์ → การดำเนินการตัวประมวลผลร่วม → การควบคุมและการนำเสนอ
โฮสต์ RK3588: จัดการการจัดตารางงาน การประมวลผลข้อมูลเบื้องต้น และผลลัพธ์ โดยควบคุมเวิร์กโฟลว์ทั้งหมด
ตัวประมวลผลร่วม RK1820: ทุ่มเทให้กับการอนุมาน AI ที่มีการคำนวณสูง จับคู่กับโฮสต์ผ่าน PCIe สร้างแบบจำลองความร่วมมือ “การควบคุมเบา + การคำนวณหนัก”

เลเยอร์แอปพลิเคชันคือจุดเริ่มต้นของทุกงาน AI โดยแปลข้อกำหนดของผู้ใช้—การวิเคราะห์ภาพ การตรวจจับวัตถุ LLM Q&A ด้าน Edge ฯลฯ—เป็นคำสั่งงานที่ดำเนินการได้ของระบบ และส่งต่อไปยังเลเยอร์มิดเดิลแวร์ผ่าน API มาตรฐาน เลเยอร์นี้จัดการโดยโฮสต์ RK3588 ทั้งหมด ซึ่งจัดการการโต้ตอบของผู้ใช้ ตรรกะทางธุรกิจ และข้อมูลอุปกรณ์ต่อพ่วง

การรับงาน: รับคำสั่งของผู้ใช้ผ่านกล้อง แผงสัมผัส อีเธอร์เน็ต UART ฯลฯ

• ความปลอดภัยอัจฉริยะ: ตรวจจับบุคคลในเฟรมวิดีโอ
• การตรวจสอบทางอุตสาหกรรม: ระบุข้อบกพร่องบนพื้นผิวผลิตภัณฑ์
• Edge LLM: แปลงอินพุตเสียงเป็นข้อความและสร้างงาน Q&A

การทำให้เป็นมาตรฐานของคำสั่ง: เปลี่ยนอินพุตที่ไม่มีโครงสร้างให้เป็นพารามิเตอร์งานที่มีโครงสร้าง

• งานวิสัยทัศน์: ความละเอียดอินพุต รุ่นโมเดล ข้อกำหนดเอาต์พุต
• งาน LLM: โทเค็นอินพุต รุ่นโมเดล ความยาวเอาต์พุตสูงสุด

เลเยอร์มิดเดิลแวร์คือฮับความร่วมมือ: ตัดสินแต่ละงาน จัดสรรทรัพยากร ประมวลผลข้อมูลเบื้องต้น และควบคุมการรับส่งข้อมูลบนบัส ตัดสินใจว่างานจะทำงานบนโฮสต์หรือถูกถ่ายโอนไปยังตัวประมวลผลร่วม
RK3588 เท่านั้น; RK1820 ไม่มีส่วนร่วมในการกำหนดค่า PCIe หรือการจัดการการขัดจังหวะ—เพียงแค่ดำเนินการงานการอนุมานที่ส่งโดยโฮสต์

การจำแนกประเภทและการจัดตารางงาน

• การประมวลผลในเครื่อง: งานที่มีการคำนวณต่ำหรือมีความหน่วงแฝงวิกฤต (การปรับขนาดภาพ การอนุมาน AI แบบเบา) จัดการโดย RK3588 CPU/NPU/RGA
• ถ่ายโอนไปยัง RK1820: งานที่มีการคำนวณสูง (การตรวจจับหลายคลาส YOLOv8 การอนุมาน LLM การแบ่งส่วนความหมาย) ถูกส่งไปยัง RK1820 เมื่อ RK1820 เข้าควบคุม CPU/NPU ของโฮสต์จะว่างสำหรับงานอื่นๆ

การประมวลผลข้อมูลเบื้องต้น

• วิสัยทัศน์: ครอบตัด ลดสัญญาณรบกวน ทำให้เป็นมาตรฐาน จัดเรียงช่องใหม่
• ข้อความ: ทำเป็นโทเค็น เติมข้อมูล เข้ารหัส

การควบคุมการสื่อสารบนบัส

• สร้างลิงก์ผ่าน PCIe หรือ USB3
• การถ่ายโอนข้อมูลใช้ DMA ไม่มีการแทรกแซง CPU
• ออกคำสั่งควบคุมการอนุมาน: เริ่ม NPU ตั้งค่าความแม่นยำ ยกการขัดจังหวะการเสร็จสิ้น

เลเยอร์นี้คือแกนกลางของการอนุมาน ขับเคลื่อนโดยตัวประมวลผลร่วม RK1820 เท่านั้น ทุ่มเทให้กับการอนุมาน AI ที่มีการคำนวณสูง
RK1820 ทำงานอยู่; RK3588 ไม่รบกวนการอนุมาน เพียงแค่รอผลลัพธ์ หมดเวลาหรือข้อยกเว้นจัดการโดย RK3588 ผ่านคำสั่งรีเซ็ต PCIe

การรับงานและการเตรียมการ

รับข้อมูล น้ำหนักโมเดล และคำสั่งที่ส่งโดย RK3588 เขียนลงใน DRAM แบนด์วิธสูงในเครื่อง โหลดโมเดล และกำหนดค่า NPU

การคำนวณการอนุมาน NPU

• การตรวจจับวัตถุ (YOLOv8n): conv → BN → เปิดใช้งาน → pool → โพสต์-ประมวลผล NMS
• การอนุมาน LLM (Qwen2.5 3B): เติมโทเค็นอินพุตล่วงหน้า → สร้างโทเค็นต่อโทเค็น
• การเพิ่มประสิทธิภาพการอนุมาน: การหลอมรวมตัวดำเนินการ การบีบอัดน้ำหนัก

การส่งคืนผลลัพธ์

• ส่งคืนพิกัดกล่องขอบเขต รหัสคลาส และคะแนนความเชื่อมั่นสำหรับการตรวจจับ
• ส่งคืนอาร์เรย์โทเค็นสำหรับ LLM

เลเยอร์นี้คือจุดสิ้นสุดของทุกงาน AI: แปลงผลลัพธ์การอนุมานดิบจาก RK1820 เป็นเอาต์พุตที่มองเห็นได้หรือพร้อมใช้งานทางธุรกิจ และปิดวงจร
RK3588 ทำงานอยู่; RK1820 ให้ข้อมูลการอนุมานดิบเท่านั้น

การประมวลผลหลังผลลัพธ์

• แมปพิกัดกลับไปที่ขนาดภาพดั้งเดิม
• ถอดรหัสโทเค็นเป็นภาษาธรรมชาติ
• นับข้อบกพร่องในการตรวจสอบทางอุตสาหกรรม

การควบคุมระบบและเอาต์พุตข้อเสนอแนะ

• ความปลอดภัยอัจฉริยะ: แสดงวิดีโอพร้อมการซ้อนทับการตรวจจับ ทริกเกอร์การเตือน
• การตรวจสอบทางอุตสาหกรรม: บรรทัดคำสั่งเพื่อปฏิเสธผลิตภัณฑ์ที่มีข้อบกพร่อง
• Edge LLM: แสดงข้อความ + ประกาศด้วยเสียง

คุณค่าของพลังร่วมกัน: ไม่เพียงแต่เร็วขึ้น แต่ฉลาดขึ้น

พูดง่ายๆ ก็คือ: RK3588 ทำหน้าที่ควบคุมและติดตามทุกอย่าง ในขณะที่ RK1820 มอบการคำนวณดิบที่ระเบิดออกมา ร่วมกันทำให้ Edge-AI อุปกรณ์ “ฉลาดขึ้น เร็วขึ้น และไม่ยุ่งยาก”
ติดตามเราเพื่อรับข่าวสาร RK1820 และการอัปเดต SDK บทช่วยสอนใหม่ๆ และการสาธิตพร้อมใช้งาน