ทีมวิศวกรจาก NVIDIA ได้ประกาศความสำเร็จครั้งสำคัญในการนำระบบ Agentic AI ลงสู่การประมวลผลบนอุปกรณ์เอดจ์เมื่อช่วงเวลาที่ผ่านมาผ่านแพลตฟอร์มฮาร์ดแวร์รุ่นใหม่ล่าสุด NVIDIA Jetson AGX Thor เพื่อยกระดับศักยภาพการทำงานของปัญญาประดิษฐ์ในภาคสนามให้มีความรวดเร็วและมีประสิทธิภาพสูงขึ้นกว่าเดิมอย่างเห็นได้ชัด
การทดสอบประสิทธิภาพครั้งนี้ใช้ซอฟต์แวร์ TensorRT Edge-LLM บนสถาปัตยกรรมฮาร์ดแวร์ดังกล่าว ซึ่งสามารถทำคะแนนการประมวลผลผ่านเกณฑ์มาตรฐาน MLPerf Edge Agentic ได้เร็วกว่าระบบอ้างอิงอย่าง llama.cpp ถึงหกจุดสี่เท่าตัว โดยมีความเร็วในการสร้างโทเค็นสูงถึงห้าสิบสองจุดสามสามโทเค็นต่อวินาทีสำหรับการใช้งานโมเดลภาษา Qwen 3.6 27B
ข่าวที่คุณอาจสนใจ
ความก้าวหน้าทางเทวิศวกรรมนี้เกิดขึ้นได้จากการผสานรวมเทคโนโลยีการประมวลผลแบบ NVFP4 ร่วมกับการจัดการข้อมูลพรอมต์โทเค็นประมาณเก้าสิบหกเปอร์เซ็นต์ผ่านหน่วยความจำแคชความเร็วสูง และกระบวนการคาดการณ์โทเค็นหลายตัวแบบพึ่งพาโครงสร้างต้นไม้ที่ถูกออกแบบมาเป็นพิเศษ
การพัฒนาขีดความสามารถในการประมวลผลปัญญาประดิษฐ์บนอุปกรณ์ปลายทางถือเป็นก้าวสำคัญของวงการเทคโนโลยีสมัยใหม่ เนื่องจากช่วยให้ระบบอัตโนมัติ หุ่นยนต์อัจฉริยะ และอุปกรณ์พกพาต่างๆ สามารถตัดสินใจและตอบสนองต่อสถานการณ์เฉพาะหน้าได้อย่างแม่นยำทันท่วงทีโดยไม่ต้องพึ่งพาการเชื่อมต่อกับระบบคลาวด์ตลอดเวลา ซึ่งจะช่วยลดความหน่วงในการทำงานและเพิ่มความปลอดภัยของข้อมูลส่วนบุคคลของผู้ใช้งานในระยะยาว
