NVIDIA Jetson : Kiến trúc, Hoạt động & Ứng dụng của nó

Nền tảng hàng đầu trên thế giới như NVIDIA Jetson là một chuỗi các bo mạch điện toán nhúng được sử dụng chủ yếu trong các máy tự động & khác ứng dụng nhúng . Bảng này chủ yếu chứa các mô-đun Jetson, là những máy tính hiệu suất cao. Jetson rất phù hợp với phần mềm AI tương tự và quy trình làm việc dựa trên đám mây được sử dụng trên các nền tảng NVIDIA khác và cung cấp hiệu suất tiết kiệm năng lượng cho khách hàng để xây dựng các máy tự trị dựa trên phần mềm. NVIDIA Jetson được sử dụng cho các ứng dụng thị giác máy tính. Vì vậy, bài viết này thảo luận tổng quan về NVIDIA Jetson – hoạt động và các ứng dụng của nó.

NVIDIA Jetson là gì?

NVIDIA Jetson là một công nghệ tiên tiến hệ thống nhúng bảng được sử dụng để tạo ra các sản phẩm AI sáng tạo trong một số ngành công nghiệp. NVIDIA Jetson là một trong những nền tảng phần cứng hàng đầu rất hữu ích cho những người đam mê công nghệ và cả sinh viên để có được trải nghiệm thực tế thông qua một loạt các dự án AI sáng tạo. Bo mạch này là một bo mạch rất hiệu quả dành cho AI, bao gồm các máy tính biên dạng mô-đun, kích thước nhỏ và hiệu suất cao. Ngoài ra, bảng này cũng chứa JetPack SDK được sử dụng để tăng tốc phần mềm cũng như một hệ sinh thái hoàn chỉnh để hỗ trợ tăng quy trình phát triển của các dự án AI tùy chỉnh.

Kiến trúc NVIDIA Jetson

Chúng tôi biết rằng mô-đun Nvidia Jetson của Nvidia là một chuỗi các bo mạch điện toán nhúng. Tất cả các mẫu Jetson TX1, TX2 & TK1 đều mang bộ xử lý SoC hoặc Tegra của Nvidia tích hợp CPU kiến ​​trúc ARM. Ở đây, Jetson là một hệ thống năng lượng thấp được thiết kế chủ yếu để tăng tốc các ứng dụng máy học.

Kiến trúc NVIDIA Jetson Xavier NX được hiển thị bên dưới. Đây là siêu máy tính AI nhỏ và tiên tiến nhất được sử dụng cho các thiết bị điện toán cạnh cũng như người máy tự trị . Mô-đun này có khả năng triển khai hiệu suất cấp máy chủ trong hệ số dạng 70x45mm chắc chắn và cũng cung cấp tới 21 TOPS điện toán dưới 15W, nếu không thì lên tới 14 TOPS điện toán dưới 10W.

Sơ đồ trên chứa NVIDIA Volta 384 lõi tích hợp GPU bao gồm CPU 64-bit NVIDIA Carmel ARMv8.2 64-bit, 48 Tensor Cores, 8GB 128-bit LPDDR4x, bộ mã hóa và giải mã video 4K, bộ xử lý NVDLA (NVIDIA Deep Learning Accelerator) kép, camera cho tối đa sáu hình ảnh độ phân giải cao tức thời luồng cảm biến, Cổng hiển thị kép hoặc màn hình HDMI 4K, mở rộng PCIe thế hệ 3, USB 3.1 & GPIO với bus I2C, SPI, I2S, UART & CAN.

Thông số kỹ thuật của NVIDIA Jetson bao gồm những điều sau đây.

• Công suất là chế độ 10W hoặc 15W và đầu vào 5V.
• CPU là 6 nhân NVIDIA Carmel 64-bit ARMv 8.2 ở 1400MHz.
• GPU là NVIDIA Volta 384 nhân với tốc độ 1100MHz đến 48 nhân Tensor.
• DL là công cụ NVDLA kép.
• Bộ nhớ là 8GB 128-bit LPDDR4x ở 1600MHz.
• Bộ nhớ 16GB eMMC 5.1.
• Camera 12 làn MIPI CSI-2 | Máy ảnh 3×4 hoặc 6×2.
• Lên đến 6 camera (36 qua kênh ảo).
• Nhiệt độ từ -25°C đến 90°C.
• Màn hình là DP 1.4 hoặc eDP 1.4 hoặc HDMI 2.0 a/b ở 4Kp60.
• Ethernet là Ethernet 10 hoặc 100 hoặc 1000 BASE-T.
• USB 3.1 và USB 2.0.

Mô-đun này được hỗ trợ bởi toàn bộ ngăn xếp phần mềm CUDA-X của NVIDIA và cả JetPack SDK để phát triển AI. Nó chạy các khung máy học rất phổ biến và các DNN phức tạp trên một số luồng cảm biến có độ phân giải cao cùng một lúc, bên cạnh các ứng dụng đa phương tiện, đồ họa và thị giác máy tính thời gian thực trong môi trường Linux dành cho máy tính để bàn hoàn chỉnh.

Hiện tại, các nhà phát triển đã bắt đầu thiết kế các ứng dụng AI cho Jetson Xavier NX với sự trợ giúp của Bộ công cụ dành cho nhà phát triển Jetson AGX Xavier. Áp dụng bản vá mẫu thiết bị gần JetPack sẽ khiến thiết bị hoạt động như một Jetson Xavier NX. Điều này sẽ sửa đổi số lượng lõi GPU & CPU có thể đạt được thông qua phần mềm và đặt tần số xung nhịp cũng như điện áp của các lõi trên toàn hệ thống.

Bản vá hoàn toàn có thể đảo ngược được sử dụng để ước lượng hiệu suất của Jetson Xavier NX. Mô-đun này sẽ phân loại các chế độ công suất mặc định là 10W & 15W đạt hiệu suất cao nhất từ ​​14 đến 21 TOPS dựa trên chế độ hoạt động. Công cụ nvpmodel được sử dụng để xử lý các cấu hình nguồn nhằm điều chỉnh tần số CLK cao nhất cho GPU, CPU, đồng hồ SoC linh tinh và bộ điều khiển bộ nhớ cùng với các cụm CPU khác nhau.

Dựa trên khối lượng công việc, bộ điều chỉnh DVFS (Dynamic Voltage & Frequency Scaling) cân bằng tần số trong thời gian chạy cho đến giới hạn cao nhất như mô tả của nvpmodel đang hoạt động, do đó mức sử dụng năng lượng giảm khi không hoạt động & dựa trên hoạt động của bộ xử lý. Công cụ nvpmodel giúp tạo và sửa đổi các chế độ năng lượng mới dựa trên TDP và các yêu cầu của ứng dụng.

Mô-đun NVIDIA Jetson đưa hiệu năng của siêu máy tính lên hàng đầu trong một hệ số dạng nhỏ SOM (hệ thống trên mô-đun). Tương đương với 21 TOPS của máy tính tăng tốc sẽ gửi mã lực để chạy song song các mạng thần kinh hiện tại và xử lý dữ liệu từ nhiều cảm biến có độ phân giải cao khác nhau. Mô-đun này lý tưởng cho các hệ thống AI dựa trên hiệu suất cao như dụng cụ y tế, rô-bốt thương mại, hệ thống nhúng AIoT, camera thông minh, kiểm tra quang học tự động, cảm biến độ phân giải cao, nhà máy thông minh, v.v.

Phần mềm

Mô-đun NVIDIA Jetson được hỗ trợ đơn giản thông qua các kiến ​​trúc phần mềm kết hợp để giúp các nhà phát triển phần mềm làm việc dễ dàng hơn nhiều. Cách tiếp cận kết hợp này chỉ đơn giản là giúp nhà phát triển tránh được rắc rối khi mã hóa lặp đi lặp lại trong khi cải thiện sự hình thành của họ trên các mô-đun Jetson khác.

NVIDIA JetPack SDK khả dụng với HĐH Linux, thư viện tăng tốc CUDA-X & API cho các lĩnh vực máy học khác nhau như thị giác máy tính, học sâu, v.v. SDK cũng hỗ trợ các khuôn khổ máy học như Caffe, TensorFlow, Keras và thị giác máy tính OpenCV thư viện.
NVIDIA Jetson cung cấp các công cụ phần mềm khác nhau cho các mô-đun của nó sẽ được thảo luận bên dưới.

SDK NVIDIA JetPack

Các gói phần mềm nền tảng Jetson như TensorRT, CUDA Toolkit, cuDNN, GStreamer, OpenCV và Visionworks đều được lắp ráp trên L4T thông qua nhân LTS Linux.

Gói trình điều khiển NVIDIA Jetson Linux

Nó cung cấp nhân Linux, trình điều khiển NVIDIA, bộ tải khởi động, hệ thống tệp mẫu, tiện ích flash và nhiều thứ khác cho nền tảng Jetson.

NVIDIA DeepStream SDK

Nó là một bộ API & thư viện để hỗ trợ các nhà phát triển thiết kế & sắp xếp các giải pháp IVA (phân tích video thông minh) mạnh mẽ trên nền tảng Jetson. Nó được sử dụng để xây dựng các ứng dụng phức tạp như mã hóa, chụp ảnh, giải mã, suy luận với TensorRT, v.v.

SDK NVIDIA Isaac

Nó là một tập hợp các thư viện, API, trình điều khiển và các công cụ khác sẽ bổ sung AI vào rô-bốt thế hệ tiếp theo để điều hướng, nhận thức và thao tác. Vì vậy, nó giúp tạo và triển khai rô-bốt do AI cung cấp.

Các loại NVIDIA Jetson

Mô-đun NVIDIA Jetson đi kèm với bộ nhớ, GPU, CPU, giao diện tốc độ cao, quản lý năng lượng, v.v. Các mô-đun này có sẵn ở các hiệu suất, hiệu suất năng lượng khác nhau và các biến thể của yếu tố hình thức để sử dụng chúng trong các ngành khác nhau. Có nhiều thiết bị NVIDIA Jetson khác nhau được thảo luận bên dưới.

NVIDIA Jetson Nano

Mô-đun NVIDIA Jetson Nano phù hợp cho các nhà phát triển hoặc sinh viên cũng như người mới bắt đầu vì nó được thiết kế chủ yếu cho việc dạy và học thực hành. Kích thước của mô-đun này nhỏ tuy nhiên hiệu quả sử dụng năng lượng và hiệu suất cao giúp mô-đun này trở nên hoàn hảo để chạy nhiều mạng thần kinh song song hiện tại, khối lượng công việc AI & xử lý dữ liệu từ các cảm biến có độ phân giải cao cùng một lúc. Do đó, mô-đun Jetson Nano là một thiết bị biên rất phổ biến được sử dụng để tạo ra các sản phẩm & giải pháp AI nhúng.

Mô-đun này hoàn hảo cho các ứng dụng thị giác máy tính dựa trên AI và nó thực hiện các tác vụ thị giác AI như phát hiện đối tượng, phân đoạn hình ảnh, phân loại hình ảnh, v.v. Mô-đun này rất tương thích với phần mềm thị giác máy tính mã nguồn mở và thư viện máy học OpenCV.

Dòng NVIDIA Jetson TX2

Mô-đun NVIDIA Jetson TX2 Series được thiết kế với kích thước bằng một chiếc thẻ tín dụng. Các tính năng của mô-đun này chủ yếu bao gồm GPU NVIDIA Pascal, bộ nhớ lên tới 8 GB, băng thông bộ nhớ 59,7 GB/giây và giao diện phần cứng tiêu chuẩn. Mô-đun này cung cấp hiệu suất gấp 2,5 lần so với mô-đun NVIDIA Jetson Nano.

Mô-đun này chạy rất hiệu quả các mạng thần kinh sâu trên các thiết bị biên để đạt được độ chính xác cao hơn. Các mô-đun có sẵn trong sê-ri chủ yếu bao gồm Jetson TX2 4GB, Jetson TX2i, Jetson TX2 và Jetson TX2 NX. Mô-đun NVIDIA Jetson TX2 NX chỉ chia sẻ khả năng tương thích về pin và yếu tố hình thức thông qua Jetson Xavier NX và Jetson Nano.

Ba mô-đun còn lại sẽ chia sẻ yếu tố hình thức ban đầu của mô-đun Jetson TX2. Việc sử dụng sê-ri TX2 chỉ đơn giản là phạm vi trong các ngành khác nhau như nông nghiệp, sản xuất, khoa học đời sống, bán lẻ, v.v. Mô-đun Jetson TX2i trong số các mô-đun còn lại phù hợp nhất cho các thiết bị AI hiệu suất cao như thiết bị y tế, máy ảnh thị giác máy và rô-bốt công nghiệp vì thiết kế mạnh mẽ của nó.

Mô-đun này là một thiết bị điện toán AI nhúng rất nhanh, cung cấp hiệu suất năng lượng cao như 7,5 W, khả năng của siêu máy tính chủ yếu dành cho các thiết bị AI cạnh và cả các giao diện phần cứng khác nhau để dễ dàng tích hợp vào các sản phẩm và hệ số dạng khác nhau.

NVIDIA Jetson Xavier NX

Mô-đun NVIDIA Jetson Xavier NX rất nhỏ so với một chiếc thẻ tín dụng với hiệu suất cao và hiệu suất năng lượng cao. Đây còn được mệnh danh là siêu máy tính AI dành cho hệ thống biên & nhúng nhỏ nhất thế giới. Mô-đun này đặc biệt giúp chạy các hệ thống AI hoàn chỉnh.

Các tính năng của Jetson Xavier NX cũng hỗ trợ các công nghệ dựa trên đám mây nên dễ dàng cho các nhà phát triển trong việc nâng cấp & quản lý các sản phẩm AI. Mô-đun này hỗ trợ tất cả các mô hình & khuôn khổ AI phổ biến. Vì vậy, mô-đun này hoàn toàn phù hợp với các hệ thống AI hiệu suất cao như máy ảnh thông minh, hệ thống quan sát độ phân giải cao do AI cung cấp, máy bay không người lái, rô-bốt thương mại hoặc thiết bị y tế.

Mô-đun NVIDIA Jetson Xavier NX cung cấp 21 Tera Hoạt động mỗi giây hoặc TOPS để chạy khối lượng công việc AI hiện tại bằng cách tiêu thụ 10W điện năng. Yếu tố hình thức của mô-đun này nhỏ gọn hơn so với thẻ tín dụng. Mô-đun Xavier NX chạy nhiều mạng thần kinh cùng lúc và xử lý dữ liệu từ các cảm biến có độ phân giải cao khác nhau. Loại mô-đun này được sử dụng để thiết kế các ứng dụng cho các thiết bị điện toán nhúng & biên cần hiệu năng cao mặc dù có những hạn chế đáng kể về trọng lượng, kích thước và công suất.

Dòng NVIDIA Jetson AGX Xavier

Mô-đun NVIDIA Jetson AGX Xavier Series chủ yếu được phát triển cho các máy thông minh tự trị thế hệ tiếp theo. Mô-đun này cung cấp hiệu suất AI lên tới 32 TOPS hoặc Tera mỗi giây khi sử dụng ít nhất là 10 watt. Nhà phát triển phần mềm chỉ đơn giản được phép sắp xếp nhanh chóng các mạng lưới thần kinh với một bộ công cụ phần mềm AI của NVIDIA.

Mô-đun này cung cấp các thông số kỹ thuật và khả năng bảo mật chức năng khác nhau để các nhà phát triển tạo ra các sản phẩm được chứng nhận an toàn hoặc công nghiệp. Hiệu suất cao của mô-đun này có thể làm cho chúng phù hợp với nhiều máy tự động như rô-bốt hậu cần & công nghiệp, hệ thống nhà máy và máy bay không người lái cỡ lớn.

Bộ công cụ dành cho nhà phát triển Jetson Xavier NX

Bộ công cụ dành cho nhà phát triển jetson xavier nx bao gồm một mô-đun Xavier NX tiết kiệm năng lượng được sử dụng cho các thiết bị biên được hỗ trợ bởi AI. Mô-đun này có một số tính năng như hỗ trợ dựa trên đám mây & tăng tốc ngăn xếp phần mềm NVIDIA chỉ trong 10W với hiệu suất cao hơn 10 lần so với Jetson TX2. Bộ công cụ dành cho nhà phát triển này được các nhà sản xuất máy móc thông minh, công ty khởi nghiệp AI và nhà phát triển ứng dụng sử dụng để thiết kế các sản phẩm hiện đại với hệ số dạng nhỏ gọn, suy luận AI có độ chính xác cao và tiết kiệm năng lượng.

Công nghiệp Jetson AGX Xavier

Mô-đun công nghiệp Jetson AGX Xavier là một phần của dòng AGX Xavier. Thiết kế của mô-đun này là một yếu tố hình thức tương thích với chân cắm để điều khiển các mô hình AI mới nhất trong các ứng dụng đòi hỏi khắt khe. Mô-đun này cung cấp các thông số kỹ thuật về rung, sốc, nhiệt độ mở rộng, tính năng bảo mật nâng cao, bộ nhớ gấp 4 lần & hiệu suất gấp 20 lần mô-đun TX2i.

Mô-đun này rất hữu ích cho các nhà thiết kế để thiết kế tự động hóa, người máy và các sản phẩm thông minh khác. Ngoài ra, nó cũng thiết kế các sản phẩm chắc chắn và được chứng nhận an toàn để mang lại hiệu suất cao cho các ứng dụng bảo mật và chức năng tích hợp AI trong công nghiệp trong một thiết kế có yếu tố hình thức chắc chắn cũng như tiết kiệm điện năng.

Thuận lợi

Các Ưu điểm của NVIDIA Jetson bao gồm những điều sau đây.

• NVIDIA Jetson phù hợp với sinh viên, nhà phát triển cá nhân và các tổ chức khác nhau.
• Nền tảng Jetson rất phổ biến vì nó đi kèm với nhiều lợi ích khác nhau như tính linh hoạt theo mô-đun, phần mềm hợp nhất và hỗ trợ cho các công nghệ dựa trên đám mây.
• Bảng này cung cấp một tập hợp các mô-đun rất hữu ích cho mọi thứ, từ các ứng dụng AI cơ bản đến các thiết bị hỗ trợ AI rất phức tạp.
• Bo mạch này được cung cấp năng lượng thông qua một kiến ​​trúc phần mềm hợp nhất giúp các nhà phát triển không phải viết mã lặp đi lặp lại. Sau khi họ cần năng lực AI/ML, thì họ có thể đưa mô-đun Jetson có liên quan vào thiết bị và thiết bị này sẽ xử lý công việc nặng nhọc.
• Nền tảng NVIDIA Jetson chỉ đơn giản là hỗ trợ các công nghệ và quy trình làm việc dựa trên đám mây như điều phối & bộ chứa, cung cấp cho các nhà phát triển khả năng phát triển nhanh chóng và mở rộng các sản phẩm AI.
• NVIDIA JetPack SDK có sẵn với hệ điều hành Linux, API & thư viện tăng tốc CUDA-X cho nhiều lĩnh vực máy học như thị giác máy tính & học sâu. Nó cũng cung cấp hỗ trợ cho các khung máy học như Caffe và Keras, thư viện TensorFlow & OpenCV của thị giác máy tính.

Nhược điểm

Nó có rất ít nhược điểm trong khi xem xét giá

• Mô-đun nano NVIDIA Jetson không khả dụng với wifi bên trong.
• Mô-đun nano NVIDIA Jetson chỉ bao gồm hai chân PWM trên bo mạch.

Các ứng dụng

Các ứng dụng của NVIDIA Jetson bao gồm các ứng dụng sau.

• Mô-đun NVIDIA Jetson cung cấp các hệ thống nhúng cao cấp được sử dụng để tạo ra các sản phẩm AI cho nhiều tình huống khác nhau. Đây là mô-đun tiết kiệm năng lượng được sử dụng cho AI bao gồm các máy tính cạnh hiệu năng cao, mô-đun và có hệ số dạng nhỏ.
• Các bo mạch Nvidia Jetson chủ yếu được thiết kế để sử dụng trong các hệ thống nhúng như máy bay không người lái, rô-bốt và các thiết bị khác cần khả năng xử lý mạnh mẽ trong một hệ số dạng nhỏ. Các ứng dụng phổ biến của bảng Jetson chủ yếu bao gồm các thiết bị y tế, xe tự hành, biển báo kỹ thuật số, tai nghe AR/VR, ứng dụng thành phố thông minh, v.v.
• Mô-đun này hỗ trợ các kiến ​​trúc phần mềm thống nhất để làm cho công việc của các nhà phát triển phần mềm trở nên đơn giản hơn rất nhiều.
  Các mô-đun & thiết bị NVIDIA Jetson là các thiết bị biên được tối ưu hóa dùng để phát triển các hệ thống Edge AI.
• NVIDIA Jetson Nano Developer Kit là một máy tính nhỏ và rất mạnh có thể chạy song song nhiều mạng thần kinh cho các ứng dụng khác nhau như phát hiện đối tượng, phân loại hình ảnh, xử lý giọng nói & phân đoạn.
• Mô-đun NVIDIA Jetson Nano hoàn hảo cho các ứng dụng thị giác máy tính dựa trên AI và chúng thực thi các tác vụ thị giác AI như phân đoạn hình ảnh, phân loại hình ảnh, phát hiện đối tượng, v.v.
• Các mô-đun Nano của NVIDIA Jetson mang đến những khả năng mới đáng kinh ngạc cho hàng nghìn hệ thống AI nhỏ và tiết kiệm năng lượng
• Mô-đun NVIDIA Jetson Nano tương thích với các thư viện máy học OpenCV và phần mềm thị giác máy tính nguồn mở.

Hỏi). Mức tiêu thụ năng lượng của các mô-đun Jetson là gì?

MỘT). Mức tiêu thụ điện năng của mô-đun Jetson khác nhau tùy thuộc vào kiểu máy và cách sử dụng. Ví dụ: mô-đun Jetson Xavier , có mức tiêu thụ điện thông thường khoảng 15w đến 30w, trong khi Jetson TX2 có thể tiêu thụ từ 7w đến 15w.

Hỏi). Jetson có thể được sử dụng để phát hiện và theo dõi đối tượng theo thời gian thực không?

MỘT). Có, Nền tảng Jetson có thể xử lý theo dõi và phát hiện tầm nhìn. Mô-đun Nano là một GPU hiệu suất cao- với nền tảng điện toán cạnh có thể được sử dụng chủ yếu để phát hiện, đếm và theo dõi.

Hỏi). Jetson có thể giao tiếp với những loại cảm biến nào?

MỘT). Cảm biến hình ảnh được sử dụng để kết nối Jetson với các giao diện máy ảnh khác nhau như USB, MIPI CSI & Ethernet. Họ cũng có thể giao tiếp với lidar, cảm biến siêu âm và các loại khác cũng như sử dụng các loại giao diện khác nhau như I2C, SPI, v.v.

Hỏi). Sự khác biệt giữa Jetson và Raspberry Pi là gì?

MỘT). Sự khác biệt chính giữa hai bảng này là; NVIDIA Jetson được phát triển để xử lý các tác vụ AI và thị giác máy tính đòi hỏi cao trong khi bo mạch Raspberry Pi 4 có GPU đa phương tiện tiêu thụ điện năng thấp được sử dụng cho mục đích điện toán và giáo dục thông thường. Jetson có thể được sử dụng cho các tính năng nâng cao hơn như giải mã và mã hóa video được tăng tốc phần cứng bằng cách sử dụng GPU (Bộ xử lý đồ họa) và CPU (Bộ xử lý trung tâm) mạnh mẽ.

Hỏi). Jetson có thể được sử dụng cho các ứng dụng rô-bốt tự động không?

MỘT). Robot tự hành & công nghiệp của ngày mai sẽ được vận hành bằng năng lượng thông qua NVIDIA Jetson cho Máy móc & Robot thông minh.

Như vậy, đây là tổng quan về NVIDIA Jetson - Ưu điểm và ứng dụng của nó. Mô-đun này là nền tảng hàng đầu trên toàn thế giới được các nhà phát triển sử dụng để tạo ra các sản phẩm AI tiên tiến trong tất cả các ngành. Các mô-đun này cũng được sinh viên và cả những người đam mê sử dụng để có được trải nghiệm thực tế trong việc học AI để tạo ra các dự án tuyệt vời. Nền tảng của Jetson chủ yếu bao gồm các mô-đun sản xuất và bộ công cụ dành cho nhà phát triển nhỏ, tiết kiệm năng lượng. Đây là một câu hỏi dành cho bạn, NVIDIA là gì?