
"英伟达版树莓派"这波良心了,性能涨 70%,降价 50%。
老黄召开厨房发布会,从烤箱里端出这台"掌心 AI 超算"。

△奈何不穿皮衣了
新版Jetson Orin Nano开垦版套件,算力从 40 TOPS 涨到 67 TOPS(INT8),内存带宽增多 50%,达到 102GB/s,功耗仅 25 瓦。
价钱却降了 50%,从 $499 降到 $249(约东谈主民币 1800 元)。
67 TOPS 什么宗旨?
比咫尺英特尔、AMD 或高通 AI PC 中的大部分 NPU 王人快
能跑主流的 7B、8B 大模子量化版,如阿里 Qwen,Llama 等
最高赞助 4 个录像头,也能跑 8B 的视觉说话模子和 ViT 模子

英伟达称这是"最实惠的生成式 AI 超等计较机"。
无论是用来创建基于 RAG 的聊天机器东谈主、视觉 AI Agent,照旧部署基于 AI 的机器东谈主,王人是理思的措置决策。

开垦套件包括一个 Jetson Orin Nano 8GB 系统级模块(SoM)和一个参考载板,可用于边际 AI 诈欺的原型策画,功耗最高 25w。
经受 6 核 Arm CPU 和 NVIDIA Ampere 架构 GPU,GPU 配备 1024 个 CUDA 中枢和 32 个张量中枢,赞助多个并发 AI 诈欺管谈和高性能推理。它最多不错赞助 4 个录像头,提供比畴昔版块更高的区分率和帧率。

The Register 估量在脱手 4 位量化版 Llama 3.1 8B 模子时,能达到约 18-20 tokens/s 的速率。
Jetson 赞助一系列英伟达 AI 软件,包括用于机器东谈主的 NVIDIA ISAAC、用于视觉 AI 的 NVIDIA Metropolis 和用于传感器处理的 NVIDIA Holoscan。
另外不错使用 NVIDIA Omniverse Replicator 生成合成数据,并使用 NVIDIA TAO 用具包微调预覆按模子,不错裁汰开垦时辰。
老黄称这个系列为一种全新的处理器——机器东谈主处理器。
推出第一代居品时,没东谈主解析英伟达在作念什么
到咫尺,它仍是赞助了多样机器东谈主,带轮子的、两条腿的、三条腿的。

稀罕的好音讯是,新推出的软件更新,也将为买过旧版开垦套件的用户带来生成式 AI 性能进步。
有网友暗示,黄仁勋便是新的圣诞老东谈主。

参考集合:
[ 1 ] https://blogs.nvidia.com/blog/jetson-generative-ai-supercomputer/
[ 2 ] https://www.theregister.com/2024/12/17/nvidia_jetson_orin/
— 完 —
点这里� � 温雅我,铭刻标星哦~
一键三连「共享」、「点赞」和「在看」
科技前沿发达日日再会 ~
