英伟达推249美元AI超级电脑生成式AI性能提高1.7倍

博牛社区 › 新闻中心 › 国际新闻

电梯直达 »

返回列表

Anyalee
版主

当前积分:158086

帖子 21608

新博币 47581

提现

提现 0 元

TA的勋章：勋章中心

展开更多

发表于 2024-12-18 19:29:16 1446 7 | 显示全部楼层 |倒序浏览

楼主

本帖最后由 Anyalee 于 2024-12-18 19:30 编辑

英伟达周二推出了一款名为Jetson Orin Nano Super的生成式AI超级计算机。英伟达CEO黄仁勋表示，这款开发者套件通过软件升级实现了更高性能和更低价格，仅售249美元，尺寸小巧，可放在手掌中，可将生成式AI性能提高高达1.7倍。

该公司表示，这款产品适合商业AI开发者、爱好者和学生，与其前代产品相比，其生成式AI推理性能提升了1.7倍，性能提高了70%，每秒可以执行高达67万亿次的INT8运算（67 INT8 TOPS），内存带宽也提升了50%，达到了102GB/s。

黄仁勋还特意为这款产品录制了一段视频，如同2021年发布Hopper H100时一样，展现英伟达对这款产品的重视。在视频中，黄仁勋表示，从Xavier开始，英伟达就创造了一种新的处理器，也就是机器人处理器，当时没人知道他们在做什么。

新的Jetson Orin Nano Super拥有将近70兆次的运算能力，功率25瓦，价格249美元，可以执行HGX的所有功能，甚至是执行大语言模型。

他表示，无论是创建基于检索增强生成（Retrieval-Augmented Generation, RAG）的大型语言模型（LLM）聊天机器人，构建视觉AI代理，还是部署基于AI的机器人，Jetson Orin Nano Super都是理想的选择，这款套件都能以更低的成本提供强大的运算效能，主要由于产品支持低功耗设计，能以7瓦到25瓦的功耗运行，适合各种边缘设备云算场景，无论是智能城市、智能农业还是机器人开发。

持续提升的性能和体验

通过软件更新，Jetson Orin Nano Super也将为已有Jetson Orin Nano开发者套件的用户提升生成式AI性能。

黄仁勋表示，Jetson Orin Nano Super非常适合那些希望在生成式AI、机器人技术或计算机视觉领域发展技能的人士。在AI领域从任务专用模型向基础模型转变的趋势下，它也为开发者提供了一个将创意变为现实的易用平台。

为生成式AI提供强劲性能

Jetson Orin Nano Super性能增强，为所有流行的生成式AI模型，例如Meta的LLaMA、阿里巴巴的通义千问以及谷歌的Gemma。这款套件基于Transformer的计算机视觉模型带来了显著提升，进一步提升效能表现。

该公司表示，开发者套件包括一个Jetson Orin Nano 8GB 系统模块（SoM）和一个参考载板，为边缘设备AI应用的原型设计提供了理想平台。

系统模块采用NVIDIA Ampere架构GPU，配备张量计算核心（Tensor Cores）和6核 Arm CPU，能够处理多个并行AI应用管道，并提供高性能推理能力。此外，它还支持最多四个摄像头，分辨率和帧率均高于前代版本。

英伟达强调，随着AI技术逐渐从云端走向终端，实体AI将是下一波发展重点，Jetson Orin Nano Super不仅可以用于开发聊天机器人，也适合简历视觉AI代理或部署AI机器人等应用。

广泛的生成式AI软件生态系统与社区

此外，英伟达Jetson AI实验室提供对最新开源社区模型的支持，以及易于使用的教程。开发者还可以从更广泛的Jetson社区获得支持，并从其他开发者的项目中获得灵感。

Jetson支持英伟达的AI软件，包括用于机器人技术的NVIDIA Isaac、用于视觉AI的NVIDIA Metropolis和用于传感器处理的NVIDIA Holoscan。通过NVIDIA Omniverse Replicator生成合成数据，以及使用NVIDIA TAO工具包微调来自NGC目录的预训练AI模型，开发时间可以大幅缩短。

Jetson生态系统合作伙伴提供额外的AI和系统软件、开发工具以及定制软件开发服务。他们还提供与摄像头及其他传感器相关的支持，以及载板和产品解决方案的设计服务。

为所有Jetson Orin用户解锁性能提升：Super模式

英伟达也宣布将为Jetson Orin NX和Nano系列的系统模块提供软件更新，让它们也能享受到Super模式的性能提升，最高可达70%。这些更新将通过Jetpack SDK管理器发布在英伟达网站和GitHub上。