火狐娱乐平台官方网站 英伟达发布Jarvis:可汇聚语音视频等传感器信息的多模AI SDK

火狐娱乐平台官方网站,在近日召开的 5g 移动世界大会上,英伟达(nvidia)联合创始人兼首席执行官(ceo)黄仁勋宣布了 nvidia jarvis 。作为一种多模式人工智能(ai)开源软件的开发套件(sdk),它能够将语音、视觉和其它传感器,整合到一个 ai 系统中。换言之,借助 nvidia jarvis,开发者能够构建和部署融合视觉、语音和其它传感器的 ai 应用程序。

(来自:nvidia,vianeowin)

据悉,nvidia jarvis 提供完整的工作流,来构建、训练和部署基于 gpu 加速的 ai 系统。这套系统用于手势、凝视等视觉提示,以及情境语音。

如前所述,jarvis 是该公司试图同时处理来自不同传感器的多个输入的尝试。这种方法的背后,旨在帮助构建上下文,在基于对话的 ai 应用程序中,准确地预测和生成响应。

为此,英伟达在其博客文章中举例说明了可能会有所帮助的一些案例。比如将语音输入和唇语识别相融合,凝视讲述人是否正在与现场的 ai 代理、或其他人员进行交流。

此外,nvidia jarvis 包含了可根据用户需求而进行调整的模块。对于视觉类应用,jarvis 具有用于人员检测和跟踪、手势、唇部活动、注视、以及身体姿势检测的模块。

对于语音类应用,jarvis 可以分析情感、对话建模、以及意图和实体分类。为将这些功能集成到系统中,nvidia 已采用融合算法来同步这些模型的工作。

nvidia 声称,基于 jarvis 的应用程序,在与 nvidia 神经模块(nemo)结合时效果最佳。nemo 是一个与框架无关的工具包,用于创建围绕神经模块构建的 a i应用程序。

基于云的应用程序,亦可使用 egx 平台,部署和使用基于 jarvis 开发的服务。jarvis 在 nvidia egx 堆栈上运行,该公司自诩为全球首个边缘计算超算平台,且与 kubernetes 基础架构兼容。

最后,jarvis 现已开放早期访问,感兴趣的朋友可注册并登录 nvidia 账户,以申请早期访问。

上一篇: 都说进合作社一起干好赚钱,但年底分红总觉得吃亏了咋办?

下一篇: 庆云一女子被骗1万余元 无颜面对亲朋“失踪”20天