置顶按钮
文章封面

【解析快讯】商汤绝影率先推出车载原生多模态大型模型部署方案:80亿参数规模,实现每秒40个Token处理能力

【原文大意】


来源:网上搜集

文章主要报道了商汤科技在车载人工智能领域的最新进展。商汤科技的联合创始人、首席科学家王晓刚宣布,商汤绝影成功实现了原生多模态大模型的车端部署,这一技术突破在行业内属于领先水平。具体来说,车载端侧8B模型的首包延迟控制在300毫秒以内,推理速度达到40 Tokens/秒,并且覆盖了主流的算力平台。

商汤绝影还开发了名为“HyperPPL”的计算引擎,这一引擎不仅扩展并支持了主流的车载计算硬件,还兼容多种主流操作系统,并适配多个车载芯片的部署平台。此外,HyperPPL针对车载多人场景进行了优化,确保在车内多人并发的情况下,车端多模态大模型的推理效率不会因人数增加而显著降低。

文章还提到,商汤绝影的技术已被应用于深圳的首条自动驾驶公交线路,实现了完全无人介入的驾驶操作。展望未来,随着更高算力的车载芯片(如英伟达Thor)的问世,商汤预计绝影多模态大模型的车端部署方案将进一步提升性能,包括降低首包延迟和提高推理速度。


【分析结果】


技术创新角度

  1. 多模态大模型的车端部署:商汤科技的绝影实现了行业内首个原生多模态大模型的车端部署,这一技术突破意味着车辆能够更高效地处理和理解多种类型的数据输入,如视觉、语音等,从而提升自动驾驶系统的智能化水平。
  2. 计算引擎“HyperPPL”:商汤绝影开发的计算引擎“HyperPPL”不仅支持主流车载计算硬件,还兼容多种操作系统,这表明商汤在软硬件集成方面具有较强的技术实力,能够为不同车型和系统提供定制化的解决方案。
  3. 性能优化:针对车载多人场景进行优化,确保在多人并发情况下,模型推理效率不受影响,这显示了商汤在优化算法和提升系统性能方面的能力。

市场应用角度

  1. 自动驾驶公交线路:商汤绝影的技术已被应用于深圳的自动驾驶公交线路,这不仅展示了技术的实际应用能力,也为商汤在自动驾驶领域的市场拓展提供了实际案例。
  2. 未来算力提升:随着明年英伟达Thor芯片的问世,预计商汤绝影的多模态大模型车端部署方案的性能将进一步提升,这将为商汤在自动驾驶市场的竞争力提供强有力的支持。

行业影响角度

  1. 推动自动驾驶技术发展:商汤绝影的多模态大模型车端部署技术,以及对未来高算力平台的适应性,将推动整个自动驾驶行业向更高级别的智能化迈进。
  2. 提升行业标准:商汤的技术突破可能会成为行业的新标准,引领其他企业跟进,从而加速整个行业技术的迭代和升级。
  3. 增强国际竞争力:通过在自动驾驶领域的持续创新和市场应用,商汤不仅在国内市场占据领先地位,也有望在国际市场上提升其品牌影响力和竞争力。

------本页内容已结束,喜欢请分享------

感谢您的来访,获取更多精彩文章请收藏本站。

获取更多精彩文章请收藏本站。
背景封面
站长QQ图像