WAIC 2024｜对话爱芯元智仇肖莘：智能芯片和多模态大模型已成AI时代的“黄金组合”
发布时间:2024-07-29 | 发布者： 东东工作室 | 浏览次数： 次（原标题：WAIC 2024｜对话爱芯元智仇肖莘：智能芯片和多模态大模型已成AI时代的“黄金组合”）
在7月5日举行的世界人工智能大会（WAIC）“芯领未来｜智能芯片及多模态大模型论坛”上，AI感知与边缘计算芯片平台公司爱芯元智发布了“爱芯通元AI处理器”，该AI处理器的核心是算子指令集和数据流微架构，有高中低三档算力，不仅在智慧城市和辅助驾驶两个场景实现了量产，还在以文搜图、通用检测、以图生文、AI 智能体（AI Agent）等通用大模型产品中应用。
经济观察网在爱芯元智展区看到，搭载爱芯通元系列端侧芯片AX630C的设备，在阿里云通义千问Qwen2.0大模型的支持下，实现了流畅的人机对话；而AX650N芯片则和面壁智能的MiniCPM V2.0大模型组合，让端侧设备可支持AI模型，实现图生文等生成式AI体验。
“智能芯片和多模态大模型已经成为AI时代的‘黄金组合’。”爱芯元智创始人、董事长仇肖莘在演讲中称，大模型的应用日益广泛，为智能芯片的发展提出了更经济、更高效、更环保的要求。设备是否搭载了具有AI处理器的高效推理芯片，也是关乎大模型落地的关键点。
创立于2019年的爱芯元智，自研并量产了多类AI芯片，包括智能应用芯片、同轴高清发送（TX）芯片和接收（RX）芯片、数模混合芯片及微控制单元（MCU）芯片等。
与一些芯片厂商发力智算中心的策略不同，爱芯元智的业务场景布局重点在边缘侧和端侧。在仇肖莘看来，大模型真正大规模落地需要云—边—端三级紧密结合，而边缘侧和端侧结合的关键在于AI计算与感知，这正是爱芯元智的优势所在。
【对话】
经济观察网：爱芯元智现有芯片能够支持多大规模参数的大模型部署端侧？
仇肖莘：现在能支持7B（即70亿个可训练参数）。我们也很关注苹果在手机上落地的大模型量级，因为它已经证明3B的模型能够在苹果的设备上落地，并且有真实的应用。我们认为，将来搭载在边缘侧和端侧设备的芯片，基本上就是3B—7B这个参数量级，可能7B的性能更高一点。
当然这只是现阶段的性能，其实AI的发展是一个芯片和算法联合调优的过程。除了芯片的能力要越做越好，能够支持大模型落地，算法方面也要做更多优化，比如轻量化。
此前7B的模型可能无法在3.2T（指每秒可以实现3.2万亿次运算的计算能力）的芯片上运行，但是如果芯片搭载了混合精度神经网络处理器（NPU），它会将同等参数量下的处理能力和存储需求都做减法，7B模型在这样一颗芯片上就能运行得起来。
所以，大模型的落地，除了硬件要持续优化，还要有算法优化，尤其是从云侧落到边缘侧的优化迭代。
经济观察网：有一些芯片厂商参与智算中心的建设，虽然有训练大模型的成本，但回报率更高一些。爱芯元智有没有考虑去做智算中心？
仇肖莘：我们的这种芯片架构非常适合AI推理，但智算中心有两大任务：一个是做训练，另外一个是做推理。
智算中心将来会不会是一个易构建的设施？我觉得有可能，但现阶段，我还是希望爱芯元智能够把边缘侧和端侧的海量市场先做好。
经济观察网：在车载芯片之外，爱芯元智会有其他的第二条曲线吗？
仇肖莘：爱芯元智是一家边缘侧和端侧的人工智能芯片公司。尽管边缘侧、端侧跟云数据中心相比，是个相对碎片化的市场，但我们的基础技术能够应用在不同的细分赛道，车只不过是其中一个高速增长的赛道。在这之前，我们其实最先落地的是智慧城市等人工智能物联网（AIoT）领域。
车载是我们的第二增长曲线，现在我们已经开始落地的第三曲线是边缘计算。现在很多中央处理器（CPU）服务器有将自身升级为AI服务器的较强需求，搭载爱芯元智即插即用的AI加速卡就是一个好办法，此外还有AI算力盒子、AI一体机等产品形态可以为行业赋能。
经济观察网：具身智能在去年的WAIC上就火起来了，爱芯元智在这方面有布局吗？
仇肖莘：我们一直看好这一方向，具身智能需要的技术就包括视觉处理。机器人需要各种传感器，以及一个强大的AI处理器。我们也在跟一些客户探讨，具身智能这样的产品形态怎么利用爱芯元智的AI芯片来落地。
不过，必须要明确的是，当下具身智能产品形态还处于一个比较早期的阶段。对芯片公司来说，要提前探索并积累一个行业的技术诀窍。具身智能和车载虽然可以共用芯片，但是应用场景或需要的能力可能不一样，所以我们需要通过合作来积累一些行业认知，比如对具身智能或者机器人这样的产品形态，芯片要特别设计哪些专用功能？当这些问题有了答案，在相关产品真正起量时，我们就可以推出专用芯片。
所有跟“视觉+AI”相关的场景应用，如果市场足够大，都会是我们的目标场景。
经济观察网：现在端侧大模型落地的情况怎么样？
仇肖莘：肯定是在前期探索阶段，我认为，最先会落地的是车、手机，还有AI PC等。车，是一个需要实时响应的应用场景，比如智能驾舱就是AI Agent的典型应用场景，比如人机交互，比如控制驾驶舱功能等。
经济观察网：自动驾驶（L2）市场目前竞争非常激烈，这种“卷”会向上传导至作为供应商之一的爱芯元智这里吗？
仇肖莘：市场传导是客观存在的，一般会从终端客户一级一级向上传。对我们这样的供应商来说，能做的就是降本增效。
怎么降本？如果只做车规芯片是很难摊平研发成本的，所以要尽量利用平台技术，例如我们的人工智能图像信号处理器（AI-ISP）和NPU等，让开发的IP通用，就能增加功能安全等车载专用功能，这样可以最大程度地摊薄研发成本。
其实芯片的生意做到最后都是规模的生意。光靠车规芯片产出，量不够大，所以芯片一定要做成平台性的生意，将研发、供应链成本分摊，实现商业闭环。
经济观察网：爱芯元智会以平台化的逻辑去演练更多的芯片系列？
仇肖莘：爱芯元智要做到一颗芯片尽量覆盖不同的产品形态。对碎片化市场，我们不可能为每一个产品形态都单独定义一款芯片，那样成本就太高了。
从芯片的角度来说，出货量第一大的是手机，芯片厂商会开各种规格、档位的芯片，因为规模足够大，就可以摊薄研发成本。但在AIoT领域，绝大部分单一市场的出货量都不足以支持一颗专用芯片的研发支出，所以需要芯片具有通用性，即把市场的共性抽象出来，让芯片能够覆盖更多应用场景。
对爱芯元智来说，感知视觉和AI成为很多产品形态的刚需，此外，低功耗、高能效比也逐渐被市场重视。当这些共性被提炼，当一颗芯片能够覆盖足够多的场景，芯片企业就拥有了盈利的空间。
