伴随着大模型之战转入商业化落地应用的下半场，如何实现更低成本的进行部署成为市场关注的焦点。深圳AI上市企业云天励飞开始在这个方向做出尝试和探索，希望通过推出低配版的AI盒子，打响大模型“平民化”的第一枪。
3月28日，云天励飞举办AI大模型产品发布会，正式发布“深目”AI模盒。据介绍，该产品售价在千元级，用单手就能托起，搭载了云天励飞自研的DeepEdge10 Max芯片以及多模态大模型“云天天书”，单盒子具备48 TOPS峰值算力。
云天励飞试图通过这一产品解决大模型在场景落地最后一公里的问题，帮助更多中小企业客户在端侧部署大模型。
对于云天励飞而言，这也是加速商业化之举。据云天励飞3月28日发布的业绩快报，2023年实现营业收入5.35亿元，同比下降2.14%；归母净亏损3.9亿元，较2022年4.47亿元的亏损有所收窄。
对于盈利预期，云天励飞董秘邓浩然在会后的媒体交流环节解释称，去年公司曾披露限制性股票激励计划，为管理层设定了2024年、2025年实现对2022年60%及90%业绩增长的目标，公司对于完成这一要求有比较大的信心。
“我相信，随着我们运营业务的加强，以及标准化AI产品的推进，整体盈利时间指日可待。”邓浩然表示。
推理应用才是目的
相比燧原科技云燧i20及寒武纪MLU370-X4等其他厂商旗下推理卡256 TOPS算力，“深目”AI模盒48 TOPS的峰值算力有着较大差距。但算力上的压缩显著降低了成本，云天励飞认为这是一大优势。
在发布会上，云天励飞董事长、CEO陈宁分析指出，从ChatGPT到Sora，从文生文、文生图像到文生视频，大模型的能力在不断进化，引发新一轮的AI变革。在此基础上，陈宁预判，未来3年内，全球80%的企业都将使用大模型。
但问题是，目前大模型一次训练成本在千万级，主流的训推一体机价格也普遍在百万元上下，绝大多数企业根本无法承担这样高昂的成本。
因此，只有降低成本，才能让大模型“平民化”，成为人人都可用的产品——这正是云天励飞打造“深目”AI模盒这类边缘端承载的小模型产品的原因。
在接受时代财经等媒体采访时，陈宁坦言，市场对于大模型训练的关注程度更高，GPU一卡难求，国内也掀起了算力建设的热潮。但在此之外，市场对于大模型推理部署的关注程度偏低。
目前，AI芯片可分为两大类:训练芯片和推理芯片。前者更高端，以英伟达A100、H100，以及华为昇腾的910B芯片为代表，用于构建神经网络算力模型，更为注重绝对的计算能力。而后者，主要是利用训练好的神经网络模型进行推理预测，更强调实用，对算力的要求相对低一些，更关注低延时、低功耗。
在陈宁看来，大模型算法的训练不是目的，千行百业的推理应用才是最终目的。因此，随着大模型逐渐开始广泛落地应用，推理芯片将会越来越重要。
“未来，无论是机器人、无人机、无人车、还是各类智能设备如AIPC、AI手机等，都需要一颗或几颗具备神经网络处理器的推理芯片，并可能因此诞生一个万亿颗芯片的巨大蓝海市场。”陈宁说。
更重要的是，在这个市场上，还没有诞生英伟达这样的垄断性的巨头。
“中国拥有丰富的应用场景，推理芯片要落到行业里解决各个场景的问题，这是很大的机会。”陈宁表示。
AI必须走向产品化
去年，云天励飞已经发布了国内首创14nm大模型推理芯片DeepEdge10 MAX，该芯片内含国产RISC-V核，足以支持大模型推理部署。
而为了把复杂的技术通过简单的产品提供给用户，降低用户的学习成本，快速训练出自己需要的算法，云天励飞在上述芯片的基础上，结合自研的多模态大模型“云天天书”进行封装，并做出大量优化调整，最终打造出AI模盒“深目”。
与此同时，云天励飞还以天书大模型为底座，与生态合作伙伴完成预训练场景算法，再将预训练算法以算法商城的形式提供给中小企业用户，让它们根据自身场景需求，在边缘端完成算法微调。
此外，由于大模型具备泛化和学习的能力，客户部署算法后，大模型还能够不断根据现实应用场景情况，在线学习、优化算法，不断提升算法精度。
据云天励飞副总裁罗忆透露，“深目”可实现算法场景覆盖超过90%、算法精度超过90%，使用成本降低90%。
这背后，是云天励飞试图通过打造更为标准化的产品，让AI逐渐走入产品化的阶段。
在陈宁看来，AI商业化发展有三个阶段:AI方案化、AI运营化、AI产品化。在AI商业化的初期，AI企业主要通过项目制满足不同垂直领域客户需求，以定制化的方案解决问题，其弊端在于普遍投入产出比不高，难以实现大规模盈利。
但AI企业必须在打磨行业标杆项目的过程中，不断积累行业认知和数据，增强AI技术实力，并形成具备越来越强的泛化能力AI平台，企业也得以开启AI运营业务。“最终，所有的技术都需要通过物理实体赋能，因此AI必须走向产品化。”陈宁分析到。
为此，云天励飞已经开始做出诸多尝试。
除“深目”外，去年云天励飞还曾与华为昇腾联合推出更为高端的天舟大模型训推一体机，并通过投资、收购的方式，进军智能穿戴和机器人等硬件领域，启动了相关技术产品市场探索。