阿里大幅增持小鹏汽车。 当地时间11月14日,阿里巴巴向美国证监会提交的13F文件显示,三季度,阿里巴巴大幅增持了小鹏汽车ADS,同时减持了少量玩美股份。阿里增......
2024-11-17 173
ChatGPT的火热,让国内不少互联网、AI企业纷纷加码大模型。比如云从科技(SH688327,股价41.95元,市值310.71亿元)近期就拟募集36亿元投向“大模型”。
曾经的AI,是CV(计算机视觉)的天下。就国内而言,最受瞩目的AI公司当属“CV四小龙”商汤科技(HK00020,股价2.93港元,市值980.64亿港元)、旷视科技、云从科技和依图科技。ChatGPT的横空出世,令AI产业的焦点迅速从视觉转为语言,从CV转为NLP(自然语言处理)。
在语言大模型时代,CV四小龙之一的云从科技又将何去何从?特别是大模型追求“强者恒强”,可能将是少数巨头的游戏。在算力“军备竞赛”中,云从科技能否跟上巨头的脚步?
少数玩家的游戏
互联网、移动互联网的兴盛,使得各行各业崛起了一大批细分领域的巨头。AI的兴起,同样在各细分领域百花齐放。比如CV(计算机视觉)领域的“四小龙”;语音领域的科大讯飞(SZ002230,股价59.18元,市值1374.80亿元)、思必驰。
而大模型时代,游戏规则骤然改变。算力的“军备竞赛”,导致大模型成本高企,可能仅有少数巨头能够负担。
据国盛证券计算机团队测算,以英伟达A100芯片、DGX A100服务器、现阶段每日2500万访问量等假设为基础,估算得出:在初始算力投入上,为满足ChatGPT当前千万级用户的咨询量,投入成本约为8亿美元,对应约4000台服务器;在单日运行电费上,参考美国平均0.08美元/kwh工业电价,每日电费约为5万美元,成本相对高昂。
此次云从科技欲募集资金36.35亿元,用于云从“行业精灵”大模型研发项目。其中,场地购置及装修费5.54亿元,研发设备购置费20.94亿元,人力资源成本7.60亿元,其他费用2.27元。
算力投入应属于研发设备购置费。照此计算,云从科技欲投入不超过20.94亿元用于算力投入。
截至2022年三季度末,云从科技货币资金12.47亿元。2022年第三季度,上市公司营收6479.03万元,同比下降80.07%;归母净利润-2.64亿元。2022年前三季度,上市公司营收4.55亿元,同比下降41.53%;归母净利润-5.89亿元,经营性现金流净额-5.29亿元。
从云从科技财务数据看,初始投入之后的训练费用、运行电费对其也是较沉重的负担。据国盛证券计算机团队,基于参数数量和token数量估算,GPT-3训练一次的成本约为140万美元;对于一些更大的LLM模型(如拥有2800亿参数的Gopher和拥有5400亿参数的PaLM),采用同样的计算公式,可得出,训练成本介于200万美元至1200万美元之间。
据天风计算机团队,参考GPT-3的发展历程,OpenAI从45TB的文件中过滤出570GB的数据集,仅训练费用就高达1200万美金,随后OpenAI经过约3年时间不断探索,中途有InstructGPT、davinci不同版本的尝试,最终在2023年发布了GPT-4,打造一个有竞争力的大模型需要数据、算法等资源的持续投入。
强者恒强
那么,云从科技是否可以与巨头进行差异化竞争,做一个“小而美”的垂直行业领军者?
在信达证券看来,参数量超级庞大的模型在任何垂直领域都具备优势,垂直细分的小模型难有生产空间。因此,信达证券认为在大模型格局未完全形成之前,参数量的无上限堆砌是各家企业发力的焦点,故算力的“军备竞赛”无可避免。
据天风计算机团队统计,百度Ernie大模型参数量约为2600亿,京东言犀、商汤商量SenseChat参数量为千亿级别,腾讯混元AI大模型参数量为万亿级别。华为盘古α参数量为2000亿。
据云从科技公告,2020年,OpenAI发布的NLP大模型GPT-3,实现了千亿级数据参数,大模型也成为了超大规模预训练模型的代名词。2022年,ChatGPT的出现更进一步确定了大模型作为人工智能主流技术路线的趋势。
可以看出,各大巨头的参数级别为千亿级乃至万亿级。
为何各家都在比拼参数量?信达证券认为,从论文研究来看,参数量的提升有助于构建语言预测模型的精确度,同时提高泛化能力。泛化能力的提升意味着一个参数量超级庞大的大模型,其在垂直细分领域的预测能力可超过针对垂直领域开发的中等参数量模型。
这意味着,做大模型似乎只有成为巨头,才能避免被边缘化。
天风计算机团队也认为,拥有一个大模型并不难,但是持续打造一个有竞争力的大模型难度很大。虽然国内有众多厂商推出了大模型,但从终局的角度看,大模型终将收敛并稀缺。参考OpenAI在海外的发展历程,大模型需要连同生态一起进化,形成强者恒强的格局。
芯片何来?
中航证券研究所认为,在ScalingLaw的框架下,只要追加数据与算力,大模型的能力就能持续增强。对OpenAI而言,目前大模型的最大限制是数据和算力的总量。
或许,大模型之间的竞争,已经转为对数据与算力资源的争夺。
对于云从科技而言,购买模型训练用的高端芯片面临限制。即使资金充足,能否成功获取庞大算力所需芯片呢?《每日经济新闻》记者4月13日致电云从科技,其工作人员表示:“首先有一部分库存,然后我们和国产芯片供应商之前也完成深度适配。”
该工作人员也表示,具体芯片问题公司在2月份投资者活动记录表有回复。记者查询后了解到,云从科技芯片的采购分两类。第一类:公司过去向英伟达采购部分芯片用以训练侧方面,公司具有一定量的库存储备且国产化的训练芯片水平也已经在快速提升中。第二类:过去两年中,公司在国产化硬件适配方面稳扎稳打,已与华为、寒武纪(SH688256,股价195元,市值782亿元)、曙光等提供芯片和服务器的厂商完成了深度适配。
值得一提的是,云从科技一度研发过AI芯片,如承担工信部“基于自研SoC芯片的高准确度人脸识别产业化应用”等国家级重大项目建设任务。
而根据云从科技招股书,其表示公司所处的人工智能行业尚处于发展初期,未来发展趋势存在较大不确定性,相关技术及各应用场景的定制化解决方案迭代速度快,技术的产品化和市场化亦具有一定的不确定性。2020年,由于芯片设计成果未达预期,且EDA软件和生产流片遭遇限制,公司终止了“人工智能SOC芯片研制及结合高准确度人脸识别技术的产业化应用”项目。
也就是说,云从科技终止了自研人工智能SOC芯片。
【内容声明】文章内容由新财梯网编辑整理,新闻来源:每日经济新闻
ChatGPT的火热,让国内不少互联网、AI企业纷纷加码大模型。比如云从科技(SH688327,股价41.95元,市值310.71亿元)近期就拟募集36亿元投向...
以上就是好财梯网整理的关于云从科技欲募资36亿投大模型:“强者恒强”游戏里如何与巨头竞争(今日财经:##解读)的全部内容,希望你在了解【今日财经:##解读】的基础上可以帮助到你,让我们一起学习理财知识。
标签: 云从科技欲募资36亿投大模型:“强者恒强”游戏里如何与巨头竞争
相关文章
阿里大幅增持小鹏汽车。 当地时间11月14日,阿里巴巴向美国证监会提交的13F文件显示,三季度,阿里巴巴大幅增持了小鹏汽车ADS,同时减持了少量玩美股份。阿里增......
2024-11-17 173
今日哔哩哔哩-W(09626.HK)公布三季业绩,季度首次实现盈利。股价却出现大跌,盘中一度跌超13%。截至发稿,跌10.59%,报145.20港元。从上图走势......
2024-11-17 519
截至本周五,美股多数机构投资者已经完成了第三季度持仓数据(13F)的披露。而对于国内投资者们来说,高瓴、高毅等中资私募机构的海外投资动向无疑是最为关注的。注:四......
2024-11-17 254
上证报中国证券网讯 11月16日,TCL科技首席技术官、TCL华星首席技术官闫晓林在2024年TCL华星全球显示生态大会(DTC2024)上宣布印刷OLED正式......
2024-11-17 672
证券时报e公司讯,思泉新材(301489)近日接受机构调研时表示,北美大客户是公司重要客户,目前该客户订单充足。公司向该客户提供的产品主要为石墨膜,仅应用于其手......
2024-11-17 231