阿里大幅增持小鹏汽车。 当地时间11月14日，阿里巴巴向美国证监会提交的13F文件显示，三季度，阿里巴巴大幅增持了小鹏汽车ADS，同时减持了少量玩美股份。阿里增......
2024-11-17 171
MOSS负责人：短期暂停训练更强AI模型没实质意义(今日财经：#关键要对齐人类价值观#解读)
财经资讯
2023-04-03 07:10:48
想和ChatGPT一较高下吗？请看这道填空题—— 长颈鹿的声带很特殊，其声带中有一个浅沟，发声的时候就比较困难，而且要肺...更多知识由小编为你整理了《MOSS负责人：短期暂停训练更强AI模型没实质意义》详细内容,欢迎关注学习。
MOSS负责人：短期暂停训练更强AI模型没实质意义
想和ChatGPT一较高下吗？请看这道填空题——
长颈鹿的声带很特殊，其声带中有一个浅沟，发声的时候就比较困难，而且要肺部、胸腔以及膈肌的共同帮助下它才可以发声，但是由于其脖子很长的缘故，这些器官相隔就挺远的，所以它也就没有办法_____
此处要准确地预测出“咳嗽”，需要对前面语句的语义和逻辑关系进行捕捉。这对于人类而言，也非易事。
ChatGPT狂飙背后的关键技术是什么？我国首个类ChatGPT模型MOSS怎么样了？4月1日晚，复旦大学计算机科学技术学院教授、MOSS系统负责人邱锡鹏，在复旦大学管理学院主办的“复旦科创先锋论坛”发表演讲。
【大型语言模型具备“涌现能力”】
2022年11月30日，OpenAI发布了ChatGPT.仅仅两个月，其月活跃用户已达1亿，是史上用户增速最快的消费应用。微软联合创始人比尔·盖茨认为，像ChatGPT这样的AI聊天机器人将与个人电脑或互联网同样重要。
“很多人可能会说，ChatGPT在技术上并没有太多创新，因为它背后的技术都是已有的，但对于它到底怎么做出来的其实并不清楚。ChatGPT目前尚未开源，其参数规模和技术细节都没有对外公布，因此有人调侃它是‘CloseAI’。”邱锡鹏介绍
“在自然界，当物质的数量达到一定程度，会表现出不一样的性质。大型语言模型也具备这种‘涌现能力’。”邱锡鹏说，这里有一个“信息压缩”的概念，当大型语言模型被训练用较少的参数记住大量的数据，这就迫使它去发现文字背后蕴藏的规律，以更好地理解人类语言和世界知识。当模型规模大到一定阶段，大概在100亿参数规模以上，它的能力就会发生一个突变。
在涌现能力的背后，隐含着三个非常重要的技术。第一是情景学习，大型语言模型可以直接和人交互，这从产品角度来说也是一个很大的创新。有了情景学习，还可以大幅降低下游开发成本。第二是思维链，不仅给出答案，也给出逻辑推导。第三是自然指令学习，要让机器明白我们的情感和真实意图，以前是从大数据中学，现在可以直接从指令中学。
【MOSS和ChatGPT有何异同】
“MOSS系统将在4月中旬开源发布。”邱锡鹏透露。今年2月，复旦大学自然语言处理实验室发布国内首个类ChatGPT模型MOSS.至今，他被问得最多的问题就是——MOSS什么时候开源给大家用，以及是否会商业化。
邱锡鹏说，我们之所以很容易有“卡脖子”问题，因为缺乏一个好的行业生态。就拿ChatGPT来说，OpenAI公司只需专注做好模型，算力、数据和系统则交给其他公司。反观国内，很多公司在做大型语言模型时所有环节都需要自己做，每家的数据和算力也有限，结果是每家都做不大。“我们考虑把MOSS开源而不是商业化，就是希望改善这种生态，有了这样一个基座，大家就不用重复开发底层技术，可以在上面接不同的细分领域。”
MOSS和ChatGPT有何异同？据介绍，MOSS模型有200亿参数，这意味着它也具有思维链、情景学习等涌现能力，能够执行人类的指令。这一参数大概是ChatGPT规模的十分之一，因此MOSS的预训练成本会低很多。
MOSS也可以直接与人类对话，根据人类反馈进行迭代优化，并与人类的价值观、思维方式对齐。“MOSS和ChatGPT具有相近的通用语义理解能力，每句话都能理解，但完成度还不高。”邱锡鹏说，相比ChatGPT的千亿参数模型，MOSS在思辨推理和事实类知识方面有一定差距，这主要是由于参数规模不同造成的，可以通过扩大模型规模来实现。“我们一直在改进它，相信下一代版本会更强大。”
【关键要让机器对齐人类价值观，否则很危险】
最近，马斯克等人呼吁立即暂停训练比GPT-4更强大的AI模型，为期至少6个月。对此，邱锡鹏认为，暂停6个月没有什么实质意义，也很难停下来。
人工智能之父图灵最早提出人工智能概念时，就有过“机器的迭代会快于我们”的类似描述。“对此我还是比较乐观的，到目前为止，人工智能还限于工具层面，是可控的。后面进一步发展AI时，关键要让机器对齐人类的价值观，否则很危险。”
在邱锡鹏看来，大型语言模型不仅将加速通用人工智能的实现，还将引爆数字经济，为社会治理、生物医药、智慧金融、医疗健康和智能教育等提供新动能，并催生海量的商业新模式。“科幻电影里的人工智能可能很快就会实现，不管其以真实形态还是以数字人形态，将会参与到我们的生活中来。”
至于ChatGPT是否会替代人，邱锡鹏认为ChatGPT类似于通才，但距离细分领域的专业化还是有差距。“未来，人工智能会替代一部分工作，但永远不会替代能够利用人工智能的人，人的思考和判断会变得更重要。”
【GPT-5什么时候会出来】
“复旦科创先锋论坛”结束后，邱锡鹏接受了解放日报·上观新闻记者的专访。
解放日报·上观新闻：大型语言模型的涌现能力是怎么实现的？
邱锡鹏：这是一个量变引起质变的过程，当训练数据多到一定程度，它可能就融会贯通了。
解放日报·上观新闻：融会贯通的能力，是它自己进化的吗？是相当于从猿到人这样的进化吗？
邱锡鹏：这不是一个层面的概念。人工智能算法的进化，是它自己习得的，通过预测未来以实现对以往知识的理解。比如，在预测下一个单词时，预测得越准，就代表了对以前知识的理解越深。
解放日报·上观新闻：您预测GPT-5什么时候会出来？
邱锡鹏：可能一年吧，具体时间很难把握，在这之前应该还会有一个类似于GPT-4.5的版本，技术上越往后挑战越大。
解放日报·上观新闻：如何让机器对齐人类的价值观呢？
邱锡鹏：训练时，让一些专门经过培训的人给这些答案打分，对于模型产生的符合人类价值观的答案，会不断给予正向鼓励。
解放日报·上观新闻：这是一种新职业吗？
邱锡鹏：是的，这就是数据标注员。还有提示工程师，也是一种新职业，他们为机器生成的内容添加关键词和提示。这些新职业并不要求有人工智能知识背景。
解放日报·上观新闻：您在演讲中两次用了“乐观”一词，在这次人工智能革命中，中国有何机会？
邱锡鹏：我确实比较乐观。场景丰富或应用创新，一直以来是中国人工智能的一个特色。在这波AIGC(利用人工智能生成内容)和大型语言模型浪潮中，应用驱动也很重要。
【内容声明】文章内容由新财梯网编辑整理，新闻来源：上观新闻
MOSS负责人：短期暂停训练更强AI模型没实质意义相关拓展阅读
想和ChatGPT一较高下吗？请看这道填空题—— 长颈鹿的声带很特殊，其声带中有一个浅沟，发声的时候就比较困难，而且要肺部、胸腔以及膈肌的共同帮助下它才可以发声...
以上就是好财梯网整理的关于MOSS负责人：短期暂停训练更强AI模型没实质意义(今日财经：#关键要对齐人类价值观#解读)的全部内容，希望你在了解【今日财经：#关键要对齐人类价值观#解读】的基础上可以帮助到你，让我们一起学习理财知识。
相关文章
- 详细阅读
-
哔哩哔哩季度首次实现盈利(今日财经：##解读)详细阅读
![哔哩哔哩季度首次实现盈利(今日财经：##解读)]()
今日哔哩哔哩-W(09626.HK)公布三季业绩，季度首次实现盈利。股价却出现大跌，盘中一度跌超13%。截至发稿，跌10.59%，报145.20港元。从上图走势......
2024-11-17 516
-
中国顶流私募曝光“美股成绩单”：中概股含量持续上升(今日财经：#拼多多、苹果成分歧焦点#解读)详细阅读
![中国顶流私募曝光“美股成绩单”：中概股含量持续上升(今日财经：#拼多多、苹果成分歧焦点#解读)]()
截至本周五，美股多数机构投资者已经完成了第三季度持仓数据（13F）的披露。而对于国内投资者们来说，高瓴、高毅等中资私募机构的海外投资动向无疑是最为关注的。注：四......
2024-11-17 252
-
TCL华星宣布量产印刷OLED专显屏(今日财经：#全新技术品牌APEX同步发布#解读)详细阅读
![TCL华星宣布量产印刷OLED专显屏(今日财经：#全新技术品牌APEX同步发布#解读)]()
上证报中国证券网讯 11月16日，TCL科技首席技术官、TCL华星首席技术官闫晓林在2024年TCL华星全球显示生态大会（DTC2024）上宣布印刷OLED正式......
2024-11-17 669
-
思泉新材：石墨膜在北美大客户其他电子产品上的应用处于导入阶段(今日财经：#石墨膜在北美大客户其他电子产品上的应用处于导入阶段#解读)详细阅读
![思泉新材：石墨膜在北美大客户其他电子产品上的应用处于导入阶段(今日财经：#石墨膜在北美大客户其他电子产品上的应用处于导入阶段#解读)]()
证券时报e公司讯，思泉新材(301489)近日接受机构调研时表示，北美大客户是公司重要客户，目前该客户订单充足。公司向该客户提供的产品主要为石墨膜，仅应用于其手......
2024-11-17 230
