国盛证券刘高畅：中文数据欠缺(今日财经：#算力消耗显著#解读)

财经资讯 2023-04-27 08:43:52

国盛证券刘高畅在节目中表示，数据方面，高质量的中文语料库相对稀缺，会有一些误差率的问题；算力方面，训练端对算力的要求不是...更多知识由小编为你整理了《国盛证券刘高畅：中文数据欠缺》详细内容,欢迎关注学习。

$国盛证券刘高畅：中文数据欠缺(今日财经：#算力消耗显著#解读)$

国盛证券刘高畅：中文数据欠缺

国盛证券刘高畅在节目中表示，数据方面，高质量的中文语料库相对稀缺，会有一些误差率的问题；算力方面，训练端对算力的要求不是很极限，但应用端对算力的消耗非常显著。

以下为文字精华：

提问：除了算法，人工智能训练的时候也需要很大的算力，包括海量的数据，特别是我们中国跟海外的数据源可能还存在一些割裂。在算力和数据方面，我们和海外有多少差距？

刘高畅：数据方面，在GPT3以前用的都是互联网的公开数据，中文目前来看，客观的条件就是高质量的语料库相对来讲会稀缺一些。

在整个OpenAI的大模型中，我们了解到中文的语料库使用只有5%，从误差率的角度来讲，英文可能在2%—3%，中文大概在10%以上。用中文去测试ChatGPT，效果也不如英文。但是，我们也看到国内的高质量语料库在快速生成中，大家也在探索，包括知乎和万方这样的一些高质量语料库在形成。

大模型的数据还是以互联网公开数据为主，可能在写代码这个阶段，一些顶尖大厂比如微软，代码的水平会比较高，但是毕竟这一块只是小部分，我们推测起不了决定性的作用，应该不是特别大的瓶颈。OpenAI在去年GPT3.5的时候，大概用了45TB的数据，做模型数据集处理和倾斜的部分应该是不超过1TB的，所以其实是很少的数据，这一点不用特别担心。

算力方面，如果从训练端的角度来看，如果在GPT3以前，用2000张英伟达A100的算力，如果你训不出来成果，我们建议就不要去做了，说明这个团队水平有点问题。如果在GPT3.5以前，5000张如果训不出来，我们建议也不要再做训练了，说明这个团队多多少少有点问题。

我们认为在训练阶段，对算力的需求量没有那么极限，国内明面上和潜在的产业中的储备我们认为是够的。

应用端来看，做模型蒸馏和模型裁剪，把算力的消耗做到以前的90%，已经是很高的缩减度了。但是就这样的情况来看，算力还是会捉襟见肘，对未来算力的消耗还会非常显著，包括我们国家的一些晶圆代工和设计厂商，这也是他们需要努力的地方，其实是机遇也是挑战。

【内容声明】文章内容由新财梯网编辑整理，新闻来源：东方财富网

国盛证券刘高畅：中文数据欠缺相关拓展阅读

国盛证券刘高畅：中文数据欠缺(今日财经：#算力消耗显著#解读)

国盛证券刘高畅在节目中表示，数据方面，高质量的中文语料库相对稀缺，会有一些误差率的问题；算力方面，训练端对算力的要求不是很极限，但应用端对算力的消耗非常显著。 ...

以上就是好财梯网整理的关于国盛证券刘高畅：中文数据欠缺(今日财经：#算力消耗显著#解读)的全部内容，希望你在了解【今日财经：#算力消耗显著#解读】的基础上可以帮助到你，让我们一起学习理财知识。

阅读全文

标签: 国盛证券刘高畅：中文数据欠缺

上一篇：国盛证券刘高畅：关注三个领域(今日财经：#皆有可观机会#解读) 下一篇：国盛证券刘高畅：第三次AI浪潮(今日财经：#量变产生质变#解读)

国盛证券刘高畅：中文数据欠缺(今日财经：#算力消耗显著#解读)

国盛证券刘高畅：中文数据欠缺

国盛证券刘高畅：中文数据欠缺相关拓展阅读

最新文章

推荐文章