"); //-->
导读:5月9日据Tom's Hardware报道,中国厂商正通过更换GPU、调整软件等方式来训练AI大模型,但代价是效率和成本。
图:被爆炒的英伟达H100
芯片大师曾在马斯克等签署千人联名信:立即停止巨型AI实验一文中指出,国内AI厂商未来面临自主设计的ASIC无法使用先进工艺制造,也无法获得和竞争对手一样的进口芯片的尴尬,中外由于芯片算力带来的差距将进一步扩大。
报道称,为了弥补强大GPU(NVIDIA的A100/H100)的不足,中国AI大模型开发人员正在简化他们的程序以降低要求,并结合使用他们可以获得的所有计算硬件。
据瑞银分析师估计,OpenAI的ChatGPT背后的大规模语言模型需要5,000到10,000个Nvidia 的A100 GPU进行训练。而阿里巴巴、百度和华为等公司已经探索使用NVIDIA的V100、P100及华为Ascend(昇腾)的组合。
图:中外主要AI算力芯片(浙商证券)
据SemiAnalysis估计,OpenAI运营ChatGPT每天的花费高达700,000美元,因为ChatGPT需要大量的算力来响应海量用户的需求,同时,大部分成本是基于他们所需的昂贵服务器。
4月,腾讯推出了一个新的计算集群,使用NVIDIA H800s进行大规模AI模型训练。但这种方法可能代价高昂,因为中国公司可能需要三倍的H800才能达到美国同行采用H100获得的结果。
这意味着,如果中国企业需要运营一个类似于ChatGPT的项目,每天的成本可能将高达210万美元,但成本还不是最困难的。
报道还称,尽管中国有许多公司为AI工作负载开发处理器,但它们的硬件不受英伟达CUDA等强大软件平台的支持,这也是此前有报道称基于此类芯片的机器“容易崩溃”的原因。
图:华为昇腾系列
在最近的一篇论文中,华为研究人员演示了仅使用Ascend处理器来训练他们最新一代的大型语言模型PanGu-Σ。虽然存在一些缺点,但该模型在阅读理解和语法测试等一些中文任务中取得了最先进的性能。
分析人士说,无法使用H100芯片给中国研究人员带来了显著的困难,该芯片包括一项额外的性能增强功能,特别适用于训练类似ChatGPT的模型。与此同时,百度和鹏程实验室去年发表的一篇论文表明,研究人员正在使用一种可以使附加功能变得无关紧要的方法来训练大型语言模型。
对此,SemiAnalysis首席分析师Dylan Patel认为:“如果运作良好,他们可以有效规避制裁。”
*博客内容为网友个人发布,仅代表博主个人观点,如有侵权请联系工作人员删除。