首个国产全功能GPU的万卡集群来了！“中国英伟达”出品
时间:2024-07-03 11:50 来源:jslgpump.com 作者:利工集团 点击:
次
纯国产GPU的万卡集群，它来了！而且还是国内首个全功能GPU，兼容CUDA的那种。这个集结了超过10000张高性能GPU的超复杂工程，它的算力有多大？总算力超万P，专为万亿参数级别的复杂大模型训练而设计。
规模还只是它的特点之一，其它亮眼的地方还包括：
规模还只是它的特点之一，其它亮眼的地方还包括：
有效计算效率（MFU）目标最高达60%，可达到国际水平周均训练有效率目标最高可达99%以上，平均无故障运行15天以上，也是对标业界最高标准通用场景设计，加速一切大模型生态Day0级快速迁移，与CUDA兼容
这便是江湖人称“中国版英伟达”的摩尔线程，对自家智算中心全栈解决方案夸娥（KUAE）升级后的最新 “打开方式”。
而纵观国内算力的发展进程，仅是今年上半年便陆陆续续有不少“头部玩家”先后宣布布局万卡集群，“打群架”之势，好不热闹。
但，万卡国产GPU，确实很少见。
加之以生成式AI为主旋律的大模型热潮当道，Scaling Law的“魔法”仍在持续奏效，训练GPT-4所需要的GPU数量便已经达到了25000个。
以及在大模型架构方面也不只是围绕Transformer，而是呈现出多元化的趋势；与此同时，AI、3D和HPC跨技术与跨领域融合不断加速……
因此，当下的技术给算力提出了更高、更复杂、更多样化的要求——
万卡集群已然成为大模型玩家的最低标配，更是促使国产GPU大步迈入“万卡时代”。
正如摩尔线程创始人兼CEO张建中所述：
当前，我们正处在生成式人工智能的黄金时代，技术交织催动智能涌现，GPU成为加速新技术浪潮来临的创新引擎。夸娥万卡智算集群作为摩尔线程全栈AI战略的一块重要拼图，可为各行各业数智化转型提供澎湃算力。摩尔线程希望做的事情是解决最难做的事情，帮助国家、帮助行业解决缺少大算力的问题。
那么前不久刚官宣完千卡集群的摩尔线程，又是如何在这么短的时间内率先跨入“万卡俱乐部”的呢？
国产GPU万卡集群，是怎么“炼”成的？
在回答怎么“炼”之前，必须要确认的一点便是目标——什么样的万卡集群才算是好用的。
对此，张建中基于刚才种种的现状分析，给出了一个符合当下算力需求的“好用公式”：
好用=规模够大+计算通用+生态兼容
而这也正是最新夸娥（KUAE）万卡集群所具备的五大特点。
展开来看，首先便是万卡万P的超大算力。
具体而言，升级后的夸娥（KUAE）已经实现了单集群规模超万卡，浮点运算能力达到10Exa-Flops。
与此同时，在GPU显存和传输带宽方面，显存容量达到了PB级，卡间互联总带宽和节点互联总带宽同样也达到了PB级，实现算力、显存和带宽的系统性协同优化，全面提升集群计算性能。
在大算力之后，便来到了好用的第二个关键因素——有效计算效率（MFU）。
MFU作为衡量大型模型训练效率的标准指标，能够直观地反映整个集群训练过程的效率。
夸娥（KUAE）万卡集群通过在系统软件、框架和算法等多个层面进行深入优化，可以成功实现对大型模型的高效训练，MFU值最高可达60%。
具体来说，在系统软件层面，通过采用计算与通信效率的极致优化技术，显著提升了集群的执行效率和性能。
在框架和算法层面，该集群能够支持多种自适应的混合并行策略和高效的显存优化技术，能够根据具体的应用需求自动选择并配置最佳的并行策略，从而显著提高训练效率和显存的利用率。
此外，针对处理超长序列的大型模型，夸娥（KUAE）万卡集群利用CP并行技术和环形注意力机制等优化手段，有效减少了计算时间和显存使用，进一步提升了集群的训练效率。
对于一个好用的集群而言，稳定性是最不可忽视的。
在这方面，正如刚才我们提到的，夸娥（KUAE）万卡集群平均无故障运行时间可超过15天，最长可实现大模型稳定训练30天以上，周均训练有效率目标为99%。
之所以把目标定得那么高，得益于摩尔线程自主研发的一系列可预测、可诊断的多级可靠机制，包括：
软硬件故障的自动定位与诊断预测实现分钟级的故障定位Checkpoint多级存储机制实现内存秒级存储和训练任务分钟级恢复高容错高效能的万卡集群管理平台实现秒级纳管分配与作业调度等至于最后一个最重要的保障，就在于通用性和生态友好。
据了解，夸娥（KUAE）万卡集群专为通用计算场景量身定制，能够为LLM、MoE、多模态和Mamba等多样化的架构和模态的大型模型提供加速支持。
此外，这个集群还采用了高效且用户友好的MUSA编程语言，并且完全兼容CUDA，配合自动化迁移工具Musify，能够实现新模型的即时”Day0”级迁移，确保了生态系统的即时适配性，从而帮助客户迅速部署其业务。
此外，这个集群还采用了高效且用户友好的MUSA编程语言，并且完全兼容CUDA，配合自动化迁移工具Musify，能够实现新模型的即时”Day0”级迁移，确保了生态系统的即时适配性，从而帮助客户迅速部署其业务。
不过有一说一，虽然摩尔线程已经解锁了万卡集群这一大关，但这个过程并非是将GPU堆叠这么简单，用张建中的话来说就是：
虽然从千卡到万卡在数字上只是多了一个0，但难度上了却增加了一个指数级，比攀登喜马拉雅山都难。
例如，单是在超大规模组网互联这个问题上，超万卡集群网络便会涉及参数面网络、数据面网络、业务面网络、管理面网络等。
不同的网络需要采取不同的组网部署方式，其中，超万卡集群对参数面网络方面的要求是最高。
再如集群有效计算效率方面，大量实践表明，集群规模的线性提升无法直接带来集群有效算力的线性提升，受限于芯片计算性能（芯片及算子使用效率）、GPU显存的访问性能（内存和I/O访问瓶颈）、卡间互联带宽、有效的分布式并行策略等，集群有效计算。
除此之外，还会涉及训练高稳定与高可用、故障快速定位与可诊断工具、生态快速迁移、未来场景通用计算等种种问题。
总而言之，是有一种牵一发而动全身的感觉。
这就不免让人发出疑问：摩尔线程为什么非要啃下这块硬骨头？
万卡很难，但也很必要
千卡集群，不够用，根本不够用。
没错，这正是当下随着大模型以“AI一日，人间一年”的速度迭代更新之下，算力所面临的最根本问题。
也正因如此，主流的大模型玩家基本上都是配备了万卡集群，例如：
OpenAI：单集群GPU数量50000+谷歌：单集群GPU数量25000+Meta：单集群GPU数量24500+节跳动：单集群GPU数量12888……而大模型玩家们要想保持在业界的领先性，那么自家的大模型的更新迭代的速度就不能太慢，两周更新一次似乎也是成为了当下的常态。
因此，摩尔线程要做的事情，就是用万卡集群、全栈方式，打造一个大模型训练超级加工厂，可以在算力上匹配当下大模型如此快速更迭的速度。
所以摩尔线程为什么要啃下这块硬骨头，就不难理解了。
那么随之而来的另一个问题便是：为什么摩尔线程能够做到？
其实这并非是一蹴而就的事情。
其实早在2022年的时候，团队便已经设定了建集群的大方向与策略，这是因为当时A100算力也是处于紧缺的状态，国内市场急需能够替代它的产品。
从GPU功能情况来看，摩尔线程是在唯一可以从功能上对标英伟达的国产GPU企业。
随着2023年大模型的火爆，这种GPU集群式的方向就显得更加正确，毕竟黄仁勋在发布B200之际就表示“我们需要更大的GPU，如果不能更大，就把更多GPU组合在一起，变成更大的虚拟GPU”。
而摩尔线程更是为此狠狠做了一番准备，所以现在看来，摩尔线程当时的策略和决定，确实是具备前瞻性的。
那么最后的最后，便是市场认可度的问题了，对此，在这次活动中的一张图便可以解释一切：
总而言之，细数摩尔线程在走来的这一路，似乎总是前瞻性地、开创性地推动着国产GPU的发展；而这一次，也是毫不意外地再拿下“国内首个”的头衔。
至于这个新升级的万卡方案是否能把握住高端算力的空窗期，答案就交给市场来回答了。
-江苏海珐机械制造有限公司，化工泵，皮托管泵，旋喷泵，Ni-Hard材质，零汽蚀余量泵，江苏利工，江苏海珐机械，习近平向墨西哥当选总统辛鲍姆致贺电，公平竞争审查条例，羲和号，超长期特别国债，中国女排，制暴，老师别哭，变型金刚，末路狂花钱，老板娘3，学爸，庆余年，万相之王，修罗武神，奥迪Q5，星瑞，迈巴赫，星越L，汉兰达，凯美瑞，冶金供应部钢铁研究总院靖江不锈钢泵阀厂，江苏利工集团有限公司，耐磨耐腐蚀Ni-Hard材质。更多资讯，敬请百度查询海珐网站：www.jslgpump.com 和江苏海珐机械中国微博、微信。-江苏海珐机械制造有限公司，化工泵，皮托管泵，旋喷泵，Ni-Hard材质，零汽蚀余量泵，江苏利工，江苏海珐机械，习近平向墨西哥当选总统辛鲍姆致贺电，公平竞争审查条例，羲和号，超长期特别国债，中国女排，制暴，老师别哭，变型金刚，末路狂花钱，老板娘3，学爸，庆余年，万相之王，修罗武神，奥迪Q5，星瑞，迈巴赫，星越L，汉兰达，凯美瑞，冶金供应部钢铁研究总院靖江不锈钢泵阀厂，江苏利工集团有限公司，耐磨耐腐蚀Ni-Hard材质。更多资讯，敬请百度查询海珐网站：www.jslgpump.com 和江苏海珐机械中国微博、微信。
-江苏海珐机械制造有限公司，化工泵，皮托管泵，旋喷泵，Ni-Hard材质，零汽蚀余量泵，江苏利工，江苏海珐机械，习近平向墨西哥当选总统辛鲍姆致贺电，公平竞争审查条例，羲和号，超长期特别国债，中国女排，制暴，老师别哭，变型金刚，末路狂花钱，老板娘3，学爸，庆余年，万相之王，修罗武神，奥迪Q5，星瑞，迈巴赫，星越L，汉兰达，凯美瑞，冶金供应部钢铁研究总院靖江不锈钢泵阀厂，江苏利工集团有限公司，耐磨耐腐蚀Ni-Hard材质。更多资讯，敬请百度查询海珐网站：www.jslgpump.com 和江苏海珐机械中国微博、微信。-江苏海珐机械制造有限公司，化工泵，皮托管泵，旋喷泵，Ni-Hard材质，零汽蚀余量泵，江苏利工，江苏海珐机械，习近平向墨西哥当选总统辛鲍姆致贺电，公平竞争审查条例，羲和号，超长期特别国债，中国女排，制暴，老师别哭，变型金刚，末路狂花钱，老板娘3，学爸，庆余年，万相之王，修罗武神，奥迪Q5，星瑞，迈巴赫，星越L，汉兰达，凯美瑞，冶金供应部钢铁研究总院靖江不锈钢泵阀厂，江苏利工集团有限公司，耐磨耐腐蚀Ni-Hard材质。更多资讯，敬请百度查询海珐网站：www.jslgpump.com 和江苏海珐机械中国微博、微信。
