本站点使用Cookies,继续浏览表示您同意我们使用Cookies。 Cookies和隐私政策>
在人工智能大模型驱动下,对计算能力提出更高的要求。全球各大科技公司和研究机构都在加大投入,通过构建更大规模的智算集群,抓住大模型带来的发展机遇。传统智算集群采用电交换机CLOS组网,层层叠加架构在组网规模、扩展性、可用率、效率等方面存在瓶颈和挑战。
一、集群架构扩展受限。由于电交换机功耗高,集成度低,因此为了追求初期网络建设时的综合性价比,往往按照当下可见集群规模进行交换机选型并一次性部署,随着智算业务的快速发展,集群规模无法满足诉求必需扩容时,需要对数据中心网络进行重新组网,调整大量的光纤连接,不仅调整周期长、成本高,而且在重构过程会中断集群训练,隐形损失大,缺乏有效的集群网络扩展手段。
二、集群网络MTBF随着集群规模增长,线性劣化。CLOS组网层层叠加的架构,每增加一张智算卡,端到端就要增加对应的光模块与光纤,因此网络MTBF随着器件增多线性劣化;而根据现网的统计,发现集群网络中90%以上的故障是由于光模块失效引起的,光模块一旦发生故障,就如同关键的齿轮出现了卡顿,整个集群的传输能力会下降,从而导致拥塞冲突的出现,进而影响集群训练性能。据统计某商用智算集群项目每年因光模块失效影响训练任务超过100次以上,严重影响AI大模型训练的连续性和准确性。
三、集群网络拥塞冲突加剧从而影响集群算效。随着集群规模增大需要升级到三层CLOS架构,此时拥塞点增多,时延变大,网络拥塞控制复杂度增高,也是当前产业界都在思考和攻克的问题之一。
面对众多亟待解决的难题,业界积极探索将新技术引入到数据中心算卡互联中,其中技术之一就是全光交换(Optical Circuit Switch)。据Lightcounting预测,OCS出货量在2023年达到1万台,预计到2029年将超过5万台。根据业界公开数据,全光交换机的引入使集群网络不再受电芯片迭代周期束缚,网络拓扑可按流量亲和性动态调整,效率提升10倍。
华为将全光交换技术引入到数据中心网络,推出基于MEMS微镜技术的数据中心全光交换机,并提出用全光交换实现五大价值:
一、集群大规模:全光交换机端口扇出数大,支持256*256无阻塞全光交换,与传统的Spine-leaf组成三层架构,理论可支持集群规模平滑演进到百万卡规模以上,可以更好的满足参数量向万亿、十万亿演进的趋势。
二、集群架构弹性可扩展:全光交叉的低功耗高集成度特征使得智算集群组网可基于长期规划的目标组网一次建设顶层网络成为可能,搭建稳定的全光交叉光底座后,客户可以按PoD(Point of Delivery,数据中心规划时的最小业务单位)颗粒度分期建设填充智算资源,逐步上线;即按照“光层一次规划、电层分步扩容”的模式,既降低初期投资门槛,又避免重复布线带来的资源浪费。
三、集群网络高可靠:全光交换机无需配置光模块的特征,使得在集群顶层擦用全光交换增大集群规模的方案中,整个集群的光模块数量并不会随集群规模扩大线性增长,三层网络架构下,光模块数量相比电方案减少16.7%,光交换机高可靠的设计,可以使得智算集群整体MTBF提升20%。
四、集群高效率:智算集群中引入全光交换后,从集合通信库视角看网络拓扑变得扁平化,端到端通信链路上减少了一跳电交换机转发,时延降低5~6us;且减少了一个网络拥塞点,从而使得网络拥塞控制变得更加简单,通过对GPT-MoE等模型实测,结果训练任务吞吐量提升1.5%~3.5%,小规模集群实测性能增益达2%。
五、集群超低功耗:采用全光交换,省掉传统交换机的光电转换和数据转发过程,以400G端口为例,相比传统交换机功耗降低98%,整网能耗降低20%。
从业界的OCS规模化实践,到华为DC-OXC光电混合集群解决方案的提出,光互联正从“技术选项”升级为“战略必选”。基于光电混合架构的“稳定光底座”将成为平衡规模、效率与成本的核心基础设施,而华为通过端到端光技术创新,为全球智算中心提供了一条清晰、高效的演进路径——以光为基,改写全球AI竞合的规则。
免责声明:文章内容和观点仅代表作者本人观点,供读者思想碰撞与技术交流参考,不作为华为公司产品与技术的官方依据。如需了解华为公司产品与技术详情,请访问产品与技术介绍页面或咨询华为公司人员。