谷歌与微软中枢才气对比开心色五月

基础设施与扩展才气谷歌：爱荷华州Council Bluffs园区IT容量接近300兆瓦，掂量2023年总容量将超500兆瓦。俄亥俄州和爱荷华州/内布拉斯加州掂量2025年底总容量将达1吉瓦，哥伦布地区行将建设的吉瓦级集群。2025年掂量在多个园区进行吉瓦级纯属，2026年形成吉瓦级AI纯属集群。微软：凤凰城最大AI纯属基地筹划扩展至10座建筑，自建24个数据中心。威斯康星州自建超等园区，成为最大单一数据中心园区。德克萨斯州与Oracle+Crusoe和CoreWeave+Core Scientific配合，建设多个吉瓦级数据中心，筹划在全好意思范围内扩建，处所在畛域上超越谷歌。冷却技艺谷歌：弃取班师到芯片（Direct-to-Chip）的水冷方式，通过液-液热交换器将机架热量周折至中央设施水系统，部署数百万颗液冷TPU，总容量高出1吉瓦。微软：面前最大的数据纯属集群尚未弃取液冷技艺，筹划在密尔沃基和亚特兰大建设全液冷瞎想的单体建筑，专用于下一代AI硬件。能源效率谷歌：已毕1.1的PUE，大部分期间无需使用冷水机组，弃取巨型冷却塔和聚合式水系统，能泄气近200兆瓦热量。微软：PUE为1.223，电扇功耗高出服务器功率的15%。筹划在改日园区弃取空冷冷水机组，水使用效率（WUE）达2.24升/千瓦时，远高于行业平均的0.49。AI技艺与产物谷歌：Gemini 1 Ultra模子率先已毕多数据中心纯属，行将发布的Gemini 2有望在合成数据、强化学习和模子架构方面赶超OpenAI和Anthropic，部署数百万颗液冷TPU。微软：与OpenAI配合，筹划在多个超大畛域园区互联，实施覆盖全好意思的大畛域散播式纯属，筹划建立多吉瓦级的诡计系统。通讯网罗谷歌：在俄亥俄州和爱荷华州/内布拉斯加州的聚合区域可进一步互联，支抓单一模子的多吉瓦纯属，弃取高带宽光纤网罗，确保多数据中心间的低蔓延通讯。微软：与Lumen Technologies和Zayo配合，愚弄先进的光纤技艺和基础设施支抓大畛域AI纯属集群，筹划通过高速光纤网罗已毕多园区间的低蔓延通讯和数据传输。

微软吉瓦级AI纯属集群筹划

一、概况处所: 将多个园区互联，打造大畛域AI纯属集群。配结伴伴: Lumen Technologies与Zayo为微软提供光纤技艺支抓，构建高性能诡计网罗。需求: 需要处理海量数据，已毕低蔓延通讯，以得志AI模子纯属的需求。二、Lumen Technologies的变装与挑战契约签署: Lumen与微软达成50亿好意思元的互连契约，并与Corning签署了保抓10%产能的契约。市集需求: AI推动的光纤需求急剧高潮，Lumen筹划再争取70亿好意思元的销售契机。闲置资源: Lumen领有大量“暗光纤”未被充分愚弄，面对升级契机。三、电信行业的趋势与挑战成本开销: 掂量未回电信成本开销将高出100亿好意思元，特意用于多数据中心的AI纯属。价钱压力: 由于互联网价钱着落，企业流量向互联网搬动，酿成对MPLS需求的减少。四、受益公司过火发展出息Fabrinet: 通过400ZR产物线受益，电信业务占收入的近40%，并与多家电信客户保抓风雅配合。Lumentum: 受ZR/ZR+光学器件需求增长的推动，掂量已毕显赫收入增长。Ciena: 在电信硬件市集占据最初地位，罕见是在AI流量需求驱动下，订单抓续增长。Cisco: 超大畛域客户的订单已毕两位数增长，掂量改日还将不绝赢得AI商量订单。Marvell: 在ZR光学和商量DSP领域具备竞争上风，磋交易务快速增长，市集出息庞杂。基础学问

多数据中心散播式纯属

1. 意见与处所：数据中心散播式纯属通过将纯属任务分散到多个数据中心，以已毕更高的诡计效率和资源愚弄率。

2. 环节要领：

数据分割：将纯属数据永别为多个迷你批次，分拨给不同的数据中心。梯度诡计：各中心沉寂诡计梯度。梯度同步：使用高效的通讯机制（如all-reduce）同步梯度，以确保模子参数一致。

3. 挑战与问题：

通讯开销：跟着芯片数目加多，通讯蔓延和带宽要求显赫高潮，影响全体纯属效率。蔓延问题：不同地舆位置的数据中心之间的蔓延会显赫贬抑纯属速率。滞后节点：性能不平衡的节点可能导致全体纯属任务速率着落，影响模子拘谨。

4. 惩办决策：

异步纯属：弃取异步更新计谋，减少对全局同步的依赖，提高效率。优化通讯契约：开发更高效的通讯契约，贬抑蔓延和数据交换成本。动态资源补救：实时监测网罗状态，动态补救资源分拨以应答蔓延和带宽波动。

5. 其他探求：

扩展性：笔据阿姆达尔定律，加多节点并不总能线性擢升纯属性能。监控与优化：需要对MFU等性能处所进行监控，以识别并列除滞后节点，保抓纯属效率。容错纯属

1. 意见与处所：容错纯属是指在散播式系统中，通过瞎想来应答硬件故障，使得即使部分诡计单元（如GPU）发生故障，全体纯属过程仍可抓续进行，幸免从查验点重启，减少资源闲置。

2. 环节要领：

故障检测：实时监控诡计单元状态，实时识别故障节点。资源分拨：在故障发生时，将诡计任务动态重分拨到可用的GPU上。状态收复：在容错条件下，保抓模子纯属状态，不影响全体纯属程度。

3. 挑战与问题：

角落案例覆盖不及：现存开源库（如TorchX）未能处理通盘可能的故障情况，适度了应用场景。网罗故障影响：在大畛域GPU集群中，网罗故障会导致数据包重传，影响纯属效率。性能各异：不同硬件的性能各异（芯片抽奖效应）会影响容错机制的后果。

4. 惩办决策：

开发全面的容错系统：模仿谷歌的Borg和Pathways，构建覆盖更多故障场景的容错基础设施。改进网罗通讯：优化数据传输机制，减少对规章传输的严格要求，提高容错才气。愚弄查验点技艺：已毕GPU进程状态和内存内容的查验点保存，支抓更活泼的故障收复。

5. 其他探求：

高温烧机测试：在系统插足使用前进行充分的烧机测试，以筛除早期故障，提高系统踏实性。静默数据损坏（SDC）检测：弃取器用（如DCGMI）监控并识别SDC问题，以确保诡计完结的准确性。技艺障翳与通达：尽管容错纯属要领日益伏击，但商量技艺的公开程度较低，可能影响行业发展与配合。纯属计谋

1. 意见与处所：纯属计谋旨在优化散播式纯属过程，通过减少全局同步次数和允许部分沉寂运行来克服阿姆达尔定律中的酬金递减问题，适用于跨园区、多区域或跨大陆的纯属场景。

2. 环节要领：

层级化同步：笔据蔓延和带宽各异，设定不同层级的同步频率，以得当不同地舆位置的GPU设置。负载平衡：在不同园区间笔据GPU数目和批量大小进行为态补救，确保纯属过程中的负载平衡。参数服务器机制：使用多层参数服务器架构，允许模子副本与多个服务器不时交换数据，确保全局权重的实时更新和拘谨。

3. 挑战与问题：

拘谨性问题：异步更新可能导致拘谨贫乏，需要优化算法以幸免不踏实。合并与更新：在大模子纯属中，合并不同分支的更新可能酿成额外工程复杂度，影响效率。网罗瓶颈：跨区域纯属面对带宽和蔓延的双重适度，可能影响全体纯属速率。

4. 惩办决策：

优化异步参数服务器：改进现存异步参数服务器模子，通过算法改进来惩办更新和拘谨问题。壮健分片器：愚弄谷歌的MegaScaler等器用来已毕高效的跨园区纯属和权重交换。网罗基础设施优化：推广高带宽、低蔓延的网罗技艺，贬抑跨区域纯属的带宽需求。

5. 其他探求：

改日扩展性：掂量改日模子畛域可达100万亿参数，需提前布局商量基础设施。光纤铺设成本：在跨区域纯属中，需探求光纤铺设的成本和许可问题，确保网罗布局的可行性。行业动态：对异步纯属的回来可能要求从头评估现存纯属计谋和基础设施瞎想，以得当新的技艺要求。调制与复用技艺

1. 意见与处所：调制与复用技艺通过提高信号传输效率和带宽愚弄率，优化光纤通讯，罕见是在数据中心和电信网罗中，以得志高速数据传输的需求。

2. 环节要领：

调制决策弃取：使用如PAM4、16-QAM和64-QAM等高档调制决策，加多每绚烂传输的比特数，擢升传输速率。密集波分复用（DWDM）：将多个波长的光信号复合到一根光纤中，从而显赫加多带宽。商量光学技艺应用：弃取商量光源和数字信号处理器（DSP）已毕复杂的调制决策，确保信号的准确性和踏实性。

3. 挑战与问题：

成本问题：高阶调制决策和商量光学征战（如可调谐激光器）成本奋发，适度了普及。光纤质地适度：长距离传输受光纤自己的适度，需要高质地的光纤和征战以减少信号衰减。信号侵扰：非商量光源可能导致相位侵扰，影响调制信号的收复。

4. 惩办决策：

优化商量光模块：弃取硅光子技艺贬抑成本，并冉冉使用O波段激光器简化瞎想。DWDM技艺扩展：通过加多波长数目（如C波段和L波段）来擢升带宽，得当束缚增长的客户需求。模块化瞎想：使用ZR/ZR+光模块已毕班师插上钩罗端口，简化电信征战链。

5. 其他探求：

行业趋势：跟着AI和大数据需求加多，调制与复用技艺的抓续发展将成为数据中心互连和电信网罗的环节。改日预期：高阶调制和DWDM的荟萃有望在单对光纤上已毕高出100Tbps的传输才气，推动更大畛域的网罗升级。电信网罗部署

1. 意见与处所：电信网罗是用于数据传输的基础设施，旨在得志高带宽、高可靠性的通讯需求，罕见是支抓数据中心互连与跨地域纯属。处所是通过优化光纤资源设置和传输技艺，已毕大畛域、高效的数据交换。

2. 环节要领：

光纤铺设：在城市和主要基础设施旁铺设大量光纤对，通常预留闲置光纤以应答改日需求。DWDM技艺应用：通过密集波分复用将多个光信号合并到单一光纤中，显赫擢升带宽。超大畛域运营商自建网罗：超大畛域运营商通常弃取班师与征战供应商配合，以得志其特定需求。

3. 挑战与问题：

成本禁止：海底光缆部署成本高，主要聚合在光纤对数目上，而陆地光缆的主要成本在于劳能源和征战。资源稀缺：在某些城市地区，光纤资源可能受到适度，导致超大畛域运营商不得不使用较少的光纤对。技艺复杂性：资料网罗需要多种电信征战，加多了系统复杂性和占用空间。

4. 惩办决策：

扩展光纤对的部署：超大畛域运营商通常会弃取提前铺设多于执行需求的光纤对，以减少后续的复杂电信部署。模块化电信征战：使用模块化的机箱组合各类征战，如转发器、DWDM多路复用器和ROADM，以擢升系统活泼性和可扩展性。动态网罗经管：通过ROADM已毕光信号的动态调遣与优化，擢升网罗性能和资源愚弄率。

5. 其他探求：

市集趋势：非云客户的电信征战需求可能冉冉复苏，促使征战供应商的市集出息改善。技艺进步：跟着ZR/ZR+光模块在数据中心互连中的应用扩大，掂量对电信征战和系统的开销将加多，推动行业向更高性能征战转型。

 

AI基础设施的改日，谷歌与微软在多数据中心纯属中的竞争态势

吉瓦（GW）级集群、通讯网罗、资料光缆、分层与异步速即梯度着落（SGD）、散播式基础设施

跟着畛域定律（Scaling Laws）抓续推动AI发展，基础设施建设需求激增。本年，顶尖AI模子纯属集群已扩展至10万个GPU单元，掂量2025年将达到30万个。但是，受制于建设周期、审批过程、国法适度和电力供应等现实身分，传统的单一数据中心大畛域同步纯属模式正靠拢极限。

谷歌、OpenAI和Anthropic已入辖下手将大畛域模子纯属扩展至多个数据中心园区。谷歌领有大众首先进的诡计系统，率先大畛域应用机架级液冷架构和多数据中心纯属等环节技艺，这些技艺如今才冉冉被其他公司采选。

Gemini 1 Ultra模子率先已毕多数据中心纯属。尽管谷歌在浮点运算才气（FLOPS）上最初，但在合成数据、强化学习（RL）和模子架构方面仍过期于OpenAI和Anthropic。行将发布的Gemini 2有望改动这一步地。更值多礼贴的是，谷歌掂量2025年将具备在多个园区进行吉瓦级纯属的才气，但其持久诡计出东谈主预目力比OpenAI和微软更为保守。

当大多数企业刚驱动战役英伟达GB200架构的高密度液冷AI芯顷然，谷歌已部署了数百万颗液冷TPU，总容量高出1吉瓦（GW）。这突显了谷歌在基础设施方面的巨大上风。

谷歌展示的AI纯属园区面前电力容量接近300兆瓦（MW），掂量来岁将增至500兆瓦。除畛域庞大外，这些设施还具备极高的能源效率。设施弃取巨型冷却塔和聚合式水系统，通过水管连气儿三栋建筑，能泄气近200兆瓦热量。借此系统，谷歌大部分期间无需使用冷水机组，已毕了1.1的PUE（电源使用效率），这一数据来自2023年最新环境呈报。

谷歌弃取班师到芯片（Direct-to-Chip）的水冷方式，通过液-液热交换器将机架热量周折至中央设施水系统。这种高效力源系统与英伟达GB200的液-液部署极为相似。

比拟之下，微软面前最大的数据纯属集群尚未弃取液冷技艺。每栋建筑的IT容量比谷歌低约35%，尽管总建筑面积（GFA）终点。公开数据骄矜，微软的PUE为1.223，但这一诡计对空冷系统有意，因为未能准确计量服务器里面电扇功耗。以H100空冷服务器为例，电扇功耗高出服务器功率的15%，而液冷DLC服务器仅不及5%。

因此，微软每瓦供给芯片的功率需额外挥霍约45%用于服务器电扇、电力冷却和其他非IT负载，而谷歌仅需额外15%傍边。探求到TPU的更高效率，微软的全体情况阻遏乐不雅。

此外，为在亚利桑那州等沙漠地区已毕较高能效，微软需大量水资源。其水使用效率（WUE）达2.24升/千瓦时，远高于行业平均的0.49和谷歌略高于1的水平。这一高水耗激发负面矜恤，微软被要求在改日园区弃取空冷冷水机组，虽可贬抑耗水，但会进一步提高PUE，拉大与谷歌的能效差距。

要而论之，笔据现存数据中心瞎想，谷歌领有更高效的基础设施，且能更快扩展兆瓦级容量。由于单栋建筑容量高出50%以上，谷歌每瓦IT负载所需公用电力相对较少。

谷歌的AI纯属基础设施

谷歌在基础设施建设方面独树一帜。其单个数据中心瞎想已超越微软、亚马逊和Meta，但这仅是冰山一角。已往十余年，谷歌一直在构建大畛域园区。爱荷华州Council Bluffs园区等于典型案例，虽历史悠久，但西部区域IT容量接近300兆瓦。尽管大部分容量用于传统服务负载，咱们推测下方建筑可能部署了大量TPU。东部扩展区弃取最新数据中心瞎想，进一步增强AI纯属才气。

谷歌最大的AI数据中心互相毗邻。公司在俄亥俄州和爱荷华州/内布拉斯加州领有两个主要多数据中心区域。面前，Council Bluffs左近地区清廉畛域扩建，容量将高出现存畛域两倍。除上图所示园区外，谷歌在该地区还有三个在建站点，均正升级高带宽光纤网罗。

在方圆15英里内，谷歌在Council Bluffs、奥马哈和爱荷华州Papillon设有三个站点，另一个位于50英里外的内布拉斯加州林肯市。图中Papillon园区为奥马哈和Council Bluffs地区加多了超250兆瓦容量。荟萃上述园区，2023年谷歌在该地区总容量将超500兆瓦，大部分分拨给TPU。

其他两个站点畛域尚未达此水平，但正快速推广。四个园区所有这个词，掂量2026年将形成吉瓦级AI纯属集群。50英里外的林肯数据中心将成为谷歌最大单体站点。

谷歌庞大的TPU部署不啻于此。另一个行将建设的吉瓦级集群位于俄亥俄州哥伦布地区，弃取雷同发展模式。掂量2025年底，三个园区总容量将达1吉瓦。

图示New Albany集群将成为谷歌最大数据中心之一，已部署TPU v4、v5和v6。

谷歌在俄亥俄州和爱荷华州/内布拉斯加州的聚合区域可进一步互联，支抓单一模子的多吉瓦纯属。咱们的数据中心模子详备记载了逾5，000个数据中心的历史和预测电力数据，涵盖AI实验室、超大畛域云厂商、次世代云及企业集群的建设情状。后续呈报将久了探讨多数据中心纯属的软件栈及商量要领。

微软与OpenAI的基础设施反击计谋

微软和OpenAI深知自身在基础设施方面的短期劣势，因此启动了一项自利自为的筹划，试图在基础设施建设上赶超谷歌。他们正悉力在谷歌的签订领域——水冷多数据中心纯属集群上与之一较凹凸。

微软和OpenAI正在建设接近吉瓦级的超高密度液冷数据中心园区。同期，他们还与Oracle、Crusoe、CoreWeave、QTS、Compass等公司配合，力图在AI纯属和推理总容量上超越谷歌。

部分园区建成后，畛域将高出谷歌面前任何单一园区。执行上，微软在威斯康星州的园区畛域将高出谷歌在俄亥俄州通盘站点的总额，但建设周期较长。

但是，OpenAI和微软的贪心远不啻于此。他们筹划将多个超大畛域园区互联，实施覆盖全好意思的大畛域散播式纯属。他们将率先建立一个多吉瓦级的诡计系统。与供应链伙伴联袂，他们正在进行史上最浩大的基础设施建设。

本呈报后续将详备先容微软和OpenAI的基础设施建设情况。在此之前，咱们将着手探讨多园区的同步和异步纯属要领、滞后节点、容错机制、隐性数据损坏以及多数据中心纯属面对的多样挑战。

接下来，咱们将融会数据中心间怎么通过光纤通讯网罗已毕互联，包括商量技艺和征战。

临了，咱们将分析电信供应链，并商量这轮AI基础设施建设中的环节受益者，以及咱们以为哪些公司将在其中占据上风。

多数据中心散播式纯属

大型话语模子（LLM）通常弃取同步纯属方式。纯属数据被永别为若干微型迷你批次，由不同GPU组上的模子副本处理。每个迷你批次处理后，各副本诡计梯度，然后在每批次完结时同步。

这种同步通常通过all-reduce等集体通讯操作完成，汇总通盘副本的梯度。汇总后，梯度被平均化并用于同期更新模子参数。这确保所少见据副本保抓一致的参数集，保证模子踏实拘谨。由于同步过程要求通盘征战不才一步前恭候互相完成，因此确保莫得征战在模子状态上超前或过期。

尽管同步梯度着落提供踏实拘谨，但也带来巨大挑战，罕见是单一纯属任务中芯片数目超10万时，通讯开销显赫加多。同步特色意味着对蔓延有严格要求，且必须有鼓胀大带宽连气儿通盘芯片，因为数据交换通常以巨量数据流款式发生。

当尝试使用多区域GPU处理团结纯属任务时，区域间蔓延加多。即使光纤中以208，188公里/秒速率传播，好意思国东西海岸来回期间（RTT）也需43.2毫秒。各类电信征战还引入额外蔓延。这对标准同步纯属是显赫挑战。

笔据阿姆达尔定律（Amdahl's law），当服务负载中存在大量同步操作时，加多芯片带来的加快后果马上递减。随芯片数目加多，表率运行中需同步的部分比例不变，会达到表面极限，即使GPU数目翻倍，总吞吐量加多也不超1%。

除表面扩展极限外，同步梯度着落执行应用还面对滞后节点等挑战。某芯片比其他慢10%时，会导致通盘纯属任务也慢10%。图示中，从要领7500到19000，字节进步的MFU（机器浮点愚弄率）缓缓着落，因越来越多芯片速率略有着落，通盘任务缓缓受制于滞后节点。

识别并移除滞后节点后，字节进步从查验点重启纯属任务，收复正常MFU水平。可见MFU从40%降至30%，减少25%。领有100万GPU时，25%MFU着落终点于25万GPU闲置，约合超100亿好意思元IT成本开销。

容错纯属（Fault Tolerant Training）

容错纯属是散播式系统的环节枢纽。当数百万诡计、存储和内存元件同期运行时，故障不可幸免，以致可能出现"芯片抽奖"（Silicon Lottery）导致的性能各异。系统瞎想旨在应答这些问题。但是，机器学习纯属四肢大众最大畛域的诡计问题，却弃取了违反计谋。

通盘芯片必须完好运行，因为10万GPU中任一故障都将导致一谈GPU从查验点重启，酿成大量闲置。容错纯属允许在单GPU故障时，仅少许GPU受影响，大多数可不绝运行，无需从模子权重查验点重启。LLAMA 3.1等开源模子已因此挥霍大量成本和期间。

英伟达InfiniBand网罗存在雷同潜在裂缝，要求每个数据包按十足疏导规章传输。任何偏差或失败都需从头传输数据。10万GPU集群呈报指出，单是网罗故障影响就不错以分钟计。

主要开源库TorchX（前身TorchElastic）已毕了容错纯属，但存在显赫缺点，如无法覆盖通盘角落故障情况，不支抓三维并行。这导致大型AI实验室不得不自行开发容错纯属系统。

谷歌四肢容错基础设施最初者，通过Borg和Pathways已毕最好容错纯属。这些库涵盖最多角落案例，体现谷歌垂直整合上风：自行瞎想纯属芯片、构建服务器、编写基础设施代码并进行模子纯属。这种高度集成有助于快速应答并惩办根人道问题。

总体而言，容错才气是扩展10万+GPU集群至单一服务负载的环节。英伟达在AI系统可靠性上远过期于谷歌，这也诠释了容错才气在英伟达职位描摹中不时出现的原因。

瞎想冗余和容错机制，包括冗余组件、接口和无理校正码（ECC），以最大化系统可用性。评估并弃取适当的技艺和组件，以优化可靠性、可用性和可宝贵性，同期探求平均故障休止期间（MTBF）、平均耕种期间（MTTR）和总领有成本（TCO）等身分。

在CPU领域，容错基础设施通常被以为是一个已惩办的问题。举例，谷歌里面的数据库Spanner撑抓着通盘谷歌的坐褥服务，包括YouTube、Gmail和Stadia（愿其安息），并冒昧在大众范围内进行散播式扩展，同期在存储服务器和NVMe磁盘故障方面具备容错才气。在谷歌的数据中心，每小时都少见百个NVMe磁盘发生故障，但对最终用户和里面而言，Spanner的性能和可用性永远保抓不变。

另一个对于传统CPU服务负载容错性的例子是MapReduce。MapReduce是一种建模方式，用户不错通过处理数据样本来“映射”数据，并将多个数据样本“归约”为一个团聚值。举例，统计一篇论文中有些许个字母“W”是一个相配妥贴MapReduce的表面服务负载：对每个单词进行映射，映射将输出每个数据样本中“W”的数目，而“归约”则会团聚通盘样本中的“W”数目。MapReduce不错通过检测哪些CPU服务节点出现故障，并在其他CPU服务节点上从头扩充失败的映射和归约任务来已毕容错。

Jeff Dean、Sanjay Ghemawat等谷歌寰球级众人开发了大量CPU领域容错研究和系统。速即器学习纯属畛域扩大和容错要求提高，谷歌在构建可靠、肃肃系统方面的专长将成为竞争上风。

GPU故障散播呈浴盆弧线，多发生于集群人命周期早期和末期。这诠释了插足使用赶赴往烧机测试的必要性。部分AI新兴云厂商为最大化使用寿命，未充分烧机测试，导致用户体验极差。

违反，超大畛域云诡计公司和大型AI实验室在高温存快速温度波动下永劫期烧机测试，确保早期故障已往，系统进入速即故障阶段。但需在充分烧机期间和幸免过度挥霍GPU与光收发器寿命间平衡。

磨损故障多发生于征战人命周期末期，原因常为组件在高强度使用中资历快速中高温波动。光收发器尤其易受热轮回毁伤。

CPU领域，物理主机无理率高时，通常将假造机（VM）搬动至另一主机。超大畛域厂商以致已毕无缝搬动，用户无感知。这通常通事后台复制内存页面已毕，应用表率倏得降速时，VM马上切换至正常运行的第二个物理主机。

Linux主流软件包CRIU用于主要容器引擎，支抓物理主机间容器和应用搬动，以致可冻结通盘进程状态并存储为查验点。持久仅适用于CPU和AMD GPU，直到本年英伟达才驱动支抓。

从2024年起，英伟达GPU将支抓CRIU查验点，已毕物理主机间更顺畅搬动CPU进程状态、内存内容和GPU进程。

微软Singularity集群经管器论文描摹了愚弄CRIU已毕GPU假造机透明搬动。Singularity瞎想初志即探求大众GPU服务负载调度经管，已用于Phi-3纯属（1024块H100 GPU）等多个模子。微软在此方面追逐谷歌Borg集群经管器，后者领有高度垂直整合上风。

容错纯属伏击性致商量要领公开基本罢手。OpenAI等公司向硬件行业反应问题时措辞婉曲，幸免显现散播式系统具体手段。这些技艺较模子架构更伏击，二者均可视为诡计效率一部分。

静默数据损坏（SDC）是另一常见问题，导致诡计机处理完结产生静默无理，用户或经管员无警报。难以惩办因"静默"意味不可察觉。部分轻微，但可能导致输出变为NaN或梯度特地增大。Jeff Dean梯度范数图展示部分SDC可通过梯度范数突变识别，但部分无法检测。

部分梯度范数突变非硬件SDC引起，而是多数目数据或超参数补救失当所致。通盘运营GPU集群公司按期遇SDC问题，但微型中型新兴云厂商常因资源受限难以快速识别耕种。

DCGMI会诊器用可会诊英伟达GPU SDC等无理，能拿获终点部分常见SDC，但无法处理好多导致数值无理和性能问题的角落案例。

测试不同新兴云厂商H100时，尽管DCGMI会诊级别4通过，但NVSwitch ALU未正常服务，导致NVLS NCCL算法性能着落，产生无理all-reduce完结。后续NCCL/RCCL集体通讯著述将久了探讨这些基准测试完结。

比拟之下，谷歌Pathways在识别惩办SDC方面阐扬优异。高度垂直整合的基础设施和纯属堆栈使其能草率在大畛域纯属任务前后进行SDC查验。

异步纯属曾通常使用。2012年Jeff Dean《Distbelief》论文描摹在大量CPU核上纯属深度学习模子的异步和同步梯度着落技艺。引入全局"参数服务器"，通常应用于坐褥环境纯属谷歌自动补全、搜索和告白模子。

那时参数服务器式纯属后果风雅。但是，新模子架构拘谨性问题使行业缓缓回来十足同步梯度着落。面前通盘前沿模子如GPT-4、Claude、Gemini和Grok均使用同步梯度着落纯属。随GPU数目抓续加多，改日可能再次转向异步梯度着落。

纯属计谋

为克服阿姆达尔定律中添加芯顷然酬金递减问题，可减少全局同步次数，允许更多服务负载（半）沉寂运行。此法妥贴跨园区、多区域以致跨大陆纯属，因GPU间蔓延和带宽存在层级各异。

园区内建筑间（小于1公里）蔓延极低、带宽极高，可不时同步。区域内（小于100公里）带宽仍大但蔓延更高，需减少同步频率。各园区GPU数目可不同，易于负载平衡。如园区A有10万GPU，B有7.5万，B的批量大小可为A的75%傍边，同步时按GPU数目加权平均。

这一原则可适用于多区域及跨大洲的情况。由于蔓延较高，应贬抑同步频率。骨子上，这是一种分层同步要领。

打个比喻，咱们通常与隔壁一又友会面不时，与团结海岸其他城市的一又友会面较少，而与其他大洲城市的一又友会面更为冷漠。

分层同步速即梯度着落（SGD）还有一个上风，即可放松"掉队者"的影响。大多数"掉队者"仅在少数要领中阐扬特地，但很快收复正常。因此，同步频率越低，"掉队者"侵扰同步过程的可能性就越小。由于每次迭代无需全局同步，掉队者的影响不再那么显赫。分层同步SGD将成为改日多数据中心纯属中的一项普遍改进。

另一出息要领是重用Jeff Dean 2012年DistBelief论文中异步参数服务器。模子副本处理自身数据批次，按期与参数服务器交换数据更新全局权重，雷同git版块禁止。通俗已毕可能激发拘谨问题，但OpenAI有才气通过优化算法改进惩办更新问题。

MetaAI的Branch-Train-Merge论文描摹雷同想路：从现存谎言语模子分支，在数据子集上纯属，再合并回主分支。此训戒可能整合入OpenAI多园区纯属技艺。但对GPT-3 175B或GPT-4 1.8T等模子，合并问题未十足惩办，需更多工程资源经管合并和更新，确保纯属拘谨。

拓展为层级架构需缔造多层参数服务器，模子副本不仅与最近服务器交换数据，服务器间也交换。最低层单个模子副本与最近参数服务器不时更新，确保土产货快速拘谨同步。

土产货参数服务器分组至更高层，每层汇总优化基层更新再朝上传递。大量GPU情况下，参数服务器可能需以FP32格式保存主权重，雷同英伟达FP8纯属服务器。主权重FP32存储幸免多GPU积聚溢出，执行诡计可能用FP8以致更低精度如MX6。

谷歌面前用壮健分片器MegaScaler已毕多园区纯属，可在园区内多节点和区域内多园区间同步纯属，为扩展单一纯属任务芯片数提供踏实性可靠性上风。

但是，行业回来异步纯属可能使MegaScaler成为谷歌瓶颈。基于同步纯属原则的MegaScaler加多异步功能可能需大畛域重构或从头开发。Pathways瞎想探求异步数据流，但现时坐褥案例都基于全同步SGD纯属。谷歌有才气从头瞎想此软件栈。

跨区域数据中心联网主要受带宽和蔓延适度。永久看蔓延将成更大瓶颈，因光速适度信号传播速率。跨区域铺设光纤主要成本在许可和开挖，非光纤自己。贬抑带宽需求计谋仍至关伏击。

改日多园区、多区域纯属集群上模子畛域可达100万亿参数目级。区域内可用区间带宽可望扩展至5Pbps，区域间合理算计为1Pbps。如斯高带宽下，园区间交换权重不再是主要瓶颈，400TB权重（每参数4字节）传输仅需0.64秒。

 

英伟达MetroX Infiniband交换机用于40公里内网罗连气儿，但AI实验室未用，仅少数非AI HPC集群在10公里内跨园区使用。每机箱仅2个100Gbps端口，40公里内以太网惩办决策生态更老练。即使通常使用Infiniband的微软，数据中心间也用以太网。

从Gb到Tb：调制与复用技艺的演进

现时数据中心里面网罗通常为每个结尾征战（如GPU）提供高达400Gbps的光纤连气儿速率。掂量来岁，英伟达将通过升级其Connect-X8网罗接口卡，将这一速率擢升至800Gbps，以得志AI应用的需求。

比拟之下，电信网罗通常需要在少许光纤上集聚一个设施内多个征战和服务器的通讯需求，并以更高速率传输。尽管数据通讯中的800Gbps光模块通常在每对光纤上只可传输100Gbps（如DR8格式），需要多对沉寂光纤，但在电信应用中，单对单模光纤已能已毕20Tbps至40Tbps的传输速率，适用于海底光缆以及稠密陆地和城域网罗部署。

更大带宽主要通过以下方式已毕：

弃取更高阶调制决策，在给定波长上传输更多比特。使用密集波分复用（DWDM）技艺，将多个波长的光信号复合到一根光纤上。

在调制方面，数据通讯通常弃取基于VCSEL和EML的光模块，这些模块能已毕PAM4调制。PAM4是一种强度调制决策（即强度调制班师检测—IMDD光学器件），通过使用四个不同电平进行信号传输，每个绚烂编码两个比特。

提高速率可通过两种方式：提高绚烂传输速率（以千兆波特Gbd为单元），或加多每个绚烂的比特数。举例，400G SR8光模块以26.6 Gbd的速率传输绚烂，通过PAM4已毕每绚烂2比特，在每对光纤上传输50Gbps。将8对光纤组合到一个连气儿器中，总传输速率达400Gbps。要达到800Gbps，可将绚烂速率提高到53.1 Gbd，同期仍在8条信谈上使用PAM4。但是，提高绚烂速率通常比弃取更高阶调制决策更具挑战性。

16阶正交振幅调制（16-QAM）是通常应用于ZR/ZR+光模块和电信中的高阶调制决策。它不仅对信号波的四种不同幅度进行编码，还使用两组相位收支90度的载波波，每组载波波有四种不同幅度，总共16种可能的绚烂，每个绚烂传输4比特。通过引入双极化，即使用水温暖垂直极化的两组载波波，进一步扩展至256种可能的绚烂，传输8比特。大多数400ZR/ZR+和800ZR/ZR+光模块支抓双极化16-QAM（DP-16QAM），而运行在高质地光纤上的专用电信系统（具有更大规格尺寸）则可支抓双极化64-QAM（DP-64QAM），已毕每绚烂12比特的传输。

已毕基于不同相位的调制决策需要使用商量光学技艺。商量光在已毕相位调制决策时至关伏击，因为非商量光源会导致信号出现不一致的侵扰，无法收复相位调制信号。

商量光学系统需要使用商量数字信号处理器（DSP）处理高阶调制决策，并配备可调谐激光器和调制器。400ZR光模块通常使用硅光子技艺以贬抑成本。由于可调谐激光器价钱娴雅，业界正尝试使用成本较低的O波段激光器来已毕简化的商量光模块。

ZR/ZR+光模块是日益流行的光收发器类型，弃取商量光学技艺，专为数据中心互连瞎想，能显赫提高每对光纤的带宽，并已毕120公里到500公里的更长传输距离。它们通常弃取OSFP或QSFP-DD规格尺寸，与数据通讯应用中常见的规格疏导，可班师插入团结网罗交换机使用。

传统电信系统也可用于数据中心互连，但需要更复杂的电信征战链，占用更多数据中心物理空间。而ZR/ZR+可插拔模块可班师插上钩罗端口，两头班师连气儿，绕过了多个电信征战。

更高阶的调制决策显赫提高了每对光纤的带宽，举例与使用PAM4的IMDD光模块比拟，双极化16-QAM可将带宽提高8倍。但是，长距离传输仍受限于光纤自己，因此可通过密集波分复用（DWDM）进一步加多每对光纤的带宽。DWDM将多个光波长合并到一双光纤中传输。举例，在C波段（1530nm至1565nm）和L波段（1565nm至1625nm）可各合并76个波长到团结光纤中。

要是每个波长传输800Gbps，该系统将能在单对光纤上已毕高达121.6Tbps的传输。海底光缆通常最大化愚弄波长数目，部分部署可能使用少于16个波长，但也有弃取96个波长的部署，现时典型部署处所是在单对光纤上已毕20至60Tbps的传输才气。

好多部署初期仅激活C波段的少数波长，随客户需求增长冉冉激活更多C波段波长，最终扩展到L波段，从而大幅擢升现存光纤的传输速率。

超大畛域运营商的电信网罗部署

好意思国大多数城市领有充足的光纤资源，可得志AI数据中心互连所需的巨大带宽需求。海底光缆部署通常仅包含8至12对光纤，因成本与光纤对数目成正比。比拟之下，陆地光缆成本主要聚合在劳能源、征战及使用权上，因此公司在城市地区铺设光缆时通常会部署数百以致数千对光纤。

跨海纯属的难度显赫高于陆地纯属。

典型的光纤业务模式通常预留终点数目的闲置光纤对，以应答改日需求。不仅城市，任何主要公路、输电澄莹、铁路或基础设施旁通常都有光缆铺设。在基础设施建设款式中，由于现场已有挖掘征战，加多光纤铺设果然不需额外成本。

超大畛域运营商倾向于自建网罗，而非与电信服务商配合，他们班师与征战供应商和建筑公司配合，以得志资料、城市和数据中心互连需求。

数据中心互连通常通过铺设大量光纤对连气儿相距不超50公里的两个数据中心。超大畛域运营商可将ZR光模块插入两个辛劳数据中心的网罗交换机，调遣至不同波长，然后通过无源多路复用器（DWDM链路）将多达64个光模块组合到一双光纤上。使用400ZR时，每对光纤可已毕25.5 Tbps的传输速率。另一种方式是将每个ZR光模块插入沉寂的光纤对。

更复杂的电信系统也可已毕DWDM，能将更多ZR光学信号多路复用到更少的光纤对上，并支抓点对点之外的网罗连气儿。但这需要额外机架空间舍弃电信征战，包括路由器、光路交换器（ROADM）和DWDM多路复用器/解复用器。

由于主要成本在于挖掘光纤沟渠，大多数超大畛域运营商发现部署超出执行需求的光纤对更为通俗，这么可检朴数据中心里面空间，幸免复杂的电信部署。仅在光纤容量受限时，他们才会探求在短距离里面署通常的电信系统，这种情况在好意思国除外地区较为常见，超大畛域运营商可能被动在光纤资源稀缺的城市中仅使用2至4对光纤。

但是，在资料网罗中，超大畛域运营商需使用与数据通讯产物截然有异的全面电信产物系列。典型资料网罗至少需要几种基本系统，包括转发器、DWDM多路复用器/解复用器、路由器、放大器、增益平衡器和再生站点，多数情况还包括ROADM（可重设置光添加/丢弃多路复用器）和WSS（波长弃取开关）。

转发器在电信领域功能雷同光模块，但价钱更高，服务功率水平更高。一侧与执行电信网罗（澄莹侧）进行传输/接收，另一侧提供多种组合的端口连气儿客户征战（客户侧）。举例，一个转发器可能在澄莹侧提供800Gbps，客户侧提供4个200Gbps的光电端口，但客户可弃取多种端口容量和电气/光学组合。客户侧可连气儿到数据中心内的路由器或交换机，澄莹侧将连气儿到多路复用器，通过DWDM组合多个转发器的信号，并可能通过ROADM已毕更复杂的网罗拓扑。

DWDM通过多路复用器妥协复用器（mux/demux）服务，将来自每个转发器的略有不同波长的光信号组合到一双光纤中。每个转发器都可调遣，弃取特定波长的光进行多路复用。使用ROADM时，转发器通常连气儿到无色多路复用器/解复用器，然后连气儿到波长弃取开关（WSS），使ROADM能动态调遣转发器至特定波长，优化网罗处所。

光放大器用于对消光信号在传输过程中的衰减，通常每60到100公里舍弃一次，可班师放大光信号而无需出动为电信号。每三台放大器后需一个增益平衡器，确保不同波长的光信号在不同速率下传输时冒昧平衡，幸免无理。在跨越数千公里的超长距离部署中，需要再生，将光信号出动为电信号，从头整形和定时，并通过另一组转发器从头传输。

对于连气儿多个节点且有多个中转点用于添加或接收流量的网罗，需使用ROADM。它可在网罗特定位置光学添加或丢弃特定波长的光信号，无需将信号出动为电信号进行处理或路由。ROADM还具有禁止平面，可主动发现和监测网罗状态，了解光纤网罗上的沉静通谈、信号噪声比、保留波长，并能禁止转发器，将澄莹侧调遣至适当波长。

这些不同组件通常组合在一个模块化机箱中。

Ciena、Nokia、Infinera和Cisco是大众主要的电信系统和征战供应商，而Lumentum、Coherent、Fabrinet和Marvell为这些主要供应商提供多样貌系统和主动组件。面前，组件厂商的上风主要体面前ZR/ZR+光学用于数据中心互连上，但跟着超大畛域运营商和其他运营商需要在相邻数据中心之外进行纯属，他们可能会大幅加多对高平均售价电信征战和系统的开销。

非云客户对电信征战的需求似乎已触底，可能很快进入周期复苏阶段，从而擢升多样电信供应商的出息。

OpenAI与微软的谷歌超越计谋

如前所述，微软的标准瞎想在密度方面较谷歌存在劣势。尽管两家公司的数据中心建筑面积终点，但微软设施的兆瓦容量较低。

蕾丝 百合 调教

谷歌数据中心的PUE（电源使用效率）更低，意味着更多电力可用于IT征战，同期减少网罗征战、CPU和散热系统的能耗。因此，尽管微软也有建设大型园区的训戒，但其建设周期通常更长，全体畛域也小于谷歌。

微软最大的AI纯属基地位于凤凰城，该地点是其最大畛域部署之一，改日将扩展至10座建筑。愚弄已获批的多个场面，微软筹划自建24个数据中心。

为进一步扩容，微软在凤凰城左近积极租借，这将显赫扩大其在该地区的占地。但是，并非通盘这些数据中心都将用于AI纯属，部分可能服务于其他用途。

为在畛域上超越谷歌，微软和OpenAI不行依赖微软既有的数据中心瞎想。他们正通过自建大幅提高新设施的密度，尤其是在密尔沃基，并与Compass、QTS、Crusoe、Oracle、CoreWeave等配结伴伴在全好意思范围内扩建。在密尔沃基和亚特兰大（通过QTS），微软正在建设大众最壮健的单体建筑，弃取全液冷瞎想，专用于下一代AI硬件。

位于威斯康星州的自建超等园区建成后，将成为微软或谷歌通盘设施中最大的单一数据中心园区。Meta也在积极鼓吹自利自为的单一站点筹划。

这仅是部分场面的概览，但其推广速率惊东谈主。微软和OpenAI庞大基础设施的另一部分位于德克萨斯州，通过与Oracle+Crusoe以及CoreWeave+Core Scientific在阿比林和丹顿的配合进一步扩大畛域。

值得预防的是，在打造AI集群的过程中，微软还涉足了加密货币挖矿领域。CoreWeave租用了现存的Core Scientific加密矿场设施，而Oracle则与Crusoe配合使用其园区，Crusoe此前也深耕于加密货币领域。比特币矿工风气于高密度、高功率的数据中心，好多矿场签署了大畛域的电力供应合同。

Core Scientific的10-K文献骄矜，其在多个站点领有1.2GW的合同容量。与全新建设数据中心比拟，从头愚弄加密货币矿场的期间表要短得多，这使得这些设施在AI集群建设中的转型愈加马上和高效。

该公司清廉畛域转向AI的数据中心托管，并与CoreWeave达成了一项大畛域契约，触及382MW的IT电力供应，且请托期间较短。CoreWeave将采购GB200 GPU，并将其租借给微软供OpenAI使用。咱们以为，最环节的地点将是位于德克萨斯州丹顿的矿场。

与X.AI的现场发电机雷同，这个数据中心也领有充足的电力基础设施。该站点领有一个225MW的自然气发电厂，位于通盘加密矿场的中心位置。加密矿场将被排除并进行大畛域改良，替换为适当数据中心级别的电力和冷却系统。但与PUE高于1.3的自建数据中心比拟，这个站点的效率仍然较低。

另一个伏击的园区由Crusoe在德克萨斯州阿比林开发。Crusoe因其在北达科他州和怀俄明州的改进性伴不满挖矿站点而有名，正在建设一个吉瓦级数据中心，并将其首期部分租借给Oracle，后者将其安设为GPU和网罗征战，然后再租给OpenAI。通过实时低分辨率卫星图像，咱们不错不雅察到该园区的快速推广。咱们领有精准详备的季度历史和预测电力数据，涵盖高出5，000个数据中心。这些数据包括AI实验室、超大畛域云提供商、新兴云平台和企业的数据中心集群建设情状。

在好意思国其他地区，还有几个畛域庞大的数据中心。为简明起见，咱们不会在简报中逐个先容，但中枢要点相配了了：

通过自利自为的自建筹划、积极的租借计谋、大型配结伴伴关系以及改进的超高密度瞎想，微软将以多吉瓦级集群畛域引颈AI纯属市集。

吉瓦级巨型集群

微软正入辖下手将多个园区互联，打造一个多吉瓦级的庞大纯属集群。光纤公司Lumen Technologies和Zayo已签约配合，为咱们提供了一些陈迹。

Lumen和Zayo的参与标明，微软可能正愚弄先进的光纤技艺和基础设施来支抓其大畛域AI纯属集群。这种大畛域的数据中心互联需求意味着，微软正在构建一个能处理海量数据的高性能诡计网罗，通过高速光纤网罗已毕多园区间的低蔓延通讯和数据传输，以得志AI模子纯属需求。

7月24日，Lumen文牍与微软达成契约，互连多个数据中心。几天后，Lumen又与Corning签署契约，在改日两年内保留10%的产能。咱们掂量改日还会有更多雷同契约出现，这可能会极大扩展Corning的业务。

Lumen Technologies（纽交所代码：LUMN）于2024年9月4日文牍，由于AI推动的巨大连气儿需求，其已赢得50亿好意思元的新业务。百行万企的大公司都在急于获取光纤容量，跟着AI需求激增，这一资源变得愈发珍稀且可能供不应求。

此外，Lumen正与客户积极洽谈，但愿再赢得70亿好意思元的销售契机，以得志日益增长的客户需求。

Lumen Technologies是一家大型电信公司，业务涵盖多个领域，其中最伏击的是企业部门。Lumen班师与企业配合，依托其庞大的光纤网罗，惩办他们的连气儿需求。

如前所述，该业务受到容量愚弄率问题困扰，大量租用或领有的光纤已部署但处于闲置状态，即所谓的暗光纤。Lumen是好意思国最大的暗光纸供应商之一，与Zayo、AT&T和Crown Castle并驾皆驱。

企业电信业务也面对挑战，由于互联网价钱着落，好多企业已将流量周折到互联网上运行，这毁伤了对MPLS（多契约标签交换，一种主要的企业产物，提供辛劳办公室之间的数据连气儿）的需求，导致价钱压力和资源愚弄率不及。同期，电信容量的购买者因超大畛域云服务商的崛起而变得愈加聚合，而这些云畛域玩家通常倾向于自建电信网罗。

这意味着好多光纤容量处于闲置状态，好多光纤虽已点亮但只使用了很少的波长，并仍在使用老旧的调制决策和较慢的数据速率。要是像AI纯属需求激增这么的推能源出现，升级这些闲置光纤容量将成为一个巨大机遇，因为这不错显赫擢升网罗的传输才气。

看护如斯庞大的基础设施需要大量成本开销，与好多同业相同，Lumen面对现款流问题和巨额债务职守。该公司领有接近200亿好意思元的金融债务，果然莫得产生任何目田现款流，其收入增长趋势保抓踏实以致有所着落。

多园区AI纯属的兴起改动了上述步地，因为它需要巨大的带宽需求。微软是促成50亿好意思元契约的环节客户，何况可能还有另一笔70亿好意思元的交游正在酝酿中。

像Lumen这么的公司冒昧达成这么的交游（何况提到可能会有价值70亿好意思元的交游）是因为它们领有通常的未使用光纤网罗。通盘这些闲置容量和现存阶梯使超大畛域云诡计公司冒昧以成本效益高的方式构建大畛域、超高带宽的网罗。更伏击的是，市集投放期间得以镌汰，愚弄现存基础设施加快了正本需要数年期间的进程，尤其是在需要挖掘罕见贞洁的情况下。

对于Lumen来说，这笔50亿好意思元交游的经济效益如下：

交易结构弃取的是IRU（不可撤废使用权），这是光纤行业的标准契约，骨子上雷同于成本化租借。此类契约的典型期限为20年。交游价值的85-90%与基础设施商量，剩余部分触及运营和宝贵，以及电力和托管服务。Lumen算计该交游的现款利润率为30-35%，这意味着税前利润约为15亿好意思元。大部分基础设施用度将在合同的前3-4年内进行现款预支款，剩余部分将跟着里程碑的已毕而加多，并在合同期内按年费款式收取。

尽管与该交游商量的成本开销（CAPEX）和运营开销（OPEX）加多导致EBITDA着落，该交游仍大幅擢升了Lumen的年度目田现款流预期。

这可能仅仅一个驱动。来岁电信行业将迎来显赫增长，而这个千里寂已久的电信公司昭着正引颈着收入的大幅增长。光纤公司驱动预防到这个契机，但咱们折服，执行影响将让投资者和该领域的公司都感到惊诧。以通盘交换机、路由器和广域网（WAN）市集为例，其畛域仅为750亿好意思元，因此一家公司50亿至100亿好意思元的增量投资将产生巨大影响。

咱们掂量，改日将有高出100亿好意思元的电信成本开销特意用于多数据中心纯属。这些都是额外的增量开销。同期，电信市集面前正处于周期性低谷，这是一个新的增量驱启航分，伴跟着市集的周期性回升。

受益的公司

除了Corning和Lumentum，Fabrinet在数据中心互联产物，尤其是400ZR产物线方面也颇具上风。在适度2024年6月的财年第四季度，400ZR产物线孝敬了Fabrinet光学收入的10%。

Fabrinet在电信领域的布局远不啻于400ZR。其电信业务在2024财年第四季度占总收入的近40%。同期，Fabrinet还领有壮健的数据通讯收发器产物线，崇拜坐褥英伟达用于连气儿GPU的800G收发器。

ZR光学的抓续增长是Fabrinet掂量下季度电信业务环比增长的主要驱能源之一。跟着ZR光学收入占比从约10%擢升至高出20%，Fabrinet有望从中受益。四肢一家专注于光学系统和组件的合同制造商，Fabrinet被誉为行业的“台积电”，凭借其畛域上风和壮健的市集面位，有望抓续受益。

在2024财年，Cisco成为Fabrinet的第二大客户，仅次于英伟达，孝敬了13%的销售额。加上其他电信客户的壮健需求，Fabrinet的电信业务展现出壮健的增长势头。

此外，Fabrinet新近赢得了Ciena的订单，预示着Ciena来岁的订单量有望增长。已往，Lumentum和Infinera曾是Fabrinet的伏击客户，这两家公司的复苏也将助力Fabrinet的电信收入增长。

Lumentum是另一家领有电信业务的企业，掂量其收入将已毕连气儿季度的显赫增长，主要获利于ZR/ZR+光学器件、ROADM以及C+L波段产物的需求增长。

与Lumentum的乐不雅预期不同，Coherent对改日的瞻望较为严慎。尽管其400ZR+收发器业务阐扬壮健，但Coherent掂量短期内电信市集全体仍将疲软。电信征战库存问题抓续困扰着Coherent，导致其电信收入环比着落6%，同比着落38%。不外，Coherent的前瞻指挥标明，电信市集的底部可能照旧接近。

尽管Coherent秉承了Finisar的传统，但由于业务多元化，电信业务在其总收入中的占比已大幅缩水。咱们算计，适度2024年6月的财年下半年，电信业务仅占其总收入的13%。

比拟之下，咱们以为Lumentum的业务组合更为平衡，成本结构也更为肃肃。要是Coherent能抓续在数据通讯业务上发力，并在电信领域取得闭塞，其债务或将推动股本酬金的擢升。

Ciena和Cisco均为电信行业巨头，产物线涵盖澄莹卡/收发器、路由器、复用器/解复用器和ROADM等传统电信征战。Cisco产物线更为多元，还涉足软件业务，而Ciena则专注于中枢电信征战。Infinera也深耕电信领域，但行将被并入诺基亚。

在稠密电信征战制造商中，Ciena对电信行业的专注度最高，其业务重点聚焦于电信网罗硬件。Ciena屡次说起云客户的壮健需求，并于2024财年第二季度财报电话会议中明确暗示，已赢得大量针对来岁网罗建设的订单，这些订单与AI流量需求密切商量。

自然Ciena的主营业务仍是传统电信网罗征战，而非数据中心互连，但其罕见强调了18项400ZR+和800ZR+订单的获取。ZR光学产物为Ciena带来了升值契机，因为其业务主要聚合在大都会和资料网罗。

咱们以为，Ciena在这些细分市集占据了最初地位。跟着支抓AI纯属的电信网罗对更高链路密度的需求，Ciena在内容和数目上均有增长后劲。在通盘电信征战制造商中，Ciena在AI电信网罗建设中的比例敞口最高。

Cisco强调，在适度2024年7月的财年下半年，超大畛域客户的订单已毕了两位数增长，见效对消了服务交易务的疲软。此外，公司还斩获了10亿好意思元的AI订单，主要聚合在以太网和光学产物领域，并掂量在2025财年再揽获10亿好意思元的AI商量订单。

尽管Cisco在2021年收购了Acacia，以在商量DSP和ZR光学等领域占据有意地位，但近几期财报电话会议中鲜少说起ZR光学的契机。探求到Cisco庞大的营收基数，即使AI数据中心互连需求大幅增长，对Cisco营收的百分比影响也将相对有限。

最其后看Marvell。通过收购Inphi，Marvell在PAM4 DSP领域占据了主导地位，并赢得了包括Deneb、Orion和Canopus在内的一系列商量DSP产物。

咱们以为，历史数据骄矜，在Inphi/Marvell业务中，商量DSP的占比相对较小。但是，这一款式正在发生更动。Marvell的ZR光学业务不仅受益于其商量DSP产物组合，还包括COLORZ、COLORZ 400ZR/ZR+和COLORZ 800ZR/ZR+等数据中心互连收发器。

这项ZR业务正迅猛增长，并有望成为其业务的伏击组成部分，以致与畛域可不雅的PAM4业务相比好意思。ZR收发器的平均售价远高于IMDD收发器，且出货量有望抓续大幅增长。

Marvell在这一产物领域领有更强的竞争上风，其COLORZ系列产物市集出息庞杂。该公司已在一大主要超大畛域客户处取得要紧闭塞，且出货量抓续大幅增长。此外，Marvell还为该产物拓展了多个新客户。这种影响将远远超出任何潜在的短期LRO问题，

参考贵寓：Patel， D.， Nishball， D.， & Ontiveros， J. E. (2024， September 4). Multi-Datacenter Training: OpenAI's Ambitious Plan To Beat Google's Infrastructure. SemiAnalysis. Retrieved from https://www.semianalysis.com/p/multi-datacenter-training-openais

著述来源： Andy730 原文标题《AI基础设施的改日：谷歌与微软在多数据中心纯属中的竞争态势》开心色五月

风险辅导及免责条件 市集有风险，投资需严慎。本文不组成个东谈主投资提议，也未探求到个别用户特殊的投资处所、财务情状或需要。用户应试虑本文中的任何意见、不雅点或论断是否适当其特定情状。据此投资，使命顺心。