冷板式液冷智算中心改造项目方案探讨
发布时间:
2025-11-15
发布于
--
收藏
公告内容
项目编号
立即查看
立即查看
采购单位
立即查看
供应商
立即查看
采购代理
立即查看
公告详情
您当前为:【游客状态】,公告详情仅对登录用户开放,
登录/注册
后查看完整商机。全国免费咨询热线:400-888-7022

摘 要

对采用冷板式液冷的智算中心改造项目存在的难点进行分析。提出2种技术方案:从冷冻水侧连接液冷系统和从冷却水侧连接液冷系统,并分别从安装空间、管路布置、可靠性、交付周期、节能性、适用场景等方面对2种方案进行对比分析。冷板式液冷智算中心改造项目需根据现场安装条件、交付周期、节能要求综合选择合适的改造方式。

前 言

人工智能模型需要庞大的计算和存储资源,这可能导致工作负载出现剧烈波动,数据中心需要具备更高的弹性和自适应性。这些都对智算中心的算力规划和基础设施建设带来了机会与挑战。目前,大部分采用冷板式液冷的智算中心均采用2套独立的冷源系统,分别是水冷集中式空调系统与液冷系统,弹性部署较难实现,而且2套冷源的技术路线较难适应智算中心改造项目[1-3]。综上,液冷智算中心建设面临着一大痛点问题,即如何降低风液2套系统的复杂性、降低成本及运维难度,并满足弹性部署要求。

0 1

智算中心改造难点

传统数据中心改造为高密度智算中心时,若采用锁机柜方式,会降低机柜出架率。并且,对于采用风冷空调末端的机房,采用此方式对单机柜功率密度的提升有限,并不能解决高密度服务器的散热问题。冷板式液冷技术是将液冷散热板紧贴在CPU侧,通过液冷板内的低温流体带走热量,解决了高密度服务器的散热问题,但对于服务器内部的低功率密度元器件,仍需采用风冷散热方式。大多数传统数据中心均采用水冷集中空调系统。传统数据中心要改造为高密度智算中心,在增加冷板式液冷系统时,若单独设置一套闭式冷却塔/干冷器+冷却水泵作为液冷冷源,建设周期较长,改造涉及范围大,且单独建设液冷冷源对建筑、结构要求较高[4-5]。

目前,智算中心改造项目要求交付周期短。若在原有水冷集中空调系统的冷冻水侧或冷却水侧连接冷板式液冷系统,可以有效缩短建设时间,降低改造难度,实现项目的快速交付。综上,考虑建设周期及基础设施现状,建议在原有水冷集中空调系统架构的基础上进行改造。

0 2

制冷架构对比分析

2.1 从冷冻水侧连接液冷系统

2.1.1 风液并联架构

风液并联架构是指在水冷集中空调系统的冷冻水侧连接液冷换热装置,利用液冷板式换热器将冷量分配单元(CDU)一次侧的热量传递到温度较低的水冷集中空调冷冻水系统中,如图1所示。

图1 从冷冻水侧连接液冷系统示意(风液并联架构)

假设某智算机房采用冷板式液冷技术解决的换热量为500 kW,水冷集中空调系统的冷冻水供回水温度为18℃/24℃,设置液冷板式换热器将水温由18℃/24℃提升至35℃/41℃,满足液冷CDU的一次侧水温要求。液冷板式换热器参数如表1所示。

表1 不同换热量下板换参数对比

注:表格中板式换热器均参照主流厂家选型;一次侧水温为18℃/24℃,二次侧水温为35℃/41℃。

由表1可知,由于液冷板式换热器的对数换热温差较大,其尺寸及承重均较小。若将换热量为500 kW的板式换热器分散布置成换热量为100 kW的板式换热器,其尺寸和承重会进一步减小。因此,若采用冷冻水侧连接液冷板式换热器再连接CDU的方式,液冷板式换热器和液冷一次侧水泵可按照CDU方式进行集成,安装在空调机房内,其尺寸可参照CDU,而CDU则入列安装在机房内。

综上,从冷冻水侧连接液冷系统,当冷冻水供水温度高于露点温度且水质较好时,可直接将CDU接至冷冻水管道。若水质较差或冷冻水供水温度低于露点温度(根据《数据中心设计规范》(GB50174-2017),机房内的露点温度宜为5.5~15℃),则需要从冷冻水侧连接液冷板式换热器、液冷一次侧水泵,再连接至CDU。采用后一种连接方式,需做好管道保温工作,以避免在冷冻水侧水温较低时,液冷板式换热器出现板片结露的问题[6]。

2.1.2 风液串联架构

风液串联架构是指原有水冷集中空调系统的冷冻水供水先进入采用冷板式液冷的智算机房中需要风冷来散热的空调末端(液冷门或水冷背板),再将空调末端的回水接至液冷CDU,如图2所示。这种架构适用于采用机架式CDU的机柜,这类机柜需要定制,不具备通用性。此外,机架式CDU安装在液冷机柜底部,只能为所在服务器机柜提供制冷能力,每个机柜配备1台CDU,无法实现CDU间冗余能力,可靠性低。

图2 风液串联架构示意

2.2 从冷却水侧连接液冷系统

从冷却水侧连接液冷系统,需增加板换及一次侧水泵,利用液冷板式换热器将冷量分配单元(CDU)一次侧的热量传递到温度较高的水冷集中空调冷却水系统中,如图3所示。假设某智算机房采用冷板式液冷方式解决的换热量为4 500 kW,板换一次侧水温为32℃/37℃,二次侧水温为35℃/41℃,板换尺寸为970×2 715×1 906 mm,承重为1 600 kg/m2。液冷系统与水冷集中空调系统合用冷却塔,若液冷板换统一设置,由于其承重要求较高,需设置在制冷机房或室外等承重能满足要求的空间。

图3 从冷却水侧连接液冷系统示意

若将板换分散成换热量为500 kW的小板换,尺寸为480×1 039×1 069 mm,承重为855 kg/m2。板换和冷却水泵可按照CDU方式进行集成,安装在空调机房内,CDU则入列安装在机房内。但此时需要考虑由冷却塔环管至板换前端的管道敷设路由,冷却管道的设置较为复杂。

2.3 对比分析

智算中心改造项目中,从冷冻水或冷却水侧连接液冷系统的对比如表2所示。

表2 从冷冻水或冷却水侧连接液冷系统对比

冷板式液冷系统可以通过提高供回水温差进一步提升节能效果。提高二次侧系统供回水温差可以减小CDU内的水泵功率。对于一次侧系统,可通过提高回水温度及缩小逼近度进一步降低能耗。当提高回水温度时,供回水温差也随之增大,冷却系统的综合效率将得到提高。若从冷冻水或冷却水侧连接液冷系统,由于冷板式液冷系统与水冷集中空调系统共用冷源,冷却塔供回水温度受水冷集中空调系统的限制,节能效果有限。

0 3

应用案例

3.1 项目介绍

以呼和浩特地区某千卡智算资源池改造项目为例,原机房采用水冷集中式空调系统,冷冻水供回水温度为18℃/24℃;采用开式冷却塔,冷却水供回水温度为32℃/38℃。现将其改造为千卡智算资源池,其中液冷部分采用冷板式液冷,二次侧供回水温度为50℃/60℃;风冷部分采用原水冷集中空调系统,末端采用列间空调,空调末端送回风温度为24℃/36℃,热通道封闭。由于该项目对于交付周期的要求紧迫,因此采用了从冷冻水侧连接液冷系统的风液并联架构。

3.2 平面布置

该千卡智算资源池采用从冷冻水侧连接液冷系统的风液并联架构,其平面布局如图4所示。在该架构中,由于液冷板换水泵集成柜承重较轻,故将其安装在空调间内。液冷板换水泵集成柜采用N+1配置,管道呈环形布置。机房内冷量分配单元(CDU)入列设置,每个模块内的CDU采用N+1配置,CDU一次侧管道接至液冷板换水泵集成柜的环管上。

图4 千卡智算资源池布置平面(A-D列为智算区域,E、F列为通算区域)

其中,液冷板换水泵集成柜一次侧供回水温度为18℃/24℃,二次侧供回水温度为35℃/41℃。CDU一次侧供回水温度为35℃/41℃,二次侧供回水温度为50℃/60℃。

3.3 节能性分析

该千卡智算资源池的总IT功耗为1 106.46 kW,其中智算区域功耗为 835.4 kW,通算区域功耗为271.06 kW。在智算区域中,GPU服务器采用冷板式液冷,风液比为3∶7;其余的训练leaf、存储leaf、训练Spine设备、存储Spine设备均采用列间空调进行散热。综上,该千卡资源池中需由冷板式液冷系统解决的功耗为465.92 kW,需通过风冷解决的功耗为640.54 kW。对该千卡智算资源池的CLF分析如表3所示。假设电费为0.3元/kWh,当采用从冷冻水侧连接液冷系统的风液并联架构时,该千卡智算资源池制冷系统的电费为35.77万元;当采用从冷却水侧连接液冷系统时,制冷系统的电费为30.24万元;当采用风冷、液冷完全独立冷源时,制冷系统的电费为29.37万元。

表3 不同架构形式的CLF对比

由表3可以看出,对于风冷、液冷完全独立冷源的智算中心,由于液冷冷却塔供回水温度较高,冷板式液冷系统的CLF最低;对于从冷却水侧连接液冷系统的智算中心,由于水冷集中空调系统与液冷冷却塔共用,冷却塔的冷却水供回水温度要兼顾水冷集中空调系统,因此对于液冷系统的节能效果较差,冷板式液冷系统的CLF略高于风冷、液冷完全独立冷源的智算中心;对于从冷冻水侧连接液冷系统的智算中心,其冷源仍是水冷集中空调系统的冷水机组、冷却塔,相当于原有的空调末端与冷板式液冷末端并联,其CLF最大[7-8]。

0 4

结 论

本文针对智算中心改造项目,对从冷冻水侧或冷却水侧连接液冷系统的方案进行分析,得出如下结论。

a)采用冷板式液冷系统的智算机房,需提前做好机房内地面防水工作,并考虑合理的管道布放空间和地板高度。

b)对于节能性要求不高且交付周期要求较短的智算中心,推荐采用从冷冻水侧连接液冷系统的风液并联架构。对于节能性要求不高且交付周期要求紧迫的智算中心,推荐采用从冷冻水侧连接液冷系统的风液串联架构。

c)对于节能性要求较高且交付周期要求不高的智算中心,推荐采用从冷却水侧连接液冷系统的架构,但需要综合考虑液冷板式换热器的承重要求和安装空间。

[1] 周婷,王玮,常传源,等.液冷技术在数据中心的应用[J].河南科技,2022,41(23):36-39.

[2] 曹曦.数据中心液冷化改造适用技术探析[J].中国工业和信息化,2022(12):7-11.

[3] 柯媛华,成军,杨瑛洁,等.数据中心液冷技术研究[J].邮电设计技术,2023(12):35-41.

[4] 肖新文.直接接触冷板式液冷在数据中心的节能分析[J].建筑科学,2019,35(6):82-90.

[5] 肖新文,曾春利,邝旻.直接接触冷板式液冷在数据中心的运用探讨[J].制冷与空调,2018,18(6):67-72.

[6] 包云皓,陈建业,邵双全.数据中心高效液冷技术研究现状[J].制冷与空调,2023,23(10):58-69.

[7] 肖新文.液冷与动态自然冷却的综合运用技术探讨[J].制冷与空调(四川),2018,32(6):636-642.

[8] 肖新文,郑伟坚,曾春利.某液冷服务器性能测试台的液冷系统设计[J].制冷与空调(四川),2021,35(5):706-712.

作者简介

何健,高级工程师,硕士,主要从事数据中心规划建设工作;

景淼,高级工程师,硕士,主要从事数据中心空调技术研究工作;

杨瑛洁,教授级高级工程师,硕士,主要从事数据中心规划设计工作。

推荐阅读

后量子密码迁移策略研究

邮电设计|2025年第10期 量子信息技术专题

面向运营商网络的APT一体化监测体系研究

AI与数据安全

点击“阅读原文”,下载论文PDF

头条号|邮电设计技术

官方网站|http://ydsjjs.paperopen.com

编辑|李星初 审核|姜火明

合作机会