今(12/14)英特尔第五代Xeon Scalable服务器处理器(代号Emerald Rapids)上市。英特尔强调,有意用此产品进攻AI运算市场,尤其是100亿参数以下的AI推论运算。
第五代Xeon Scalable相较前一代的主要升级内容包括核心数从60颗增为64颗、DDR5内存传输速度从4,800MT/s增为5,600MT/s、L3缓存(Last Level Cache,LLC)容量从112.5MB增为320MB、多颗处理器互联速度从16GT/s增为20GT/s,也正式支持CXL 1.1 Type 3设备。原本外界预期这代CPU也会支持CXL 2.0,但这次并未正式注明支持。性能上,英特尔表示第五代Xeon Scalable相较第四代在一般运算、AI推论、高性能计算,以及网络和存储吞吐量,分别提升了21%、42%、40%及70%。
安全做法上,英特尔机密运算技术TDX(Trusted Domain Extensions)在第4代CPU时只支持部分型号,现在则会支持第五代所有型号,且可以迁移TDX加密的VM到其他环境。第五代Xeon仍支持英特尔软件防护指令集SGX(Software Guard Extensions),每个处理器与第四代一样,最大可支持512GB容量的SGX Enclave。
第五代Xeon与第四代最大热设计功耗(TDP)同为350瓦。不过,英特尔表示,第五代每瓦性能较前一代高出36%。不只如此,他们还进一步优化低CPU利用率(小于50%)时能耗。英特尔资深院士暨Xeon首席架构师Ronak Singhal表示,服务器CPU常在20%至50%的低利用率运行。这个利用率范围中,第五代耗电不仅较第四代低,在打开能源优化模式(Optimized Power Mode)后,更能在利用率为30%的状态下达到比默认模式省110瓦的节能幅度。
图中是两代Xeon Scalable处理器在不同CPU利用率下的耗电走势。30%CPU利用率时,第五代能源优化模式可以额外节省110瓦。最上面这条折线是第四代默认模式、中间是第五代默认模式,最下方则是第五代能源优化模式。图-郭又华摄
这一代Xeon Scalable与第四代同样使用Intel 7制程,采用LGA 4677插槽,及采用Eagle Stream平台,是此平台最后一代CPU。英特尔预计明年推出的CPU Granite Rapids与Sierra Forrest则会改用Birch Stream及Mountain Stream平台,插槽规格也会不同。
今天推出的Xeon Scalable中,英特尔公布了32款型号,涵盖高性能、一般用途、5G网络、云计算等运算需求。图-郭又华摄
主攻AI推论市场,锁定100亿参数以下的模型推论
英特尔强调,此代CPU有几项规格升级尤其有利于执行AI推论任务。例如内存带宽和LLC容量增加,以及支持CXL 1.1 Type 3内存扩展,对于要求高内存带宽的推论任务都有帮助。AI推论任务注重时效性,因此降低运算延迟也相当重要。前一代Xeon从单晶砖改为4晶砖设计,到了第五代,芯片设计又精简为双晶砖(Tile)设计。英特尔设计工程业务群资深院士暨首席架构师Sailesh Kottapalli表示,双晶砖设计好处在于,运算任务需要较少跨晶砖沟通,因此能降低延迟。