饿饭cc云服务器3U5—8—10Node：多节点服务器的“新生”

云更新服务器

目录

- 单路（UP）服务器的消亡

- 仍存在的传统形态多节点服务器

挖矿 云服务器

- 工作站的集中资源池化场景

- SuperMicro多节点服务器CPU选型的理由

1、性能：提升TDP功耗，更高的全核Boost频率等

2、简洁高效：CPU的SoC单芯片（无需PCH南桥）

- 能否支持主动散热/GeForce显卡？

有时候我会想，等到哪一天退休了（能领养老金的时候），我也可以写点技术以外的东西发在公众号上，比如风花雪月啥的。不过眼下显然还要搬砖，所以今天就算破个例，在开头+结尾处给大家讲个小段子。千万别认真哈：）

传统单路（UP）服务器的消亡

20年前左右，我在一家国内二线服务器厂商搬砖，那时还算是互联网行业野蛮生长的阶段吧？有个旅游搜索网站，从当时我那里采购1U单路服务器，CPU就是Core四核Q6600之类的。跑Web Server主要是看重性价比吧，主板也只是入门级服务器的，没有BMC（IPMI）管理，虽然有AMT但好像人家也不用。

后来在聚会时，一位同学说他在那家网站做CTO… 这个段子的后续，我要放在本文结尾处再接着讲，因为要先聊技术了：）

-------------------

当年在服务器厂商以及IDC的统计报告中，UP（单路）服务器的台数还是市场中不小的占比。后来的情节我想不少同行朋友都知道，Intel利用Core桌面CPU衍生出Xeon E3等，AMD近些年在EPYC服务器CPU再次雄起之后，也开辟了4004/4005这样的产品线。但服务器厂商的主流产品——用于数据中心的机架服务器上，在今天见到这种PC CPU级性能的机型却不太多了。为什么呢？原因我试着列举如下：

1、多核CPU密度的发展，使传统的1U单路服务器，哪怕是做成xU多节点的形态，密度上也不见得有优势了。

2、虚拟化和云计算的发展。想想现在还有多少人用物理机托管呢，是不是买云主机更划算？再想想Web、CDN业务的扩缩容哪个更方便。

3、如今主流服务器CPU的多核计算性能，已经发展到在一些场景下，用单路的EPYC 9004/9005和Xeon来取代传统双路服务器了，比如互联网公司用的2U 2Node机型。在技术上这可以说是新型的单路服务器，不适合跑在虚拟机里的业务确实越来越少了（但也不是没有）。

仍存在的传统形态多节点服务器

一个偶然的机会，我又看到那种以前见过的多节点服务器形态。在若干年前，记得Dell也曾有过3U 8节点、4U 12节点的机型，后来好像不更新了。下图是SuperMicro如今的MicroCloud产品线：

不难看出，从左到右分别是3U 5节点、3U 8节点和3U 10节点，先看看应用定义：

3U 5-Node：AI驱动工作负载，因为每节点支持1块双宽高性能GPU卡。

3U 8-Node：高密度，针对性的（主机）托管服务。我理解应该是部分Web场景吧。

3U 10-Node：高密度，优化的性能和效率（能效）。

其实该系列还有一个3U 12节点机型，只不过没有更新到支持最新一代（Intel）CPU。

工作站的集中资源池化场景

上文中其实我还漏掉了一类应用——工作站的资源池化（物理机也不是不行）。我给大家举一个例子，Dell Precision R3930机架式工作站，就是8/9代CPU的1U单路可配GPU/显卡，虽然它后来不更新了，但其高性价比还是受到一部分用户青睐的——这还是在没有BMC管理的配置下。

试想下，3U 5节点整体密度提高一些，节省了一半多连接冗余电源的线缆，集中管理更方便。如果是GPU计算类的多用户可以用容器来切割；3D图形加速买vGPU License也是一种选择，而有时候就是带输出接口的显卡物理机直接跑更简单高效（虽然不是本地直接连显示器）。至于工作站常用的CPU计算负载，有一些很看重单线程性能，或者全核Turbo频率的。这时如果你配置服务器的Xeon或者EPYC CPU跑VDI不见得总是最合适的，也包括性价比的考虑。

提到CPU了，上图中间的3U 8节点是最新一代的单路Intel Xeon 6300和AMD EPYC 4005（插槽同时兼容4004）都有——也就是机箱模具相同，2款不同主板对应着不同的服务器型号；而3U 5节点和10节点这两款都是专门使用AMD EPYC 4005/4004处理器的。

在存储驱动器的配置上，3U 8节点是每节点对应服务器前方的2个热插拔2.5/3.5英寸NVMe/SAS/SATA盘；而3U 8和10节点都是内置2块2.5英寸NVMe（U.2）+2块2.5英寸SATA。

整机架的配置参考下图：

上面以3U 10节点为例，由于单个机架的密度达到了100个物理机，所以搭配了5台交换机（别忘了还有管理网络）。如果是3U 5/8节点的参考配置都是4台交换机。

浙江塔式服务器云空间

我还看到有存储，本文先不展开讨论，继续看服务器的配置。

这里3U 8节点的Storage存储支持写错了，下面我再澄清一下。

以上图表也是截自《SUPERMICRO MICROCLOUD DELIVERS EXTREME DENSITY FOR SMB’S AND WEB HOSTING ENVIRONMENTS

——New AMD EPYC™ 4005 Processors Are Energy-Efficient CPUs Designed for a Wide Range of Growing Business Applications》文档。

在GPU支持上，超微的3U 10和8节点服务器能支持每节点1块NVIDIA L4（单宽75W水平）；3U 5节点我们前面说过，可以配全高双宽的350W GPU，具体支持的型号下文中我再介绍。

再确认一下，以上3款机箱只有3U 8节点是可热插拔维护的磁盘/SSD，另外2款都是内置盘。

以上表格中有SuperMirco具体的主板和机箱型号（3U 8节点）。16块盘是每节点2块。另外资料有点老，CPU还只写了Ryzen Zen4 7000系列，现在应该补上同样AM5插座的EPYC 4004/4005了。5200 MT/s这个内存频率对我也不陌生了（就在昨天发的《支持 B300 和 MI355X 的AI服务器：风冷 & 3U液冷》中也有一款服务器类似），主板上每个内存通道做2个DDR5 DIMM插槽就会这样。

MicroCloud多节点服务器CPU选型的理由

前文中我提到了，超微这条3U多节点产品线，如今新推的机型中AMD CPU的占比更大。有什么原因呢？我自己尝试着总结2点吧：

1、性能：170W TDP高功耗型号，更高的全核Boost频率等

上表中超微又搞笔误了☹不知是否还有我没留意到的地方。

首先，以Zen5核心的高效，5.7GHz的Boost频率单核性能应该没得说；而170W功耗的价值，就在于保持16大核（32线程）的同时达到4.3GHz的全核频率。如果是桌面级CPU玩超频可能不算新鲜，但在服务器上你要先确保稳定性才可以这样定义的。另外一点，就是EPYC 4585PX这款的128MB三级缓存，其中增加了64MB 3D V-Cache。

上图截自超微网站：风冷散热CPU在超过120W时是有限定条件的，具体可以询问服务器厂商。

正好我列出的这款是3U 5节点，NVIDIA PCIe的GPU从L40/L40S以下的数据中心级技术上支持，还有AMD的Instinct MI210。能支持主动式散热和消费级显卡吗？稍后我拿出照片来讨论。

以上是Intel CPU的机型，风冷最高支持95W TDP，其实也是Xeon 6300等系列的限制。

能否支持主动散热/GeForce显卡？

上图仍然是来自3U 5节点AMD机型，这个文档更新了对EPYC 4005/4004和Ryzen系列的同时支持，主要工作应该是BIOS里CPU Microcode加进去。

让我们再看一下这个PCIe 5.0 x16插槽的位置，转接后横插显卡的风扇正好朝下，如果是主动式涡轮散热显卡的话，进气大概率会受CPU散热器的影响。其实原本我不太担心SuperMicro对GeForce卡的兼容？但这样的结构还能否支持到350W就不好说了。另外，350W只是3090和4080显卡的水平，工作站上不被禁的最高应该是RTX 5880。加上前面列出的有些卡也被xx了，这块有点小遗憾。

2、简洁高效：AMD AM5 CPU的SoC单芯片（无需PCH南桥）

如上面架构图，AMD的AM5（Socket LGA-1718）CPU在服务器上是可以不用加南桥芯片组的。包括连接BMC的eSPI、以及SPI Bus等都可以CPU自己来干。那为什么桌面PC的主板上要配南桥呢？上面这种也有些限制，就是CPU没有直出SATA接口以及较多的USB等。如果用户要配SATA或者SAS盘，可以加SuperMicro的AOC扩展卡来实现——上图是3U 8节点的，如果是3U 5/10节点就是简单通过一颗PCIe to 2port SATA芯片来实现，价格和主板的复杂度估计比Intel有PCH南桥的设计要低。

而从另一个角度来看，3.5寸机械盘位支持SATA还有意义，2.5寸SATA SSD除非是系统盘RAID保护，否则OS放主板M.2上就好，数据盘用U.2 SSD更合适吧。这些高密度多节点服务器，有不少情况下不需要SATA了。

而在Intel LGA-1700 CPU+PCH C266芯片组的架构图里，南桥看起来就像一个Hub中心。确实无法去掉，尽管它的复杂度比CPU要低很多。Intel的Xeon 6500及以上的专门服务器CPU，也已经SoC化了（AMD 从 EPYC 第一代开始就是），但目前入门级的Xeon 6300还没有。

上图是AMD机型（3U 8节点）的主板，虽然还写着APU，但我理解在服务器上应该是用AST2600 BMC芯片的显卡做基本输出。

对应的Intel机型（3U 8节点）主板，可以看到除了BMC和CPLD芯片之外，主板上中央面积更大的一颗就是PCH芯片组。

今天一不小心又写多了，我答应给大家讲的段子还没完呢…

--------------------------

还是我那位同学的故事，后来我知道他去某互联网巨头当VP了，然后这家公司还是我打工单位的甲方。严格说吧，还是在上一个东家的时候，有一次我跟着同事去该客户处搬砖，听他们聊着聊着提起我那同学了，并且还跟余大嘴一起相提并论呢。

哪位余大嘴？不行我实在编不下去了。不是因为我怕再去甲方爸爸那里被熟人认出来，而是我有点怕251…

注：本文只代表作者个人观点，与任何组织机构无关，如有错误和不足之处欢迎在留言中批评指正。如果您想在这个公众号上分享自己的技术干货，也欢迎联系我：）

尊重知识，转载时请保留全文。感谢您的阅读和支持！

阿里云服务器租用费用