工业美学-再探2T交换机

Motherboard Behind Wire Mesh

前言

用设计诠释工业美学,即技术美Beauty of Technology,功能美Beauty of Function,材料美Beauty of Material,形式美Beauty of Formal,这是工匠精神的极致体现。深得上述设计理念精髓的工业品,亦是艺术品,苹果手机如此,交换机亦然。
本文既非产品工程技术文档,亦非原厂文宣,乃朝花夕拾,史海拾贝,温故而知新,文笔粗拙,贻笑大方。

正文

我们已经讨论了很多关于交换芯片和交换机架构的技术细节,现在来感性接触一下真实的交换机吧。

本文将拆解一台48x10GE+ 8x100GE交换机。

这是一台FS S5860-48SC的入门交换机。如下图所示:

之前我们看了许多高端交换机,这次是一台成本控制的低端交换机。本文将看看低端交换机是如何在成本和性能-功能之间取得平衡的。

FS S5860-48SC 外部硬件概述

交换机本身是一个1U设计,但这个交换机和其他交换机相比有一些完全不同的东西:它的深度比用相同的交换芯片的许多其他交换机都要短。整个装置的深度为387毫米,这意味着它的深度小于宽度。下图为交换机前置视图:

66dad627857481fef128ac4d6b34d8b5

这是一台很特别的交换机,因为上行链路带宽比下行链路总带宽高,这是非常少见的。下图是下行链路视图:

60f49c5dbc194373d2e75e6b658e79da

或者应该说,这是一台100GbE交换机,因为它有8个QSFP28 100GbE端口。这些端口可用于堆叠(最多两台交换机)或连接将为 10GbE 端口提供服务的存储服务器等设备。下图是上行链路视图:

f1af609a2677b9b39be218bc72b905ad

在此交换机上,值得注意的是,QSFP28端口都具有单个状态LED。在其他交换机上看到的是许多100GbE端口都有四组状态LED。QSFP28中的Q代表四通道,如果QSFP28端口被分成四个25GbE端口,则某些供应商有四组状态LED可供使用。这些端口的额定速度为40GbE或100GbE。下图为8个QSFP28 100G端口:

d0bf82e4706b999c4e58b008fc4ab0a8

下图为安装了QSFP28 SR4100G 和QSFP28 IR4 100G的视图:

41a716418410a607366c494e761a3ceb

关于这台交换机,还有其他一些与众不同的设计。在交换机顶部有一个大型穿孔阵列,可帮助冷却交换机。正如下面所示,该部分实际上处于轻微的斜度上,以帮助确保它获得气流。它和Cisco Nexus N9K-C9372xx交换机有些类似。如下图所示顶部通风口:

ee5fbfbda29be3a6b7d597cdf929443a

交换机的背面是一个相当标准的布局,类似于常见的交换机。如下图所示:

5548f39fd5f4886441c0118473e284e0

后部有一个管理1GbE端口,一个串行控制台端口Console和一个USB端口。通常,为了方便布线和访问,这些端口会与主数据端口位于同一侧。下图为后部管理控制台:

1e9647f28312644a066e8924e7eb7ed7

电源为FS品牌的550W设备。希望FS将来能升级到80Plus评级的电源。如今,大多数高端交换机都使用80Plus白金级电源。数据中心业主关心效率,因此这是有改进空间的。550W 电源如下图所示:

a00be1c6fd17cb4b29ec9422b2980a13

该机采用了可使用指旋螺钉进行更换的双风扇模块。机箱本身采用从前到后的气流设计。气流是从风扇和电源的端口到后部的。在行业中,大多数供应商对气流方向都有明确的符号。也许”FB”或风扇单元角落的小图标可以提示气流方向,但大多数其他供应商使用蓝色/红色或有一些非常易于理解的气流方向指示器。风扇如下图所示:

ba4fada4f15e53437959f15558810472

下面将对交换机的内部进行描述:

该交换机内部布局与许多高端交换机(例如32x100G或32x400G)有所不同,这可能是该交换机能够保持此机箱相对较短的深度的方式。下图为交换机内部结构:

1b1ed9f6b6e270e3a055f6d4044e9574

该交换机的管理CPU是运行频率为1.2GHz的Arm Cortex A9四核 CPU。该交换机具有4GB可用内存和8GBeMMC存储空间。对于10GbE交换机,这是常见配置。对于那些希望运行SONiC这样的开放网络操作系统的交换机来说,通常会是Atom C3000或Xeon D这样的CPU。下图为内存和ARMV9处理器:

8f19f521fbeab1dd33f902fd31b91c2d

另一个特别的设计是管理CPU直接位于交换机芯片旁边。在很多交换机上,通常都是位于单独PCB上的管理综合体以及可更换的内存模块和存储。这种设计是一种低成本设计,同时具有许多可更换的组件,使交换机更易于维修。

该交换机采用的是BroadcomBCM56873 2Tbps Trident 3芯片。该芯片有时被称为Trident3-X5,是Trident 3系列的2Tbps版本。一般该芯片会被用在48x 25GbE + 8x 100GbE的交换机上。所以特别之处就在于,一般该芯片的下行端口是为48个25GbE,而该交换机仅设计为48个10GbE。下图为交换机芯片视图:

2e2dbe4df7480f91b927639ef04e3a91

以下是Broadcom对Trident3-X5和3.2T X7的描述。可能想知道为什么FS没有使用X4,X4只是一个1.08T交换机ASIC,因此它比该交换机所需的速度低200Gbps。下图为交换机芯片概述:

16590632014226d00287f3162f415

有个比较特别的设计是,交换ASIC的散热片具有热管,以帮助保持芯片冷却。如下图所示:

e04abd9b0141636885faa68f65c3d1dc

在交换机芯片旁边,在100G端口和电源之间,除了莱迪思芯片之外,电路板上元器件相对较少。如下图所示:

7b57e8d625bf94159289704bc3fd269b

一个特别的设计是,有一个散热片从前到后的气流偏移。该散热器位于从主开关和管理PCB到风扇PCB的带状电缆旁边。如下图所示:

4625864a25e539dd671f02007ae3b53b

四个风扇均通过该带状电缆连接到另一块莱迪思供电的电路板。这块小板位于机箱中间。如下图所示:

eba9ec5724cfa2e2db5af9320553ce2a

风扇控制板并不是唯一具有带状电缆连接的板。还有一根长电缆通向后面的管理端口。如下图所示:

563e1f1404c288e8c6cb76634ec6a117

该电缆为USB端口,串行控制台端口,带外管理端口以及一些状态LED传输电源和数据信号。如下图所示:

bb143a98640f4f47e3640c395510b182

总体而言,该交换机与常见的其他交换机之间存在明显差异。高端交换机设计为具有更易于更换的内部组件,更易于维护。低端交换机的模块化程度往往较低。本机正好是在价格和结构设计方面介于两个极端之间。

至此本机就拆解完毕。

希望本文能对了解数通网络设备提供一点粗浅的感性认识。
本文有关信息均来自公开资料。

zh_CNChinese
滚动至顶部