根據(jù)Trend Forcerr的數(shù)據(jù)，AI服務(wù)器的出貨量約為13萬臺(tái)，約占全球服務(wù)器出貨量的1%。展望2023年，Microsoft、Meta、Baidu、ByteDance等相繼推出基于生成式AI的產(chǎn)品和服務(wù)，并積極增加訂單。預(yù)計(jì)2023年AI服務(wù)器出貨量年增長率將達(dá)到15.4%，并且隨著ChatGPT未來對(duì)AI服務(wù)器的需求，預(yù)計(jì)2023年至2027年AI服務(wù)器復(fù)合年增長率將達(dá)到12.2%。
DGX H100于2022年推出，是NVIDIA DGX系統(tǒng)的最新版本，也是NVIDIA DGX SuperPOD的基礎(chǔ)。DXG服務(wù)器配備8個(gè)H100 GPU、6400億個(gè)晶體管，在全新FP8精度下提供比上一代提升6倍的AI性能，提供900GB/s的帶寬。
DGX H100服務(wù)器內(nèi)部，藍(lán)色塊為IP網(wǎng)卡，既可以充當(dāng)網(wǎng)卡，也可以起到PCIe Switch擴(kuò)展的作用，成為連接CPU和GPU(H100)之間的橋梁。其在內(nèi)部使用PCle 5.0標(biāo)準(zhǔn)。另外，CX7被分成2張卡，以網(wǎng)卡芯片的形式插入服務(wù)器，每張卡由4個(gè)CX7芯片組成，輸出2個(gè)800G OSFP光模塊接口。
GPU(H100)之間的互連主要通過NV Switch芯片實(shí)現(xiàn)。DGXH100中的每個(gè)GPU向外擴(kuò)展18個(gè)NVLink，每個(gè)鏈路的雙向帶寬為50 GB/s，總計(jì)18*50GB/s=900GB/s的雙向帶寬，分為4個(gè)板載NV Switch，因此每個(gè)NV Switch對(duì)應(yīng)4-5個(gè)OSFP光模塊，共18個(gè)。每個(gè)OSFP光模塊采用8個(gè)光通道，每通道傳輸速率為100Gbps，因此總速率達(dá)到800Gbps，可實(shí)現(xiàn)高速數(shù)據(jù)傳輸。
CPU、GPU等組件互連：PCIE Switch、Retimer芯片
PCIe Switch，又稱為PCIe交換機(jī)或PCIe集線器，主要用于互連PCIe設(shè)備，PCIe Switch芯片與其設(shè)備的通信協(xié)議為PCIe。由于PCIe鏈路通信是一種端到端的數(shù)據(jù)傳輸，因此Switch需要提供擴(kuò)展或聚合能力，以允許更多的設(shè)備連接到一個(gè)PCle端口，解決PCIe通道數(shù)不足的問題。目前，PCIe Switch不僅在傳統(tǒng)存儲(chǔ)系統(tǒng)中得到廣泛應(yīng)用，而且在一些服務(wù)器平臺(tái)中也逐漸普及，以提高數(shù)據(jù)傳輸?shù)乃俣取?br />
PCIe總線技術(shù)升級(jí)，PCIe Switch速度逐代提升。PCIe總線是PCI總線的高速串行替代品。2001年，Intel宣布推出第三代I/O技術(shù)來取代PCI總線，稱為“3GIO”。2002年，該技術(shù)經(jīng)PCI特別興趣小組(PCI-SIG)審查后，正式更名為“PCI Express”，標(biāo)志著PCIe的誕生。2003年，PCIe 1.0正式發(fā)布，支持每通道250MB/s的傳輸速率，總傳輸速率為2.5 GT/s。2007年，PCI-SIG宣布推出PCI Express Base 2.0規(guī)范?；赑CIe 1.0，總傳輸速率提高了一倍，達(dá)到5GT/s，每通道傳輸速率從250MB/s提升至500MB/s。2022年，PCI-SIG正式發(fā)布PCIe 6.0規(guī)范，將總帶寬提升至64 GT/s。
隨著PCIe越來越多地應(yīng)用于服務(wù)器，PCIe Switch的市場需求也隨之增加。據(jù)QYResearch統(tǒng)計(jì)和預(yù)測，2021年全球PCIe芯片市場銷售額達(dá)到7.9億美元，預(yù)計(jì)2028年將達(dá)到18億美元，復(fù)合年增長率(CAGR)為11.9%。
中國是PCIe Switch最大的市場。隨著服務(wù)器對(duì)海量數(shù)據(jù)存儲(chǔ)和傳輸?shù)男枨笤黾?，在大?shù)據(jù)、云計(jì)算、人工智能等領(lǐng)域，需要大量的高速互連解決方案來實(shí)現(xiàn)海量數(shù)據(jù)傳輸。PCIe Switch作為一種高速互連解決方案，在中國市場有著巨大的需求。
在AI服務(wù)器中，至少需要一顆Retimer芯片來保證GPU和CPU連接時(shí)的信號(hào)質(zhì)量。具體點(diǎn)，很多AI服務(wù)器都會(huì)配置多顆Retimer芯片，比如Astera Labs在AI加速器中配置了4個(gè)Retimer芯片。
PCIe Retimer是一個(gè)藍(lán)海市場，擁有三大領(lǐng)先制造商和許多潛在競爭對(duì)手。目前，在PCIe Retimer藍(lán)海市場上，Parade Technologies、Astera Labs和Montage Technology是三大廠商，占據(jù)主導(dǎo)地位。其中，Montage Technology較早部署PCIe，是中國大陸唯一一家能夠量產(chǎn)PCIe 4.0 Retimer的供應(yīng)商，其PCIe 5.0 Retimer開發(fā)進(jìn)展順利。
此外，Renesas、TI、Microchip Technology等芯片廠商也積極參與PCIe Retimer的產(chǎn)品開發(fā)。根據(jù)信息，Renesas可提供兩款PCIe 3.0 Retimer產(chǎn)品，分別是89HT0816AP和89HT0832P；TI可提供16Gbps 8通道PCIe 4.0 Retimer——DS160PT801；同樣，Microchip Technology于2020年11月發(fā)布了Xpress Connect系列Retimer芯片，可支持PCIe 5.0的32GT/s速率。
GPU-GPU連接：NVLink、NVSwitch
全球芯片廠商都在關(guān)注高速接口的相關(guān)技術(shù)。除了NVIDIA的NVLink之外，AMD的Infinity Fabric和Intel的CXL(Compute Express Link)也為服務(wù)器內(nèi)部的高速互連提供了解決方案。
不斷更新的NVlink引發(fā)了高速互連技術(shù)的一場革命。NVLink是NVIDIA開發(fā)的一項(xiàng)高速互連技術(shù)，旨在加快CPU與GPU、GPU與GPU之間的數(shù)據(jù)傳輸速度，提高系統(tǒng)性能。從2016年到2022年，NVLink已經(jīng)迭代到第四代。2016年，NVIDIA發(fā)布了全新的高速接口芯片——NVLink，由Pascal GP100 GPU搭載。這是第一代NVLink。NVLink采用高速信號(hào)互連(NVHS)技術(shù)，主要用于GPU與GPU、GPU與CPU之間的信號(hào)傳輸。GPU以NRZ(不歸零)編碼形式傳輸差分阻抗電信號(hào)。第一代NVLink單鏈路可實(shí)現(xiàn)40GB/s的雙向帶寬，單芯片可支持4條鏈路，即160GB/s的總雙向帶寬。
NVLink技術(shù)經(jīng)歷了多次迭代和更新，引發(fā)了高速互連技術(shù)的創(chuàng)新浪潮。2017年，基于Volta架構(gòu)的第二代NVLink發(fā)布，可實(shí)現(xiàn)每鏈路50GB/s的雙向帶寬，每芯片支持6條鏈路，即總雙向帶寬300GB/s。2020年，基于Ampere架構(gòu)的第三代NVLink發(fā)布，可實(shí)現(xiàn)每鏈路50GB/s的雙向帶寬，每芯片支持12條鏈路，即總雙向帶寬600GB/s。2022年，基于Hopper架構(gòu)的第四代NVLink發(fā)布，將傳輸信號(hào)改為PAM4調(diào)制電信號(hào)，并且可以實(shí)現(xiàn)每鏈路50GB/s的雙向帶寬，每芯片支持18個(gè)鏈路，即總雙向帶寬為900 GB/s。
2018年，NVDIA發(fā)布了第一代NVSwitch，為提高帶寬、降低延遲，以及實(shí)現(xiàn)服務(wù)器內(nèi)多個(gè)GPU之間的通信提供了解決方案。第一代NVSwitch采用臺(tái)積電12nm FinFET工藝制造，擁有18個(gè)NVLink 2.0接口。一臺(tái)服務(wù)器可以通過12個(gè)NVSwitch支持16個(gè)V100 GPU，實(shí)現(xiàn)與NVLink的最高互連速度。
目前，NVSwitch已經(jīng)迭代到第三代。第三代NVSwitch采用臺(tái)積電4N工藝打造，每個(gè)NVSwitch芯片有64個(gè)NVLink 4.0端口。GPU之間的通信速度可以達(dá)到900GB/s，并且這些通過NVLink Switch連接的GPU，可以用作具有深度學(xué)習(xí)能力的單個(gè)高性能加速器。
CPU和DRAM之間的高速互連，推動(dòng)了對(duì)內(nèi)存接口芯片的需求
服務(wù)器內(nèi)存模組的主要類型是RDIMM和LRDIMM，相對(duì)于其他類型的內(nèi)存模組，這兩種類型對(duì)穩(wěn)定性、糾錯(cuò)能力和低功耗有更高的要求。內(nèi)存接口芯片是服務(wù)器內(nèi)存模塊的核心邏輯器件，是服務(wù)器CPU訪問內(nèi)存數(shù)據(jù)的必經(jīng)路徑。其主要作用是提高內(nèi)存數(shù)據(jù)訪問的速度和穩(wěn)定性，滿足服務(wù)器CPU對(duì)內(nèi)存模塊日益增長的高性能和大容量的需求。
內(nèi)存接口芯片的速度從DDR4到DDR5不斷提高。自2016年以來，DDR4已成為內(nèi)存市場的主流技術(shù)。為了實(shí)現(xiàn)更高的傳輸速度，并支持更大的內(nèi)存容量，JEDEC組織進(jìn)一步更新和完善了DDR4內(nèi)存接口芯片的技術(shù)規(guī)范。在DDR4一代中，從Gen1.0、Gen1.5、Gen2.0到Gen2plus，各子代內(nèi)存接口芯片支持的最高傳輸速度都在不斷提高。DDR4的最后一個(gè)子代產(chǎn)品，Gen2plus，最大支持傳輸速度為3200MT/s。隨著JEDEC組織不斷完善DDR5內(nèi)存接口產(chǎn)品的規(guī)范定義，DDR5內(nèi)存技術(shù)正在逐步取代DDR4內(nèi)存技術(shù)。
目前，DDR5內(nèi)存接口芯片已規(guī)劃了三個(gè)子代，支持速率分別為4800MT/s、5600MT/s、6400MT/s。業(yè)界預(yù)計(jì)未來可能還會(huì)再出現(xiàn)1-2個(gè)子代。
內(nèi)存接口芯片按功能分為兩種，即寄存器緩沖器(RCD)和數(shù)據(jù)緩沖器(DB)。RCD用于緩沖來自內(nèi)存控制器的地址、命令和控制信號(hào)，DB用于緩沖來自內(nèi)存控制器或內(nèi)存顆粒的數(shù)據(jù)信號(hào)。
DDR5內(nèi)存模塊的升級(jí)，為內(nèi)存接口芯片和模塊支持芯片帶來了新的機(jī)遇。2016年全球內(nèi)存接口芯片市場規(guī)模約為2.8億美元，2018年達(dá)到約5.7億美元，三年年化增長率達(dá)40%。DDR5的升級(jí)，將使內(nèi)存接口芯片的市場規(guī)模邁上新臺(tái)階。與DDR4相比，由于DDR5更高的支持速率和更復(fù)雜的設(shè)計(jì)，第一代DDR5內(nèi)存接口芯片的起售價(jià)要高于DDR4內(nèi)存接口芯片。同時(shí)，隨著DDR5內(nèi)存在服務(wù)器和PC中的滲透率逐漸提高，DDR5相關(guān)內(nèi)存接口芯片的市場規(guī)模有望實(shí)現(xiàn)快速增長。
內(nèi)存接口芯片行業(yè)壁壘較高，已形成三足鼎立的格局。內(nèi)存接口芯片屬于技術(shù)密集型行業(yè)，需要經(jīng)過CPU、內(nèi)存、OEM廠商各方面嚴(yán)格驗(yàn)證后才能大規(guī)模使用，新玩家很難進(jìn)入。隨著技術(shù)難度的不斷增加，內(nèi)存接口芯片廠商的數(shù)量已經(jīng)從DDR2代的10多家減少到DDR4代的只有3家。行業(yè)出清，三足鼎立的格局已經(jīng)形成。在DDR5一代中，全球僅有3家供應(yīng)商能夠提供DDR5第一子代的量產(chǎn)產(chǎn)品，分別是Montage Technology、Renesas Electronics(IDT)和Rambus。
