數(shù)據(jù)中心虛擬機網(wǎng)絡(luò)接入技術(shù)_基礎(chǔ)篇

虛擬機的出現(xiàn)使數(shù)據(jù)中心網(wǎng)絡(luò)接入層出現(xiàn)了VEB（Virtual Ethernet Bridge）概念。在服務(wù)器虛擬化環(huán)境中最常見的“VSwitch”就是一種軟件VEB。VSwitch的技術(shù)兼容性好，但也面臨諸多問題，如VSwitch占用CPU資源導(dǎo)致虛擬機性能下降、虛擬機間網(wǎng)絡(luò)流量不易監(jiān)管、虛擬機間網(wǎng)絡(luò)訪問控制策略不易實施、VSwitch存在管理可擴展性問題等。

為此，IEEE Data Center Bridging (DCB)任務(wù)組（DCB任務(wù)組是IEEE 802.1工作組的一個組成部分）正在制定一套新標(biāo)準(zhǔn)——802.1Qbg Edge Virtual Bridging（EVB）。該標(biāo)準(zhǔn)將VEPA（Virtual Ethernet Port Aggregator）作為基本實現(xiàn)方案。VEPA的核心思想是將虛擬機產(chǎn)生的網(wǎng)絡(luò)流量全部交給與服務(wù)器相連的物理交換機進行處理，即使同一臺服務(wù)器上的虛擬機間流量，也將在外部物理交換機上進行處理。VEPA方式不僅借助物理交換機實現(xiàn)了虛擬機間流量轉(zhuǎn)發(fā)，同時還解決了虛擬機流量監(jiān)管、訪問控制策略部署、管理可擴展性等問題。另外，EVB標(biāo)準(zhǔn)還定義了“多通道技術(shù)（Multichannel Technology）”，目的是實現(xiàn)傳統(tǒng)VSwitch、 VEPA和Director IO（一種硬件VEB）的混和部署方案。

一、 VEB（Virtual Ethernet Bridge）

1. 虛擬化運行環(huán)境

服務(wù)器虛擬化是在物理服務(wù)器上借助虛擬化軟件（如VMWare ESX、Citrix XEN）實現(xiàn)多個虛擬機（Virtual Machine，VM）的虛擬化運行環(huán)境。安裝在服務(wù)器上實現(xiàn)虛擬化環(huán)境的軟件層被稱為VMM（Virtual Machine Monitor）。VMM為每個虛擬機提供虛擬化的CPU、內(nèi)存、存儲、IO設(shè)備（如網(wǎng)卡）以及以太網(wǎng)交換機等硬件環(huán)境，如圖1所示。

圖1. 虛擬化運行環(huán)境

在虛擬化運行環(huán)境中，虛擬交換機提供了虛擬機之間，以及虛擬機與外部網(wǎng)絡(luò)之間的通訊能力。IEEE的802.1標(biāo)準(zhǔn)文檔中，“虛擬以太網(wǎng)交換機”正式名稱為“Virtual Ethernet Bridge”，簡稱VEB。VEB可以在VMM中采用純軟件方式實現(xiàn)，也可以借助支持SR-IOV特性的網(wǎng)卡通過全硬件方式實現(xiàn)。常見的虛擬化軟件（如VMWare ESX、Citrix XEN）缺省采用軟件VEB方案（或稱VSwitch），而硬件VEB的應(yīng)用場景較少，因此后文主要討論軟件VEB，的技術(shù)特性。

2. VSwitch的技術(shù)特性

在虛擬化運行環(huán)境中，VMM為每個虛擬機創(chuàng)建一個虛擬網(wǎng)卡，對于在VMM中運行的VSwitch，每個虛擬機的虛擬網(wǎng)卡對應(yīng)到VSwitch的一個邏輯端口上，服務(wù)器的物理網(wǎng)卡對應(yīng)于VSwitch與外部物理交換機相連的端口。

虛擬機的報文接收流程：VSwitch從物理網(wǎng)卡接收以太網(wǎng)報文，之后根據(jù)VMM下發(fā)的虛擬機MAC與VSwitch邏輯端口對應(yīng)關(guān)系表（靜態(tài)MAC表）來轉(zhuǎn)發(fā)報文。

虛擬機報文發(fā)送流程：當(dāng)報文的MAC地址在外部網(wǎng)絡(luò)時，VSwitch直接將報文從物理網(wǎng)卡發(fā)向外部網(wǎng)絡(luò)；當(dāng)報文目的MAC地址是連接在相同VSwitch上的虛擬機時，則VSwitch通過靜態(tài)MAC表來轉(zhuǎn)發(fā)報文。如圖2所示。

圖2. VSwitch方案架構(gòu)

VSwitch方案具有以下優(yōu)點：

l 虛擬機間報文轉(zhuǎn)發(fā)性能好。VSwitch實現(xiàn)虛擬機之間報文的二層軟件轉(zhuǎn)發(fā)， VSwitch對報文的轉(zhuǎn)發(fā)能力只受限于CPU性能、內(nèi)存總線帶寬，因此虛擬機間報文的轉(zhuǎn)發(fā)性能（帶寬、延遲）非常好；

l 節(jié)省接入層物理交換機設(shè)備。例如，數(shù)據(jù)中心需要部署WEB服務(wù)器，且WEB服務(wù)器網(wǎng)關(guān)指向防火墻。這里可將一臺服務(wù)器虛擬化成多個虛擬機，每個虛擬機作為一個WEB服務(wù)器，將VSwitch作為WEB服務(wù)器的網(wǎng)絡(luò)接入層設(shè)備，將服務(wù)器物理網(wǎng)卡與防火墻端口互聯(lián)即可完成組網(wǎng)，無需額外的物理交換機；

l 與外部網(wǎng)絡(luò)的兼容性好。VSwitch采用軟件實現(xiàn)，對現(xiàn)有網(wǎng)絡(luò)標(biāo)準(zhǔn)的兼容性好，所以VSwitch與外部網(wǎng)絡(luò)設(shè)備不存在互聯(lián)兼容性問題。

但VSwitch方案也存在一些缺點：

l 消耗CPU資源。虛擬機產(chǎn)生的網(wǎng)絡(luò)流量越高，則基于軟件實現(xiàn)的VSwitch就需要占用越多的CPU資源用于報文的轉(zhuǎn)發(fā)處理，從而減弱了服務(wù)器支持更多虛擬機的能力。特別是在虛擬機到外部網(wǎng)絡(luò)的流量很大時，CPU的開銷會更大；

l 缺乏網(wǎng)絡(luò)流量的可視性。VSwitch缺少內(nèi)部流量監(jiān)管能力，例如端口報文統(tǒng)計、端口流鏡像、Netstream等特性。上述特性的缺失，一方面導(dǎo)致虛擬機之間的流量無法被網(wǎng)管系統(tǒng)所監(jiān)管；另一方面也使得網(wǎng)絡(luò)發(fā)生故障是，難于定位問題原因；

l 缺乏網(wǎng)絡(luò)控制策略的實施能力。當(dāng)前數(shù)據(jù)中心接入交換機都具有很多實現(xiàn)網(wǎng)絡(luò)控制策略的特性，例如端口安全，QOS、ACL等。而VSwitch因顧及到CPU開銷問題，通常不支持上訴特性。因此限制了數(shù)據(jù)中心的端到端的網(wǎng)絡(luò)控制策略（如端到端的QOS、整網(wǎng)安全部署策略等）的部署能力；

l 缺乏管理可擴展性。隨著數(shù)據(jù)中心虛擬機數(shù)量的增加，VSwitch的數(shù)量隨之增加，而傳統(tǒng)的VSwitch必須被單獨的配置管理，由此增加了網(wǎng)絡(luò)的管理工作量。VMWare公司推出了“分布式交換機（DVW）”技術(shù)，可以將最多64個VSwitch作為一個統(tǒng)一的設(shè)備進行管理。但這種技術(shù)只有限的改善了管理擴展性問題，并未從根本上解決外部網(wǎng)絡(luò)管理與VSwitch管理的統(tǒng)一性問題。

二、 802.1Qbg EVB標(biāo)準(zhǔn)

1. EVB標(biāo)準(zhǔn)的設(shè)計思想

IEEE 802.1工作組正著手制定一個新標(biāo)準(zhǔn)802.1Qbg Edge Virtual Bridging（EVB），以解決VSwtich（軟件VEB）的局限性。其核心思想是，將虛擬機產(chǎn)生的網(wǎng)絡(luò)流量全部交給與服務(wù)器相連的物理交換機進行處理，即使同一臺服務(wù)器的虛擬機間流量，也將發(fā)往外部物理交換機進行查表處理，之后再180度掉頭返回到服務(wù)器上，形成了所謂的“發(fā)卡彎”轉(zhuǎn)發(fā)模式，如圖3所示。

圖3. EVB/VEPA基本架構(gòu)

EVB改變了傳統(tǒng)的VEB對報文的轉(zhuǎn)發(fā)方式，使得大多數(shù)報文在外部網(wǎng)絡(luò)交換機被處理。EVB可通過軟件方式實現(xiàn)（類似在VMM中的VSwitch軟件模塊）。由于將所有流量都引向外部交換機，因此與虛擬機相關(guān)的流量監(jiān)管、控制策略和管理可擴展性問題得以很好的解決。但是，由于流量被從虛擬機上引入到外部網(wǎng)絡(luò)，使EVB技術(shù)也帶來了更多網(wǎng)絡(luò)帶寬開銷的問題。例如，從一個虛擬機到另一個虛擬機的報文，占用的網(wǎng)絡(luò)帶寬是傳統(tǒng)的報文轉(zhuǎn)發(fā)的兩倍，其中一半帶寬用于從源虛擬機向外網(wǎng)交換機傳輸，另一半帶寬用于從外部交換機向目的虛擬機傳輸。EVB的出現(xiàn)并不是去完全替換VEB方案，但是EVB對于流量監(jiān)管能力、安全策略部署能力要求較高的場景（如數(shù)據(jù)中心）而言，是一種優(yōu)選的技術(shù)方案。

以太網(wǎng)交換機在處理報文轉(zhuǎn)發(fā)時，對于從一個端口上收到的報文不會再將該報文從該端口發(fā)回（將破壞生成樹協(xié)議的實現(xiàn)）。因此，如果使能EVB特性的服務(wù)器接入到一個外網(wǎng)交換機上時，這臺交換機的相應(yīng)端口必須支持上述“發(fā)卡彎”轉(zhuǎn)發(fā)方式。當(dāng)前大多數(shù)交換機的硬件芯片都能支持這種“發(fā)卡彎”轉(zhuǎn)發(fā)，只要改動驅(qū)動程序即可實現(xiàn)，不必為支持“發(fā)卡彎”方式而增加新的硬件芯片。

另一個由EVB技術(shù)引起的變化是服務(wù)器對從外部網(wǎng)絡(luò)接收到組播或廣播報文的處理方式。由于EVB從物理網(wǎng)卡上收到的報文可能是來自外部交換機的發(fā)卡彎報文，也就是說報文源MAC是虛擬化服務(wù)器上的虛擬機的MAC，這種報文必須進行過濾處理，以避免發(fā)送該報文的虛擬機再次從網(wǎng)絡(luò)上收到自己發(fā)出的組播或廣播報文。因此，當(dāng)前的操作系統(tǒng)或網(wǎng)卡驅(qū)動都需要做相應(yīng)的修改。

EVB標(biāo)準(zhǔn)具有如下的技術(shù)特點：

l 借助發(fā)卡彎轉(zhuǎn)發(fā)機制將外網(wǎng)交換機上的眾多網(wǎng)絡(luò)控制策略和流量監(jiān)管特性引入到虛擬機網(wǎng)絡(luò)接入層，簡化了網(wǎng)卡的設(shè)計，減少了虛擬網(wǎng)絡(luò)轉(zhuǎn)發(fā)對CPU的開銷；

l 使用外部交換機上的控制策略特性（ACL、QOS、端口安全等）實現(xiàn)整網(wǎng)端到端的策略統(tǒng)一部署；

l 使用外部交換機增強了虛擬機流量監(jiān)管能力，如各種端口流量統(tǒng)計，Netstream、端口鏡像等。

前文僅描述了EVB的設(shè)計思路以及實現(xiàn)EVB方案帶來的好處。實際上EVB定義了兩種報文轉(zhuǎn)發(fā)方案：VEPA（Virtual Ethernet Port Aggregator）和多通道（Multichannel Technology）。VEPA是EVB標(biāo)準(zhǔn)定義的基本實現(xiàn)方案，VEPA方案不需要對虛擬機發(fā)出的以太網(wǎng)報文做改動即可實現(xiàn)發(fā)卡彎轉(zhuǎn)發(fā)。多通道技術(shù)則定義了通過標(biāo)簽機制實現(xiàn)VEB、Director IO（硬件VEB）和VEPA混和方案。多通道技術(shù)為管理員提供了一種選擇實現(xiàn)虛擬機與外部網(wǎng)絡(luò)連接的技術(shù)手段。

2. EVB的基本實現(xiàn)方案——VEPA

IEEE 802.1工作組在VEPA技術(shù)基礎(chǔ)實現(xiàn)IEEE 802.1Qbg EVB標(biāo)準(zhǔn)，是因為VEPA技術(shù)對當(dāng)前網(wǎng)卡、交換機、現(xiàn)有以太網(wǎng)報文格式和標(biāo)準(zhǔn)影響最小（如圖3所示）。

VEPA的實現(xiàn)是基于現(xiàn)在的IEEE標(biāo)準(zhǔn)，不必為報文增加新的二層標(biāo)簽，只要對VMM軟件和交換機的軟件升級就可支持VEPA的發(fā)卡彎轉(zhuǎn)發(fā)。為了評估開發(fā)VEPA特性的工作量，HP公司的某新技術(shù)實驗室開發(fā)了一種支持VEPA功能的原型軟件，和一個支持發(fā)卡彎轉(zhuǎn)發(fā)的外部以太網(wǎng)交換機原型。VEPA軟件原型是在Linux內(nèi)核的橋模塊基礎(chǔ)上，只做了很少代碼修改即實現(xiàn)了發(fā)卡彎特性，即使在未對代碼做優(yōu)化的情況下，VEPA方案對報文的轉(zhuǎn)發(fā)性能也比傳統(tǒng)VSwitch提高了12%。

與VEB方案類似，VEPA方案可以采用純軟件方式實現(xiàn)，也能夠通過支持SR-IOV的網(wǎng)卡實現(xiàn)硬件VEPA。其實，只要是VEB能安裝和部署的地方，就都能用VEPA來實現(xiàn)，但VEB與VEPA各有所長，并不存在替代關(guān)系。

VEPA的優(yōu)點：

l 完全基于IEEE標(biāo)準(zhǔn)，沒有專用報文格式；

l 容易實現(xiàn)。通常只需要對網(wǎng)卡驅(qū)動、VMM橋模塊和外部交換機的軟件做很小的改動，從而實現(xiàn)低成本方案目標(biāo)。

3. 對VEPA的增強——通道技術(shù)（Multichannel Technology）

多通道技術(shù)是通過給虛擬機報文增加IEEE標(biāo)準(zhǔn)報文標(biāo)簽，以增強VEPA功能的一種方案，由HP公司提出，最終被IEEE 802.1工作組接納為EVB標(biāo)準(zhǔn)的一種可選方案。

多通道技術(shù)方案將交換機端口或網(wǎng)卡劃分為多個邏輯通道，并且各通道間邏輯隔離。每個邏輯通道可由用戶根據(jù)需要定義成VEB、VEPA或Dircetor IO的任何一種。每個邏輯通道作為一個獨立的到外部網(wǎng)絡(luò)的通道進行處理。多通道技術(shù)借用了802.1ad S-TAG（Q-IN-Q）標(biāo)準(zhǔn)，通過一個附加的S-TAG和VLAN-ID來區(qū)分網(wǎng)卡或交換機端口上劃分的不同邏輯通道。如圖4所示，多個VEB或VEPA共享同一個物理網(wǎng)卡。管理員可能需要特定虛擬機使用VEB，以獲得較好的交換性能；也可能需要其他的應(yīng)用使用VEPA，以獲得更好的網(wǎng)絡(luò)控制策略可實施性和流量可視性，并要求而上述使用的VEB或VEPA的虛擬機同時部署在一個物理服務(wù)器上。對于這些情況，管理員通過多通道技術(shù)即可解決VEB與VEPA共享一個外部網(wǎng)絡(luò)（網(wǎng)卡）的需求。

多通道技術(shù)需要網(wǎng)卡和外部交換機支持S-TAG和Q-IN-Q操作。所以在某些情況下，可能要求網(wǎng)卡或交換機做硬件升級，而VEPA方案對設(shè)備硬件沒有要求，幾乎在所有的VMM和外部物理交換機都能實現(xiàn)。部署多通道技術(shù)時，并不必須同時部署VEPA，多通道技術(shù)只是為管理員提供了一種選擇實現(xiàn)虛擬機與外部網(wǎng)絡(luò)連接的技術(shù)手段。

4. 關(guān)于802.1Qbh Bridge Port Extension標(biāo)準(zhǔn)

端口擴展（PE）設(shè)備是一種功能有限的是物理交換機，通常作為一個上行物理交換機的線卡使用。端口擴展技術(shù)需要為以太網(wǎng)報文增加TAG，而端口擴展設(shè)備借助報文TAG中的信息，將端口擴展設(shè)備上的物理端口映射成上行物理交換機上的一個虛擬端口，并且使用TAG中的信息來實現(xiàn)報文轉(zhuǎn)發(fā)和策略控制。

當(dāng)前市場上已有端口擴展設(shè)備，如Cisco的Nexus 2K就是Nexus 5K的端口擴展器。VN-TAG是Cisco為實現(xiàn)端口擴展而定義的一種私有以太網(wǎng)報文標(biāo)簽格式，這種報文格式不是建立在IEEE已定義各種標(biāo)準(zhǔn)之上。VN-TAG為報文定義了虛擬機源和目的端口，并且標(biāo)明了報文的廣播域。借助支持VN-TAG技術(shù)的VSwitch和網(wǎng)卡，也能夠?qū)崿F(xiàn)類似EVB多通道的方案，但是VN-TAG技術(shù)有以下一些缺點：

l VN-TAG是一種新提出的標(biāo)簽格式，沒用沿用現(xiàn)有的標(biāo)準(zhǔn)（如，IEEE 802.1Q、 IEEE 802.1ad、IEEE 802.1X tags ）；

l 必須要改變交換機和網(wǎng)卡的硬件，而不能只是簡單的對現(xiàn)有的網(wǎng)絡(luò)設(shè)備軟件進行升級。也就是說，VN-TAG的使用需要部署支持VN-TAG的新網(wǎng)絡(luò)產(chǎn)品（網(wǎng)卡、交換機、軟件）。

最初IEEE 802.1工作組曾考慮將“端口擴展”特性作為EVB標(biāo)準(zhǔn)的一部分，但是工作組最終決定將端口擴展發(fā)展成一個獨立的標(biāo)準(zhǔn)，即802.1 Bridge Port Extension。Cisco曾向802.1Q工作組建議，將VN-TAG技術(shù)作為實現(xiàn)EVB的一種可選方案，但IEEE 802.1工作組最終沒有接納這個提案。此后，Cisco修改了VN-TAG技術(shù)草案，修改后的草案稱為M-TAG，該方案的主要目標(biāo)仍是為了實現(xiàn)端口擴展設(shè)備與上行交換機之間的通信標(biāo)準(zhǔn)化。

5. 802.1Qbg EVB的標(biāo)準(zhǔn)化進程

在本文寫作的時候，IEEE 802.1Qbg的授權(quán)請求已經(jīng)通過，正式的標(biāo)準(zhǔn)化過程正在進行中。IEEE 802.1選擇VEPA技術(shù)草案作為EVB標(biāo)準(zhǔn)的基礎(chǔ)，因其使用現(xiàn)有的技術(shù)標(biāo)準(zhǔn)，并對現(xiàn)有的網(wǎng)絡(luò)產(chǎn)品和設(shè)備產(chǎn)生最小的影響。多通道技術(shù)作為一種可選項，也在EVB標(biāo)準(zhǔn)中定義。多通道技術(shù)提出了一種標(biāo)準(zhǔn)化TAG機制，以實現(xiàn)VEPA、VEB及Director IO的靈活部署。同樣的情況，IEEE 802.1工作組已接受Cisco提出的M-TAG技術(shù)草案作為端口擴展標(biāo)準(zhǔn)802.1gbh，并且標(biāo)準(zhǔn)化過程也在進行中，但其成為正式標(biāo)準(zhǔn)的時間要晚于802.1Qbg。

三、 結(jié)束語

*注：滿分為5，分值越接近5，表示該項技術(shù)參數(shù)越優(yōu)良。

表1 VEB方案與EVB方案的綜合對比

“方案沒有最好的，只有最適合的”。VEB的優(yōu)點是虛擬機之間的報文轉(zhuǎn)發(fā)性能高，而且軟件EVB（VSwitch）的兼容性好，易于實現(xiàn)。而EVB的優(yōu)點在于虛擬機流量的監(jiān)管能力、網(wǎng)絡(luò)策略部署能力以及管理可擴展性。EVB與VEB各有所長，并不存在絕對替代關(guān)系，也正因為這個原因，EVB標(biāo)準(zhǔn)又定義了“多通道技術(shù)”。建議用戶在設(shè)計虛擬服務(wù)器接入層網(wǎng)絡(luò)時，根據(jù)實際需求選擇合適的技術(shù)方案。

另外，市場上現(xiàn)存的一些與虛擬服務(wù)器接入層網(wǎng)絡(luò)相關(guān)的產(chǎn)品，采用的方案并不是802.1工作組承認(rèn)的標(biāo)準(zhǔn)技術(shù)。建議用戶在評估設(shè)備的過程中，從保護現(xiàn)有設(shè)備投資角度出發(fā)，充分評估特定廠商產(chǎn)品的技術(shù)特性，確認(rèn)其是否能在將來與當(dāng)前正在標(biāo)準(zhǔn)化進程中的EVB標(biāo)準(zhǔn)充分兼容。