數據中心虛擬機網絡接入技術_基礎篇

虛擬機的出現使數據中心網絡接入層出現了VEB（Virtual Ethernet Bridge）概念。在服務器虛擬化環境中最常見的“VSwitch”就是一種軟件VEB。VSwitch的技術兼容性好，但也面臨諸多問題，如VSwitch占用CPU資源導致虛擬機性能下降、虛擬機間網絡流量不易監管、虛擬機間網絡訪問控制策略不易實施、VSwitch存在管理可擴展性問題等。

為此，IEEE Data Center Bridging (DCB)任務組（DCB任務組是IEEE 802.1工作組的一個組成部分）正在制定一套新標準——802.1Qbg Edge Virtual Bridging（EVB）。該標準將VEPA（Virtual Ethernet Port Aggregator）作為基本實現方案。VEPA的核心思想是將虛擬機產生的網絡流量全部交給與服務器相連的物理交換機進行處理，即使同一臺服務器上的虛擬機間流量，也將在外部物理交換機上進行處理。VEPA方式不僅借助物理交換機實現了虛擬機間流量轉發，同時還解決了虛擬機流量監管、訪問控制策略部署、管理可擴展性等問題。另外，EVB標準還定義了“多通道技術（Multichannel Technology）”，目的是實現傳統VSwitch、 VEPA和Director IO（一種硬件VEB）的混和部署方案。

一、 VEB（Virtual Ethernet Bridge）

1. 虛擬化運行環境

服務器虛擬化是在物理服務器上借助虛擬化軟件（如VMWare ESX、Citrix XEN）實現多個虛擬機（Virtual Machine，VM）的虛擬化運行環境。安裝在服務器上實現虛擬化環境的軟件層被稱為VMM（Virtual Machine Monitor）。VMM為每個虛擬機提供虛擬化的CPU、內存、存儲、IO設備（如網卡）以及以太網交換機等硬件環境，如圖1所示。

圖1. 虛擬化運行環境

在虛擬化運行環境中，虛擬交換機提供了虛擬機之間，以及虛擬機與外部網絡之間的通訊能力。IEEE的802.1標準文檔中，“虛擬以太網交換機”正式名稱為“Virtual Ethernet Bridge”，簡稱VEB。VEB可以在VMM中采用純軟件方式實現，也可以借助支持SR-IOV特性的網卡通過全硬件方式實現。常見的虛擬化軟件（如VMWare ESX、Citrix XEN）缺省采用軟件VEB方案（或稱VSwitch），而硬件VEB的應用場景較少，因此后文主要討論軟件VEB，的技術特性。

2. VSwitch的技術特性

在虛擬化運行環境中，VMM為每個虛擬機創建一個虛擬網卡，對于在VMM中運行的VSwitch，每個虛擬機的虛擬網卡對應到VSwitch的一個邏輯端口上，服務器的物理網卡對應于VSwitch與外部物理交換機相連的端口。

虛擬機的報文接收流程：VSwitch從物理網卡接收以太網報文，之后根據VMM下發的虛擬機MAC與VSwitch邏輯端口對應關系表（靜態MAC表）來轉發報文。

虛擬機報文發送流程：當報文的MAC地址在外部網絡時，VSwitch直接將報文從物理網卡發向外部網絡；當報文目的MAC地址是連接在相同VSwitch上的虛擬機時，則VSwitch通過靜態MAC表來轉發報文。如圖2所示。

圖2. VSwitch方案架構

VSwitch方案具有以下優點：

l 虛擬機間報文轉發性能好。VSwitch實現虛擬機之間報文的二層軟件轉發， VSwitch對報文的轉發能力只受限于CPU性能、內存總線帶寬，因此虛擬機間報文的轉發性能（帶寬、延遲）非常好；

l 節省接入層物理交換機設備。例如，數據中心需要部署WEB服務器，且WEB服務器網關指向防火墻。這里可將一臺服務器虛擬化成多個虛擬機，每個虛擬機作為一個WEB服務器，將VSwitch作為WEB服務器的網絡接入層設備，將服務器物理網卡與防火墻端口互聯即可完成組網，無需額外的物理交換機；

l 與外部網絡的兼容性好。VSwitch采用軟件實現，對現有網絡標準的兼容性好，所以VSwitch與外部網絡設備不存在互聯兼容性問題。

但VSwitch方案也存在一些缺點：

l 消耗CPU資源。虛擬機產生的網絡流量越高，則基于軟件實現的VSwitch就需要占用越多的CPU資源用于報文的轉發處理，從而減弱了服務器支持更多虛擬機的能力。特別是在虛擬機到外部網絡的流量很大時，CPU的開銷會更大；

l 缺乏網絡流量的可視性。VSwitch缺少內部流量監管能力，例如端口報文統計、端口流鏡像、Netstream等特性。上述特性的缺失，一方面導致虛擬機之間的流量無法被網管系統所監管；另一方面也使得網絡發生故障是，難于定位問題原因；

l 缺乏網絡控制策略的實施能力。當前數據中心接入交換機都具有很多實現網絡控制策略的特性，例如端口安全，QOS、ACL等。而VSwitch因顧及到CPU開銷問題，通常不支持上訴特性。因此限制了數據中心的端到端的網絡控制策略（如端到端的QOS、整網安全部署策略等）的部署能力；

l 缺乏管理可擴展性。隨著數據中心虛擬機數量的增加，VSwitch的數量隨之增加，而傳統的VSwitch必須被單獨的配置管理，由此增加了網絡的管理工作量。VMWare公司推出了“分布式交換機（DVW）”技術，可以將最多64個VSwitch作為一個統一的設備進行管理。但這種技術只有限的改善了管理擴展性問題，并未從根本上解決外部網絡管理與VSwitch管理的統一性問題。

二、 802.1Qbg EVB標準

1. EVB標準的設計思想

IEEE 802.1工作組正著手制定一個新標準802.1Qbg Edge Virtual Bridging（EVB），以解決VSwtich（軟件VEB）的局限性。其核心思想是，將虛擬機產生的網絡流量全部交給與服務器相連的物理交換機進行處理，即使同一臺服務器的虛擬機間流量，也將發往外部物理交換機進行查表處理，之后再180度掉頭返回到服務器上，形成了所謂的“發卡彎”轉發模式，如圖3所示。

圖3. EVB/VEPA基本架構

EVB改變了傳統的VEB對報文的轉發方式，使得大多數報文在外部網絡交換機被處理。EVB可通過軟件方式實現（類似在VMM中的VSwitch軟件模塊）。由于將所有流量都引向外部交換機，因此與虛擬機相關的流量監管、控制策略和管理可擴展性問題得以很好的解決。但是，由于流量被從虛擬機上引入到外部網絡，使EVB技術也帶來了更多網絡帶寬開銷的問題。例如，從一個虛擬機到另一個虛擬機的報文，占用的網絡帶寬是傳統的報文轉發的兩倍，其中一半帶寬用于從源虛擬機向外網交換機傳輸，另一半帶寬用于從外部交換機向目的虛擬機傳輸。EVB的出現并不是去完全替換VEB方案，但是EVB對于流量監管能力、安全策略部署能力要求較高的場景（如數據中心）而言，是一種優選的技術方案。

以太網交換機在處理報文轉發時，對于從一個端口上收到的報文不會再將該報文從該端口發回（將破壞生成樹協議的實現）。因此，如果使能EVB特性的服務器接入到一個外網交換機上時，這臺交換機的相應端口必須支持上述“發卡彎”轉發方式。當前大多數交換機的硬件芯片都能支持這種“發卡彎”轉發，只要改動驅動程序即可實現，不必為支持“發卡彎”方式而增加新的硬件芯片。

另一個由EVB技術引起的變化是服務器對從外部網絡接收到組播或廣播報文的處理方式。由于EVB從物理網卡上收到的報文可能是來自外部交換機的發卡彎報文，也就是說報文源MAC是虛擬化服務器上的虛擬機的MAC，這種報文必須進行過濾處理，以避免發送該報文的虛擬機再次從網絡上收到自己發出的組播或廣播報文。因此，當前的操作系統或網卡驅動都需要做相應的修改。

EVB標準具有如下的技術特點：

l 借助發卡彎轉發機制將外網交換機上的眾多網絡控制策略和流量監管特性引入到虛擬機網絡接入層，簡化了網卡的設計，減少了虛擬網絡轉發對CPU的開銷；

l 使用外部交換機上的控制策略特性（ACL、QOS、端口安全等）實現整網端到端的策略統一部署；

l 使用外部交換機增強了虛擬機流量監管能力，如各種端口流量統計，Netstream、端口鏡像等。

前文僅描述了EVB的設計思路以及實現EVB方案帶來的好處。實際上EVB定義了兩種報文轉發方案：VEPA（Virtual Ethernet Port Aggregator）和多通道（Multichannel Technology）。VEPA是EVB標準定義的基本實現方案，VEPA方案不需要對虛擬機發出的以太網報文做改動即可實現發卡彎轉發。多通道技術則定義了通過標簽機制實現VEB、Director IO（硬件VEB）和VEPA混和方案。多通道技術為管理員提供了一種選擇實現虛擬機與外部網絡連接的技術手段。

2. EVB的基本實現方案——VEPA

IEEE 802.1工作組在VEPA技術基礎實現IEEE 802.1Qbg EVB標準，是因為VEPA技術對當前網卡、交換機、現有以太網報文格式和標準影響最小（如圖3所示）。

VEPA的實現是基于現在的IEEE標準，不必為報文增加新的二層標簽，只要對VMM軟件和交換機的軟件升級就可支持VEPA的發卡彎轉發。為了評估開發VEPA特性的工作量，HP公司的某新技術實驗室開發了一種支持VEPA功能的原型軟件，和一個支持發卡彎轉發的外部以太網交換機原型。VEPA軟件原型是在Linux內核的橋模塊基礎上，只做了很少代碼修改即實現了發卡彎特性，即使在未對代碼做優化的情況下，VEPA方案對報文的轉發性能也比傳統VSwitch提高了12%。

與VEB方案類似，VEPA方案可以采用純軟件方式實現，也能夠通過支持SR-IOV的網卡實現硬件VEPA。其實，只要是VEB能安裝和部署的地方，就都能用VEPA來實現，但VEB與VEPA各有所長，并不存在替代關系。

VEPA的優點：

l 完全基于IEEE標準，沒有專用報文格式；

l 容易實現。通常只需要對網卡驅動、VMM橋模塊和外部交換機的軟件做很小的改動，從而實現低成本方案目標。

3. 對VEPA的增強——通道技術（Multichannel Technology）

多通道技術是通過給虛擬機報文增加IEEE標準報文標簽，以增強VEPA功能的一種方案，由HP公司提出，最終被IEEE 802.1工作組接納為EVB標準的一種可選方案。

多通道技術方案將交換機端口或網卡劃分為多個邏輯通道，并且各通道間邏輯隔離。每個邏輯通道可由用戶根據需要定義成VEB、VEPA或Dircetor IO的任何一種。每個邏輯通道作為一個獨立的到外部網絡的通道進行處理。多通道技術借用了802.1ad S-TAG（Q-IN-Q）標準，通過一個附加的S-TAG和VLAN-ID來區分網卡或交換機端口上劃分的不同邏輯通道。如圖4所示，多個VEB或VEPA共享同一個物理網卡。管理員可能需要特定虛擬機使用VEB，以獲得較好的交換性能；也可能需要其他的應用使用VEPA，以獲得更好的網絡控制策略可實施性和流量可視性，并要求而上述使用的VEB或VEPA的虛擬機同時部署在一個物理服務器上。對于這些情況，管理員通過多通道技術即可解決VEB與VEPA共享一個外部網絡（網卡）的需求。

多通道技術需要網卡和外部交換機支持S-TAG和Q-IN-Q操作。所以在某些情況下，可能要求網卡或交換機做硬件升級，而VEPA方案對設備硬件沒有要求，幾乎在所有的VMM和外部物理交換機都能實現。部署多通道技術時，并不必須同時部署VEPA，多通道技術只是為管理員提供了一種選擇實現虛擬機與外部網絡連接的技術手段。

4. 關于802.1Qbh Bridge Port Extension標準

端口擴展（PE）設備是一種功能有限的是物理交換機，通常作為一個上行物理交換機的線卡使用。端口擴展技術需要為以太網報文增加TAG，而端口擴展設備借助報文TAG中的信息，將端口擴展設備上的物理端口映射成上行物理交換機上的一個虛擬端口，并且使用TAG中的信息來實現報文轉發和策略控制。

當前市場上已有端口擴展設備，如Cisco的Nexus 2K就是Nexus 5K的端口擴展器。VN-TAG是Cisco為實現端口擴展而定義的一種私有以太網報文標簽格式，這種報文格式不是建立在IEEE已定義各種標準之上。VN-TAG為報文定義了虛擬機源和目的端口，并且標明了報文的廣播域。借助支持VN-TAG技術的VSwitch和網卡，也能夠實現類似EVB多通道的方案，但是VN-TAG技術有以下一些缺點：

l VN-TAG是一種新提出的標簽格式，沒用沿用現有的標準（如，IEEE 802.1Q、 IEEE 802.1ad、IEEE 802.1X tags ）；

l 必須要改變交換機和網卡的硬件，而不能只是簡單的對現有的網絡設備軟件進行升級。也就是說，VN-TAG的使用需要部署支持VN-TAG的新網絡產品（網卡、交換機、軟件）。

最初IEEE 802.1工作組曾考慮將“端口擴展”特性作為EVB標準的一部分，但是工作組最終決定將端口擴展發展成一個獨立的標準，即802.1 Bridge Port Extension。Cisco曾向802.1Q工作組建議，將VN-TAG技術作為實現EVB的一種可選方案，但IEEE 802.1工作組最終沒有接納這個提案。此后，Cisco修改了VN-TAG技術草案，修改后的草案稱為M-TAG，該方案的主要目標仍是為了實現端口擴展設備與上行交換機之間的通信標準化。

5. 802.1Qbg EVB的標準化進程

在本文寫作的時候，IEEE 802.1Qbg的授權請求已經通過，正式的標準化過程正在進行中。IEEE 802.1選擇VEPA技術草案作為EVB標準的基礎，因其使用現有的技術標準，并對現有的網絡產品和設備產生最小的影響。多通道技術作為一種可選項，也在EVB標準中定義。多通道技術提出了一種標準化TAG機制，以實現VEPA、VEB及Director IO的靈活部署。同樣的情況，IEEE 802.1工作組已接受Cisco提出的M-TAG技術草案作為端口擴展標準802.1gbh，并且標準化過程也在進行中，但其成為正式標準的時間要晚于802.1Qbg。

三、 結束語

*注：滿分為5，分值越接近5，表示該項技術參數越優良。

表1 VEB方案與EVB方案的綜合對比

“方案沒有最好的，只有最適合的”。VEB的優點是虛擬機之間的報文轉發性能高，而且軟件EVB（VSwitch）的兼容性好，易于實現。而EVB的優點在于虛擬機流量的監管能力、網絡策略部署能力以及管理可擴展性。EVB與VEB各有所長，并不存在絕對替代關系，也正因為這個原因，EVB標準又定義了“多通道技術”。建議用戶在設計虛擬服務器接入層網絡時，根據實際需求選擇合適的技術方案。

另外，市場上現存的一些與虛擬服務器接入層網絡相關的產品，采用的方案并不是802.1工作組承認的標準技術。建議用戶在評估設備的過程中，從保護現有設備投資角度出發，充分評估特定廠商產品的技術特性，確認其是否能在將來與當前正在標準化進程中的EVB標準充分兼容。