科技 · 2 月. 23, 2023/星期四

存儲基本概念

存儲基本概念(lun,volume,HBA,DAS,NAS,SAN,iSCSI,IPSAN)


存儲基本概念(lun,volume,HBA,DAS,NAS,SAN,iSCSI,IPSAN)_liukuan73的博客-CSDN博客_存儲lun


LUN的全稱是Logical Unit Number,也就是邏輯單元號,其主要作用是為了給相連的服務器分配邏輯單元號(LUN)。磁盤陣列上的硬盤組成RAID組後,通常連接磁盤陣列的服務器並不能直接訪問RAID組,而是要再劃分為邏輯單元才能分配給服務器。這是因為SCSI總線上可掛接的設備數量是有限的,一般為8個或者16個,我們可以用Target ID(也有稱為SCSI ID的)來描述這些設備,設備只要一加入系統,就有一個代號,在區別設備的時候,只要說幾號幾號就可以了。而實際上需要用來描述的對象,是遠遠超過該數字的,於是引進了LUN的概念,也就是說LUN ID的作用就是擴充了Target ID。每個Target下都可以有多個LUN Device,通常簡稱LUN Device為LUN,這樣就可以說每個設備的描述就由原來的Target x變成Target x LUN y了。LUN就是我們為了使用和描述更多設備及對象而引進的一個方法而已,一點也沒什麽特別的地方。

LUN ID不等於某個設備,只是個號碼而已,不代表任何實體屬性,在我們的實際環境里,我們碰到的LUN可能是磁盤空間,可能是磁帶機,或者是media changer等等。

LUN的神秘之處(相對於一些新手來說)在於,它很多時候不是什麽可見的實體,而是一些虛擬的對象。比如一個陣列櫃,主機那邊看作是一個Target Device,那為了某些特殊需要,我們要將磁盤陣列櫃的磁盤空間劃分成若幹個小的單元給主機來用,於是就產生了一些什麽邏輯驅動器的說法,也就是比Target Device級別更低的邏輯對象,我們習慣於把這些更小的磁盤資源稱之為LUN0、LUN1、LUN2…什麽的。而操作系統的機制使然,操作系統識別的最小存儲對象級別就是LUN Device,這是一個邏輯對象,所以很多時候被稱為Logical Device。服務器識別到的最小的存儲資源,就是LUN級別的。主機的HBA 卡看到的存儲上的存儲資源就靠主要兩個東西來定位,一個就是存儲系統的控制器(Target),一個就是LUN ID,這個LUN是由存儲的控制系統給定的,是存儲系統的某部分存儲資源。一旦服務器與LUN連接上,就可以通過當前的網絡接口將數據傳輸到磁盤陣列上。

LUN是對存儲設備而言的,volume是對主機而言的。

怎麽去理解呢?選擇存儲設備上的多個硬盤形成一個RAID組,再在RAID組的基礎上創建一個或多個LUN(一般創建一個LUN)。許多廠商的存儲設備只支持一個RAID組上創一個LUN。此時LUN相對於存儲設備是一個邏輯設備。當網絡中的主機連接到存儲設備時,就可以識別到存儲設備上邏輯設備LUN,此時LUN相對於主機來講就是一個“物理硬盤”,與C盤D盤所在IDC或SCSI硬盤的性屬是相同的。在該“物理硬盤”上創建一個或多個分區,再創建文件系統,才可以得到一個VOLUME。此時VOLUME相對於主機是一個邏輯設備。

從容量大小方面比較VOLUME,分區、LUN、RAID的關系如下:

VOLUME = 分區 ≤ 主機設備管理器中的磁盤 = LUN ≤ RAID ≤ 存儲設備中硬盤的總容量。

上述只是針對一般情況,VOLUME也只是針對主機來講。個別廠商對LUN和VOLUME定義與普通廠商的定義不同,甚至會起一些奇怪的名稱,這些名稱即使是存儲行業的資深人士也不一定全明白。不過只要你能分清楚其實質就行。

HBA,即主機總線適配器英文“Host Bus Adapter”縮寫。是一個在服務器和存儲裝置間提供輸入/輸出(I/O)處理和物理連接的電路板或集成電路適配器。因為HBA減輕了主處理器在數據存儲和檢索任務的負擔,它能夠提高服務器的性能。一個HBA和與之相連的磁盤子系統有時一起被稱作一個磁盤通道。

a、總線適配器是個什麽東西呢? 

我們首先要了解一下主機的結構,一台計算機內部多半由兩條總線串起來(當然實際情況會有不同,這里只討論常見的,簡單的情況),一條總線叫系統總線,一條叫I/O總線。系統總線上接了CPU,Memory,cache什麽的,I/O總線上接的就是外圍設備,現如今最常見的就是PCI總線了。這兩條總線之間用橋接的芯片或者說電路連接起來。舉個形象的例子,就好比一個城市里,有兩條主幹道,一條屬於行政區,一條屬於商業區,中間有個環島,將兩條主幹道連接到了一起,系統總線就好比行政區里的主幹道,而I/O總線就好比商業區的主幹道。系統總線和I/O總線的帶寬的單位都是以Gbyte來記,但是顯而易見的是,行政區的主幹道和商業區的主幹道相比的話,前者肯定更“核心”,更寬,更順暢,設計的要求也高。 我們知道,在向公仆部門要求服務的時候,是要有一些接口的部門和程序的,而橋接芯片的作用就是連接和協調兩條總線的工作的。 
雖然I/O總線的速度和系統總線的帶寬相比要低很多,但是好歹也是以G來計量的,而我們知道外圍設備的速度,往往只有幾百兆,甚至幾十k而已,怎麽協調工作呢?好比賣煎餅果子攤子不能直接戳到城市主幹道上,怎麽辦?好辦,在主幹道邊上開個2000平米的小吃城,把攤子都收進去好了。那麽主機總線適配器的作用也就是這個,我們就是要把外設組織起來,連接到I/O總線上去!HBA就是指Host和I/O BUS直接的一個適配器,也好比一個水管工常說的“雙通”。 

b、常見的HBA有哪些呢? 

比如顯卡,網卡,scsi卡,1394卡等等。我要拿出來說的就是FCHBA和ATA&IDE。我們通常說的什麽Emulex的LP9002,什麽Qlogic的QLA2340都是FCHBA卡,就是將Fibre Channel的設備和IO總線連接起來的適配器ATA也是一種適配器技術,我們PC主板上的ATA接口,就是一個磁盤適配器的對外接口,要強調的就是,ATA說的是適配器技術,IDE是說得存儲外設技術,比如我們可以說IDE硬盤,IDE光驅,說ATA接口,但是說IDE接口,ATA硬盤就不時那麽合適了,雖然很多情況下,大家都習慣把他們混在一起說。 
描述HBA的時候,有幾個主要的規範要說一下 
   > 一個承上,就是說,HBA和IOBUS怎麽連,我們經常說的PCI接口卡,就是指這個HBA卡是要插在PCI BUS上的PCI slot上的,但是現在的計算機上,不僅僅只有PCI總線而已,大家碰到的時候留意。 
   >一個啟下,就是說HBA要和外設怎麽連,這樣的規範就很多了。 
   >再說HBA本身,比如帶寬,比如運行機制(protocol等),獨立處理能力等等 
Tips:有時候我們看到的一塊卡,看到的實際是一個物理的卡,有的時候實際上是多個Adapter,好比一家機構,掛多個牌子,有的時候,一塊卡有兩條通道,好比一家公司,有兩套人馬。

DAS(Direct Attached Storage—直接連接存儲),是指將存儲設備通過SCSI接口或光纖通道直接連接到服務器上。直連式存儲依賴服務器主機操作系統進行數據的IO讀寫和存儲維護管理,數據備份和恢覆要求占用服務器主機資源(包括CPU、系統IO等),數據流需要回流主機再到服務器連接著的磁帶機(庫),數據備份通常占用服務器主機資源20-30%,因此許多企業用戶的日常數據備份常常在深夜或業務系統不繁忙時進行,以免影響正常業務系統的運行。直連式存儲的數據量越大,備份和恢覆的時間就越長,對服務器硬件的依賴性和影響就越大。

直連式存儲與服務器主機之間的連接通道通常采用SCSI連接,帶寬為10MB/s、20MB/s、40MB/s、80MB/s等,隨著服務器CPU的處理能力越來越強,存儲硬盤空間越來越大,陣列的硬盤數量越來越多,SCSI通道將會成為IO瓶頸;服務器主機SCSI ID資源有限,能夠建立的SCSI通道連接有限。無論直連式存儲還是服務器主機的擴展,從一台服務器擴展為多台服務器組成的群集(Cluster),或存儲陣列容量的擴展,都會造成業務系統的停機,從而給企業帶來經濟損失,對於銀行、電信、傳媒等行業7×24小時服務的關鍵業務系統,這是不可接受的。並且直連式存儲或服務器主機的升級擴展,只能由原設備廠商提供,往往受原設備廠商限制。

NAS(Network Attached Storage—網絡附加存儲),即將存儲設備通過標準的網絡拓撲結構(例如以太網),連接到一群計算機上。NAS是部件級的存儲方法,它的重點在於幫助工作組和部門級機構解決迅速增加存儲容量的需求。需要共享文件的工程小組就是典型的例子。

NAS沒有解決與文件服務器相關的一個關鍵性問題,即備份過程中的帶寬消耗。與將備份數據流從LAN中轉移出去的存儲區域網(SAN)不同,NAS仍使用網絡進行備份和恢覆。NAS 的一個缺點是它將存儲事務由並行SCSI連接轉移到了網絡上。這就是說LAN除了必須處理正常的最終用戶傳輸流外,還必須處理包括備份操作的存儲磁盤請求。

隨著IP網絡技術的發展,網絡接入存儲(NAS)技術發生質的飛躍。早期80年代末到90年代初的10Mbps帶寬,網絡接入存儲作為文件服務器存儲,性能受帶寬影響;後來快速以太網(100Mbps)、VLAN虛網、Trunk(Ethernet Channel) 以太網通道的出現,網絡接入存儲的讀寫性能得到改善;1998年千兆以太網(1000Mbps)的出現和投入商用,為網絡接入存儲(NAS)帶來質的變化和市場廣泛認可。由於網絡接入存儲采用TCP/IP網絡進行數據交換,TCP/IP是IT業界的標準協議,不同廠商的產品(服務器、交換機、NAS存儲)只要滿足協議標準就能夠實現互連互通,無兼容性的要求;並且2002年萬兆以太網(10000Mbps)的出現和投入商用,存儲網絡帶寬將大大提高NAS存儲的性能。NAS需求旺盛已經成為事實。首先NAS幾乎繼承了磁盤列陣的所有優點,可以將設備通過標準的網絡拓撲結構連接,擺脫了服務器和異構化構架的桎梏;其次,在企業數據量飛速膨脹中,SAN、大型磁帶庫、磁盤櫃等產品雖然都是很好的存儲解決方案,但他們那高貴的身份和覆雜的操作是資金和技術實力有限的中小企業無論如何也不能接受的。NAS正是滿足這種需求的產品,在解決足夠的存儲和擴展空間的同時,還提供極高的性價比。因此,無論是從適用性還是TCO的角度來說,NAS自然成為多數企業,尤其是大中小企業的最佳選擇。

SAN(存儲區域網絡)采用光纖通道(Fibre Channel ,簡稱FC)技術,通過光纖通道交換機連接存儲陣列和服務器主機,建立專用於數據存儲的區域網絡。SAN經過十多年歷史的發展,已經相當成熟,成為業界的事實標準(但各個廠商的光纖交換技術不完全相同,其服務器和SAN存儲有兼容性的要求)。SAN解決方案是從基本功能剝離出存儲功能,所以運行備份操作就無需考慮它們對網絡總體性能的影響。

分析比較編輯

針對I/O是整個網絡系統效率低下的瓶頸問題,專家們提出了許多種解決辦法。其中抓住癥結並經過實踐檢驗為最有效的辦法是:將數據從通用的應用服務器中分離出來以簡化存儲管理

問題:

由上圖可知原來存在的問題:每個新的應用服務器都要有它自己的存儲器。這樣造成數據處理覆雜,隨著應用服務器

的不斷增加,網絡系統效率會急劇下降。

解決辦法:

從上可看出:將存儲器應用服務器中分離出來,進行集中管理。這就是所說的存儲網絡(Storage Networks)。

統一性:形散神不散,在邏輯上是完全一體的。

實現數據集中管理,因為它們才是企業真正的命脈。

容易擴充,即收縮性很強。

具有容錯功能,整個網絡無單點故障。專家們針對這一辦法又采取了兩種不同的實現手段,即NAS(Network Attached Storage)網絡接入存儲和SAN(Storage Area Networks)存儲區域網絡

NAS:用戶通過TCP/IP協議訪問數據,采用業界標準文件共享

協議如:NFS、HTTP、CIFS實現共享。SAN:通過專用光纖通道交換機訪問數據,采用SCSI、FC-AL接口。

什麽是NAS和SAN的根本不同點?

由上圖可以看出,SAN結構中,文件管理系統

(FS)還是分別在每一個應用服務器上;而NAS則是每個應用服務器通過網絡共享協議(如:NFS、CIFS)使用同一個文件管理系統。換句話說:NAS和SAN存儲系統的區別是NAS有自己的文件系統管理。NAS是將目光集中在應用、用戶和文件以及它們共享的數據上。SAN是將目光集中在磁盤、磁帶以及聯接它們的可靠的基礎結構。

將來從桌面系統到數據集中管理到存儲設備的全面解決方案將是NAS加SAN。

iSCSI技術最重要的貢獻在於其對傳統技術的繼承和發展上:其一,SCSI(Small Computer Systems Interface,小型計算機系統接口)技術是被磁盤、磁帶等設備廣泛采用的存儲標準,從1986年誕生起到現在仍然保持著良好的發展勢頭;其二,沿用TCP/IP協議,TCP/IP在網絡方面是最通用、最成熟的協議,且IP網絡的基礎建設非常完善。這兩點為iSCSI的無限擴展提供了夯實的基礎。

iSCSI協議定義了在TCP/IP網絡發送、接收block(數據塊)級的存儲數據的規則和方法。發送端將SCSI命令和數據封裝到TCP/IP包中再通過網絡轉發,接收端收到TCP/IP包之後,將其還原為SCSI命令和數據並執行,完成之後將返回的SCSI命令和數據再封裝到TCP/IP包中再傳送回發送端。而整個過程在用戶看來,使用遠端的存儲設備就象訪問本地的SCSI設備一樣簡單。支持iSCSI技術的服務器和存儲設備能夠直接連接到現有的IP交換機和路由器上,因此iSCSI技術具有易於安裝、成本低廉、不受地理限制、良好的互操作性、管理方便等優勢。早在2001年上半年,IBM就推出了IP Storage 200i,是市場上公認的第一款基於iSCSI協議的產品,這款產品的出現,對於身處信息爆炸時代卻無法承擔光纖通道SAN環境高成本的中小型用戶來說,具有巨大的吸引力

圖一 基於iSCSI技術的IP SAN 圖一為比較簡單的IP SAN結構圖。例子中使用千兆以太網交換機搭建網絡環境,由iSCSI initiator如文件服務器、iSCSI target如磁盤陣列及磁帶庫組成。在這里引入兩個概念:initiator和target。Initiator即典型的主機系統,發出讀、寫數據請求;target即磁盤陣列之類的存儲資源,響應客戶端的請求。這兩個概念也就是上文提到的發送端及接受端。圖中使用iSCSI HBA(Host Bus Adapter,主機總線適配卡)連接服務器和交換機,iSCSI HBA包括網卡的功能,還需要支持OSI網絡協議堆棧以實現協議轉換的功能。在IP SAN中還可以將基於iSCSI技術的磁帶庫直接連接到交換機上,通過存儲管理軟件實現簡單、快速的數據備份。 
  由圖一可以看出,基於iSCSI技術,利用現有的IP網絡搭建IP SAN是極其簡單的,且無須對現有IT員工進行培訓即可掌握存儲網絡的管理。可能有用戶會有疑問:基於1Gb的IP網絡搭建IP SAN,性能到底如何?據某iSCSI技術開發人員說,數據傳輸速率在110-120MB/s左右,如果是全雙工模式的交換機,可以達到200MB/s左右,相比光纖通道190MB/s(全雙工360MB/s)的傳輸速率還是有差距,但光纖通道的高成本也是眾所周知的。而在實際應用中,80-90MB/s的數據傳輸速率還是能夠滿足要求,因此iSCSI技術的應用環境提供了更好的性價比,從而會從傳統SAN中分得一杯羹。

https://blog.csdn.net/liukuan73/article/details/45506441