隋末大权臣txt全本下载:深入了解IP存储
来源:百度文库 编辑:中财网 时间:2024/07/06 18:11:56
深入了解IP存储
来源: 作者:《网络世界》 2007-10-08 一、IP存储详解 从用户观点看,存在两大问题。第一个问题,如何将已经部署的分离SAN互联起来?第二个问题,如何将来自运行在IP网络上的多台服务器的存储整合在一起?解决第一个问题(即互联已经部署的SAN)的简单答案是光纤通道。但是,当涉及到分布在不同园区和另一个网络上的SAN时,最佳的解决方案
FCIP被提议为通过现有的IP网络连接光纤通道SAN“孤岛”的一种标准方法。FCIP还可用来克服光纤通道目前存在的距离限制因素,能够跨越大于光纤通道支持的距离连接SAN孤岛。FCIP具有实现纠错和检测的优点:即如果IP网络错误率高的话,它就重试。这是在一条低性能、高错误率的IP网络上连接SAN的理想途径。
iFCP是一项在TCP/IP网络上传送光纤通道传输流的标准。作为网关的iFCP在使用户可以将光纤通道RAID阵列、交换机和服务器连接到IP存储网络上的同时,保护了基础设施的投资。iFCP运行时将光纤通道数据封装在IP包中并将IP地址映射到不同的光纤通道设备上。每一台光纤通道设备在IP网络上都有自己的身份标识,因此它可以单独地向IP网络中其他节点发送存储流和接收来自其他节点的存储流。iFCP在网关终结光纤通道信令,然后在IP网络上传送存储传输流,突破了传统光纤通道距离只能达到6.2英里的限制。
第二个问题的答案是iSCSI。iSCSI协议定义了在TCP/IP网络发送、接收block(数据块)级的存储数据的规则和方法。发送端将SCSI命令和数据封装到TCP/IP包中再通过网络转发,接收端收到TCP/IP包之后,将其还原为SCSI命令和数据并执行,完成之后将返回的SCSI命令和数据再封装到TCP/IP包中再传送回发送端。而整个过程在用户看来,使用远端的存储设备就像访问本地的SCSI设备一样简单。支持iSCSI技术的服务器和存储设备能够直接连接到现有的IP交换机和路由
二、IP存储“三部曲”
IP存储解决方案应用可能会经历三个发展阶段。
阶段一: SAN扩展器。随着SAN技术在全球的开发,越来越需要长距离的SAN连接技术。IP存储技术定位于将多种设备紧密连接,就像一个大企业多个站点间的数据共享以及远程数据镜像。这种技术是利用FC到IP的桥接或路由器,将两个远程的SAN通过IP架构互联。虽然iSCSI设备可以实现以上技术,但FCIP和iFCP对于此类应用更为适合,因为它们采用的是光纤通道协议(FCP)。
阶段二: 有限区域IP存储。 在第二个阶段的IP存储的开发主要集中在小型的低成本的产品,目前还没有真正意义的全球SAN环境,随之而来的技术是有限区域的、基于IP的SAN连接技术。可能会出现类似于可安装到NAS设备中的iSCSI卡,因为这种技术和需求可使TOE设备弥补NAS技术的解决方案。在这种配置中,一个单一的多功能设备可提供对块级或文件级数据的访问,这种结合了块级和文件级NAS设备可使以前的直接连接的存储环境轻松地传输到网络存储环境。
第二个阶段也会引入一些工作组级的、基于IP的SAN小型商业系统
阶段三: IP SAN。完全的端到端的、基于IP的全球SAN存储将会随之出现,而iSCSI协议则是最为适合的。基于iSCSI的IP SAN将由iSCSI HBA构成,它可释放出大量的TCP负载,保证本地iSCSI存储设备在IP架构上可自由通信。一旦这些实现,一些IP的先进功能,如带宽集合、质量服务保证等都可能应用到SAN环境中。
上图显示了一个真正的全球IP SAN。将IP作为底层进行SAN的传输,可实现地区分布式的配置。如SAN可轻松地进行互联,实现灾难恢复、资源共享,以及建立远程SAN环境访问稳固的共享数据池。
三、IP存储仍需解决的问题
IP存储是一个新兴的技术,尽管其标准早已建立且应用,但将其真正广泛应用到存储环境中还需要解决几个关键技术点。
TCP负载空闲
由于IP无法确保提交到对方,而将TCP作为底层传输的三种IP存储协议则需要在拥挤的、远距离的IP空间中确保传输的可靠性。由于IP包可以打乱次序传送,因此,TCP层需要重新修正次序,以提交到上一层的协议中(如SCSI)。TCP完成这一任务的典型操作是使用重调顺序缓冲器,将数据包的顺序完全整理为正确方式,完成这一操作后,TCP层将数据发送到下一层。
这些处理都需要消耗主机的CPU资源,同时增加事务处理的延时,事实上,与典型的FC或SCSI块传输相比,需要更多的I/O处理,一种称之为TCP负载空闲引擎TCP Off-loading Engine (TOE)的设备可将主机的处理器负载降低,随着新技术的应用,TOE将可以帮助解决这一问题。
性能
工作组和一些分析人士把相当多的注意力放在了确保IP存储协议可以非常快的运行上,因为目前硬盘
尽管IP技术很有可能得以应用,但如果对性能较为看重的话,不推荐使用标准的以太网卡。如前所述,TOE可以减少服务器的处理负载,但由于TOE设备较新,其硬件成本及复杂程度都比标准网卡更高。其广泛应用可能会由于性能价格比过高而受阻。像那些增强的iHBA都需要进一步改进,已达到光纤通道的技术水平。
安全性
当存储设备通过IP架构进行远距离连接时,安全性变得愈加重要。生产厂家必须明确产品的安全级别,并确保其安全性。在IP存储产品广泛应用之前,这一问题是IETF需亟待解决的。
当标准得到批准时,明确要求IP存储协议的所有实施都必须包括可靠的安全性(实现加密数据完整性和保密性)。如果用户不愿使用这些安全措施的话,他们不必使用,但是产品中必须具有启动安全技术的功能,只有这样厂商才能说他们的产品符合标准的要求。相当多的工作组成员非常不喜欢这项要求:他们认为这些协议的主要用武之地将是数据中心或其他一些受防火墙保护的领域。但是,一旦人们将应用放在IP上,这个应用没有什么办法确定自己的使用环境,例如在防火墙后使用。这是IP的一个重要特性。
IETF认为,如果将存储区域网(SAN)放在IP上是符合逻辑的(绝大多数人认可这点),那么利用IPSec保护这些SAN才有意义。
IETF的Internet工程指导小组(IESG)要求在三种IP存储协议中使用IPSec: iSCSI、FCIP和iFCP。负责IETF IP存储工作组传输领域的人员认为,窃听是IP协议存在的安全漏洞,而这正是IESG坚持加密能力的原因。还有一些厂商认为,依靠IPSec解决IP存储安全问题并没有抓住问题的关键。尽管IPSec可以保护在IP网络上传输的存储数据的安全,正如它保护IP VPN上传输的数据那样,但是它没有采取任何保护存储设备上数据的措施。保护存储设备上的数据需要使用采用3DES 或高级加密标准(AES)的加密芯片。
互联性
基于IP的技术并没有被所有厂家共同使用,虽然这个协议的标准早已被IETF公布,但并不能保证厂家X与厂家Y使用相同的协议或技术。为了保证这些产品能够相互配合得更好,必须保证厂家之间采用相同的协议,使各厂家产品具有良好的互联性。
还有一个问题引起了大家的关心,那就是之所以有这么多的厂商热衷于iSCSI解决方案原因在于他们不必掌握复杂的光纤通道技术而直接进入高速增长的网络存储领域。笔者以为,作为iSCSI解决方案的提供商,没有光纤通道领域的坚实基础是很难取得成功的。现实总是残酷的,对于专注于此领域的小厂商来说也许会在成功以后被大型厂商所收购,然而现在正经历严峻考验。
四、存储厂商观点
不同的存储厂商,由于专注的领域不同,对IP存储的支持程度(或者是希望程度)有着一定的差别。
IBM与思科
iSCSI是由IBM下属的两大研发机构――加利福尼亚Almaden和以色列Haifa研究中心共同开发的,是一个供硬件设备使用的可以在IP协议上层运行的SCSI指令集。而iSCSI是IP存储各协议中发展最“成熟”的一个,因此,IBM对iSCSI的贡献是很突出的,自然对IP存储支持有佳。
思科在传统IP网络的地位无需多提,在IP网络拥有的丰富经验使得思科公司进军存储市场具有很大优势。除了很早就推出了存储路由器,在一个月以前,思科推出了MDS 9000系列多层导向器和光纤通道交换机,全面进入存储领域。对于思科来说,若能够将传统IP网络与存储网络的优势结合起来自然会获得巨大的机会,而这个机会就是IP存储。
NetApp
NetApp原本是专注于NAS产品的厂商,后来又提供了SAN架构产品,并将两者有机地结合在其光纤网络存储(FAS)解决方案中。如果IP存储能够得到广泛的应用,对于NetApp来说是个巨大的利好消息,NetApp认为,应用IP存储时,只是在其FAS解决方案增加支持,而不会像其他厂商那样需要分别在NAS和SAN产品增加对IP存储的支持。
HP与HDS
目前惠普已经推出了iSCSI路由器,但没有在中国发布。随着市场的发展,惠普还会陆续推出iSCSI的产品。在iSCSI的推动上,惠普声称会跟着市场的需求走,但不会太超前,iSCSI市场并不成熟,产品太超前,对企业来说是没有意义的。HDS也表示,由于在可靠性方面还存在一些问题,暂时还没有推出支持iSCSI的产品。
博科通讯
并行向左 串行向右——构建磁盘网络世界
来源: 作者: 2005-12-07 出处:pcdog.com
磁盘接口是磁盘与主机系统间的连接部件,不同的磁盘接口决定着连接速度,接口的优劣直接影响着程序运行快慢和系统性能好坏。磁盘接口技术主要有两种,即并行和串行,按照目前的情况分析,“串行”大有取代“并行”之势。
我们接触到的磁盘接口技术有很多,在串行技术出现之前,从整体的角度上硬盘接口分为ATA、SCSI和光纤通道三种,ATA磁盘多用于个人产品中,也部分应用于服务器,SCSI硬盘则主要应用于服务器,而光纤通道只应用在高端服务器上,价格昂贵。
ATA和SCSI分别定位于低端、高端应用领域,它们也有一个共同点,那就是并行,因为它们都按照并行的方式来传输数据。
随着时间的推移,这种并行技术的不足逐渐显现:尽管ATA和SCSI均是并行总线接口,但是它们之间却不兼容;ATA现有的传输速率已经逐渐不能满足用户的需求,SCSI磁盘价格昂贵;传输数据和信号的总线是复用的,如果要提高传输的速率,那么传输的数据和信号往往会产生干扰,从而导致错误。
于是串行技术应运而生,与并行技术不同,串行按照串行方式传输数据,它是一种完全崭新的总线架构。去年SATA(Serial ATA)磁盘开始大规模应用,为串行磁盘技术的革命运动拉开了序幕。同ATA和SCSI相对应的是SATA和SAS(Serial Attached SCSI)两种技术,它们克服了原先并行接口技术中的不足。串行技术提高了性能、降低了价格,还采用兼容的架构,在低端(SATA)和高端(SAS)之间架起了沟通的桥梁。
SATA磁盘已经获得了广泛的应用,而SAS的情况却有所不同,其标准虽在几年前就已确定,但是产品却迟迟没有面世。3月31日,迈拓公司推出SAS磁盘,串行技术正式吹响了向高端进军的号角。记者预言,在不久的将来,磁盘世界将是串行一统天下。
现在,网络存储的概念已经深入人心,NAS和SAN、FC和IP之争都是细节问题,关键是大家都明白将磁盘阵列等存储设备直接连到网络上可以提高利用率和效能。不过,对于磁盘阵列内部的状况,了解和关心的人就没有那么多了,但实际上,那些通常被我们当作“黑匣子”看待的钢筋铁骨,其“五脏六腑”的构造也直接影响着容量的利用率和性能的发挥。
拓扑:从总线到星形
近二十年来,与ATA相比,SCSI一直以高端的形象自居。然而,随着2003年Serial ATA(以下简称SATA)Ⅱ工作组先后公布属于SATA Ⅱ第二阶段的Port Multiplier(端口倍增器)和Port Selector(端口选择器)规范,并行SCSI的优势已经不复存在。
请注意,SCSI和并行SCSI不是一个概念,两者之间不应划等号,如果非要划一个标志的话,也应该是大于号。广义的SCSI是一大堆标准的集合,像并行SCSI接口(SCSI Parallel Interface,SPI)、光纤通道协议(Fibre Channel Protocal,FCP)和iSCSI(Internet SCSI)都包括在SCSI标准架构之中。由于最初的SCSI标准(SCSI-1和SCSI-2)确实只有并行这一种实现方式,所以不加前缀的提起SCSI通常是指并行SCSI、SATA与SAS接口。
在串行接口大行其道的今天,并行接口的不是之处简直随便挑,譬如需要的信号线太多导致高频时信号同步困难,从而限制带宽和连接距离,换言之,就是发展空间有限。
同样是受制于信号线过多,并行SCSI只能选择共享传输介质(线缆)的总线型拓扑结构。虽然宽(Wide,16位)SCSI理论上能够连接多达15个设备,但如果真这样做的话每个设备所能分配到的带宽将非常有限,而且总线的仲裁(避免低优先级的设备“饿死”)问题也会十分棘手。因此,实际应用中上一个16位SCSI通道(一条总线)连接的硬盘数量通常不超过4个,从而在性能和连接能力之间取得平衡。
抛开连接器和软件协议都不兼容的表象,在功能上并行ATA可说是并行SCSI的子集——后者有的毛病前者都有,后者没有的缺点前者也有(精简所以不够完善)。线缆长度不超过半米、同一通道只能连接2个设备(且为独占式访问)、接口带宽达到133MBps就已十分勉强等都是并行ATA明显不及并行SCSI之处。
正是由于并行ATA(Parallel ATA,以下简称PATA)更早地碰到了瓶颈,ATA率先开始了彻底放弃并行、转投串行怀抱的革命。2000年春季IDF上Intel公布了串行SATA接口的开发计划,并在2001年秋季IDF上联合APT、Dell、IBM、Seagate及Maxtor,正式发布了SATA 1.0规范。
与连接器针脚多达40根的PATA相比,SATA仅有2对数据线(一对发送,一对接收,250mV LVD信号),加上3根地线也不过才7个接脚,连接器十分小巧,线缆也柔软易于弯曲,实现了每个设备独享全部带宽、没有总线仲裁/冲突开销的点对点连接。串行接口必备的LVDS(低电压差分信号)技术将连接距离提高了一倍,1米的长度完全能够满足PC机内存储的要求;每个端口可连接的设备数目虽然从2个减少为1个,但同样面积所能容纳的端口数量却成倍增加,何况PATA在实用中每端口连接的硬盘通常也只有1个;点对点连接构成相对先进的星形拓扑,可以显著改善并发操作能力。此外,SATA的带宽从150MBps(1.5Gbps,8b/10b编码)起步,后续将会提高到300MBps和600MBps。
不过,SATA 1.0的先进架构只是全面超越了PATA,在并行SCSI面前却未必能占尽上风。就以连接大量设备的能力来说,一个并行SCSI端口上挂接4块硬盘很稀松平常,SATA达到同样的水准却要耗费4个主机端口。
SATA的缔造者们显然也意识到了这个问题,于是他们在SATA Ⅱ中引入了Port Multiplier的概念。Port Multiplier的作用是把一个活动主机连接多路复用至多个设备连接,它采用4位(bit)宽度的PM端口字段,其中控制端口占用一个地址,因此最多能输出15个设备连接——与并行SCSI相当。Port Multiplier的上行端口只有1个,在带宽为150MBps的时候容易成为瓶颈,但如果上行端口支持300MBps的带宽,就与Ultra320 SCSI十分接近了。
![](http://image.360doc.cn/DownloadImg/494/957489_3.jpg)
换句话说,Port Multiplier本身就是星形拓扑架构的体现,对网络略知一二的朋友都明白它比总线拓扑架构更为优秀。遗憾的是,由于ATA的定位是“廉”(价)字当头,其软件(包括指令集)功能有限,Port Multiplier仅处于星形拓扑的初级阶段,只相当于一个SATA的Hub,而且还不是一个好的Hub——不允许级联。
兼容:师夷长技以制夷
看到SATA Ⅱ不断地扩充功能,不免让人感叹,2001年冬季Compaq、IBM、LSI Logic、Maxtor和Seagate未雨绸缪,宣布开发Serial Attached SCSI(串行连接SCSI,简称SAS)的确是明智之举。
SAS吸纳了SATA的物理层(包括连接器、线缆)设计,增加了第二端口,同时还具备FC的某些特征。与SATA相比,SAS在物理架构上的增强主要包括:
双端口 SAS的数据帧基于FCP(FC Protocol),并在外围设备端添加了第二端口支持,形成符合高可用性要求的双端口(dual port)——这一点也类似于FC。
全双工 并行ATA和SCSI都是发送和接收共用一组数据线,因此发送和接收不能同时进行,即所谓的半双工。SATA数据线由两条传送方向相反的差分信号对(LVDS,共4根)组成,发送(Tx)和接收(Rx)各走一路,为全双工提供了物理上的可能。不过,由于ATA协议是半双工的,因此SATA在一对信号线上传送数据的同时只是用另一对信号线返回流控信息,仍然是半双工;SCSI协议则是支持全双工的,SAS通过将一路数据所需的流控信息与反向传送的数据混合在一起,从而能在同样的数据线上实现全双工。
宽链接 物理链接是SAS中的一个基础概念,一条物理链接包括两对差分信号线(Tx和Rx,即一条SATA线缆),传输方向相反。两个SAS端口之间可以建立起由多个物理链接构成的wide link(宽链接),相应的端口也被称作wide port(宽端口),可以表示为N-wide link和N-wide port,N取值在1~4之间,代表物理链接的数量。SAS支持宽链接的主要出发点是获得成倍的带宽,而设备端双端口的设计则是为了提供冗余链路,增强可用性。
带宽 或许是考虑到第一批SAS产品问世时SATA很可能已推出3.0Gbps的第二代规格,SAS 1.0/1.1采取了直接支持3.0Gbps并向下兼容1.5Gbps的策略。虽然某些初期原型产品的确运行在1.5Gbps,但都是在FPGA和现货供应PHY(物理层)芯片基础上开发的,目前采用完全集成3Gbps PHY芯片和ASIC设计的设备已经出现,并逐渐被业内接受。
连接距离 为了提高连接距离,SAS发送和接收信号的电压范围都比SATA大为提高。在具体的连接距离指标上,最初宣称是10米,新的资料则是大于6米(外部线缆),似乎与信号速率从1.5Gbps提高到3.0Gbps有关。需要指出的是SAS规范里面并没有严格限定线缆长度,而是靠发送水平和接收敏感度来考察,制造商通过检测线缆特性来判定其所能达到的距离——高质量线缆可以连接得更远,当然成本也更高。现在SAS线缆连接距离的要求已经提高到8米,通过3个扩展器(Expander)之后,SAS的连接距离能够超过32米,与Ultra160/320 SCSI的12米(15个设备)或25米(点对点)相比虽没有明显提高,但也足以应付机内存储设备连接和近距离DAS的要求了。
![](http://image.360doc.cn/DownloadImg/494/957489_4.jpg)
上述规划都很不错,可是第二端口怎么实现呢?通过将原本分离的SATA端口和电源插头相连,并将SAS第二端口设置在连接处的背侧(插座则是对侧,见图),就得到了SAS连接器。第二端口比这块跨接区域略宽,但也只有SATA端口(也即SAS第一端口)的2/3,因此其7个接脚及间距均明显变窄。与SAS插头的“铁板一块”相对应,SAS插座也“全线贯通”(SATA插座在SAS第二端口的位置有一突起),这样既可以保证SATA设备插入SAS插座,又能避免误将SAS设备插入SATA插座。
升华:交换和路由
与SATA一样,SAS也可以让主机端口与设备端口点对点直接相连,但不同的是,后者从设计之初就引入了类似于Port Multiplier的中间设备,以达成大量设备连接能力并实现更为复杂的拓扑结构。
这个中间设备叫做扩展器(Expander),不过与并行SCSI中的同名设备不是一个概念。如果把SATA的Port Multiplier比做Hub,那么SAS的扩展器就是交换机(Edge Expander,边沿扩展器)和路由器(Fanout Expander,扇出扩展器)。
扩展器利用可多达128个的PHY(发送器和接收器各一、能够接受1个物理链接的最小单元,譬如1个4宽度端口即由4个PHY组成)连接主机/设备或其他扩展器,组成星形拓扑架构。SAS还引入了“域”的概念,扇出扩展器是SAS域的核心,一个SAS域只能有一个扇出扩展器,它可以随意连接边沿扩展器;一个边沿扩展器只能连接到一个扇出扩展器上,而在没有扇出扩展器的情况下最多仅允许两个边沿扩展器互连;在不超过数目上限的前提下,扩展器可以随意连接发起者/目标设备。也就是说,在一个SAS域中,任意两点(主机或设备)之间最多可以有3个扩展器。
SAS制订初期的目标是每个扩展器可连接64个设备,一个SAS域最多4096个(64×64)设备;后来规范制订者们意识到没有必要把扩展器的端口数目限制在64个,于是便改为每个扩展器能够寻址128个PHY,整个SAS域形成一个物理连接数目可达16K(128×128=16384)的点对点交换式拓扑架构。
扩展器强大的连接能力不仅是为设备数量服务的,它还可以用多达4个的物理链接组成宽链接来获得成倍的带宽。以4宽度内部串行附属连接器为例,SATA只能通过4根相互间没有逻辑联系的线缆获得4个独立的SATA链接,SAS却可以得到一个4宽度链接(在一个扩展器上)、两个2宽度链接(在两个扩展器上)、四个1宽度链接(在四个独立的扩展器或设备上),甚至还能够是一个3宽度链接和一个1宽度链接……性能与灵活度都远胜于SATA。
不过,扩展器引入的复杂度也不尽是优点,譬如它将原本直接相连的两个设备分隔开就隐藏着潜在的风险。为此,SAS在链路层引入了速率匹配(rate matching)的概念,即在高速连接一侧(视需要)降低实际数据速率,维持扩展器吞吐量的平衡。这一功能对SAS主机控制器(3.0Gbps)通过扩展器连接SATA外围设备(1.5Gbps)的应用显得尤为重要。
说到SAS主机控制器连接SATA外围设备,我们还得颇费些口舌。SAS支持3种协议,分别是串行SCSI协议(Serial SCSI Protocol,SSP),全双工,让SCSI运行在增强的SATA物理层上;串行ATA隧道协议(Serial ATA Tunneled Protocol,STP),为SATA增加多目标寻址和多发起者访问,以适应SAS环境的需要;串行管理协议(Serial Management Protocol,SMP),用于发现和管理扩展器。’
扩展器把SATA的点对点连接扩展至SAS的多发起者/多目标,然而SATA协议仅支持单发起者/单目标,STP的任务就是让发起者能够通过扩展器访问SATA目标。STP在发起者与最远的、也就是连接SATA设备的扩展器端口(STP目标端口)之间建立起一条通路(隧道),传输标准的SATA 1.0帧,因此在SATA设备看来,自己连接的就是SATA主机适配器。如果发起者端口识别出与其直接相连的是一台SATA设备,则只使用SATA协议通信。
那么SAS主机控制器端口怎么知道自己连接的是SATA设备还是SAS设备呢?这就要借助于带外(Out of band,OOB)信号来识别了。在连接初始化时,主机控制器端口送出OOB慢速脉冲信号,检测目标对COMSAS脉冲的响应情况——如果目标也返回COMSAS脉冲,就是SAS设备,反之即为SATA设备。需要注意的是,由于在SAS协议中发起者和目标是对等的,外围设备也可以主动送出COMSAS脉冲,向主机适配器表明自己的身份。以硬盘为例,能否生成COMSAS脉冲即是辨别SAS与SATA的依据。
STP发起者端口经过OOB协商确认与自己相连的是SATA设备后即进入SATA模式,严格遵循SATA主机适配器的行为规范。STP并不关心SATA FIS(Frame Information Structure,帧信息结构)的内容,SATA命令排队可以在FIS中传输——前提当然是STP发起者端口和SATA设备必须支持命令排队功能。
传输完成后由SAS主机适配器或扩展器决定是否用STP断开与SATA设备的连接,以后需要时再重新连接。整个过程中该SATA设备始终以为自己通过正常的流控机制直接连在某个SATA主机适配器上,实际情况却是SAS主机适配器进行了SATA“翻译”工作。在Windows操作系统中,这个SAS主机适配器将与使用Miniport驱动程序的SATA主机适配器一样被归类为SCSI控制器。
结语:融合促进分层存储
由于单端口的带宽(3.0Gbps,甚至1.5Gbps)已经能够满足硬盘的要求,SAS硬盘增加第二端口并不是为了支持宽链接(2-wide),而是通过给它们赋予不同的SAS地址(World Wide Name,WWN),让双端口分属两个(冗余的)域以防系统出现单点故障,从而提高可用性。
在SAS环境中,SATA设备同样有高可用性需求,即允许两个主机适配器连接到一台SATA硬盘上,避免主机适配器成为单点故障源。与SAS的双端口不同,在任何时刻都只能由一个主机适配器独享此SATA硬盘的控制权(由系统软件检测哪个主机适配器处于“活动”状态,即不是active-active的)。这种通路切换机制由两端口到单端口的适配器(也称Port Selector——端口选择器)实现,目前Port Selector 1.0规范已经公布。在任何时刻只有一个端口处于活动状态,在切换端口之前硬盘的所有行为都必须停止(队列中无请求)。端口选择器的设计取决于子系统厂商,可以两边分别是SAS(双端口)和SATA连接器,也有可能把端口选择器放在背板上,或者干脆将其集成到硬盘上配合统一的背板连接器使用。此外,端口选择器还可以用于静态负载均衡。不过,这样一来也对该SATA硬盘的工作周期(7×24)和平均无故障时间(MTBF)提出了更高的要求。
![](http://image.360doc.cn/DownloadImg/494/957489_5.jpg)
SAS的整个架构,比同样以串行方式运行SCSI协议的FC-AL更为完善,有望引起高端硬盘接口一场革命。这里我们要着重指出的是SAS兼容SATA的重大意义。长期以来,高端的FC和并行SCSI接口与低端的PATA接口互不兼容,而随着近几年ILM(信息生命周期管理)概念的提出,企业级存储系统对参考数据应用的需求不断增长,PATA及其继承者SATA开始打入企业级存储市场,系统制造商希望能够通过混用高端磁盘和低端磁盘在单个存储设备内部实现分层存储,为应用提供更高的灵活性。这种混用最初是在磁盘柜级别的,即磁盘柜内部全都是一种接口的硬盘,外部统一为FC接口(如EMC CLARiiON),后来FATA(Fibre Attached Technology Adapted)的出现将混用级别推进到了单个磁盘,灵活度大为提高。
然而,作为一种高端接口(FC)与低端盘体相结合的产物,FATA磁盘专为高低端磁盘混用而生,市场空间相对有限,成本和灵活性不会很理想。反观SAS与SATA的兼容,可谓自然而然,SATA在取代PATA之后一统低端市场,SATA硬盘随手可得,与SAS配合起来,相得益彰。
编看编想:谁的寿命更长?
随着SAS磁盘的推出,用户有了更多的选择,同样,用户也就更关心哪种磁盘技术的寿命长的问题。当我们对各种磁盘技术进行比较时,用户首先关心的是它们的故障率,于是有观点认为,谁的故障率最低谁的寿命最长。然而,事情远非如此简单!
由于SAS产品刚刚推出,其各种影响力还没有展现,但是,从SATA磁盘的应用来看,其获得成功的关键并不是更低的故障率,相反,其故障率甚至高于SCSI和光纤通道磁盘。记者认为,用户拥有RAID技术,拥有热插拔技术,它们的结合很大程度上补偿了磁盘肯定会发生的故障。另外,有些公司的特定技术(RAID 6以及类似技术)还做到了同时有两块磁盘发生故障而不丢失数据。
就目前情况来看,还没有一种技术可以完全替代其他所以类型磁盘,但是在用户进行分层次存储选择磁盘时,用户的有些选择已经发生了很大的变化,勿庸置疑,串行技术的优势已经逐渐显现出来,并且会发扬光大。
IT经理应当了解所有这些问题,然后考虑价格、厂商因素以及其他许多问题。选择SATA或者SAS磁盘会更便宜吗?这取决于用户的需要。在大多数问题得到充分了解后,企业IT经理可以根据IT的经济性而不仅仅是技术,做出决定。
来源:CNW 在网络的主要属性被确定之后,就要评估和选择建造SAN 的构件了。只需要较小型SAN 的应用系统,通常用一种Switch 构成即可,这样实施较为简便。要连接的存储器和服务器较少(少于50)时,一到数个Switch 足以支持环境需要。 如果是支持大型企业应用,就需要多类型Switch 。每种Switch 在基础设施中承担不同的任务。有些Switch 承担到存储库的主要连接,因此需要非常高的可用性。其它Switch 用于支持服务器集群的整合,只需要高性能和较少端口数量。
另外,我们设计存储网络系统时,还需要考虑如下几个因素:
Switch 类型
广义来说,有三种光纤信道Switch:Director 、网络Switch 和判优环路Switch( 或称环路Switch) 。企业不能想当然,以为所有厂商的产品都相同。某个厂商的Director 完全有可能是另一厂商的网络Switch 。
Director----Director 是一个多端口、高带宽网络Switch ,用于提供最高的可用性。Director 中某个部件的失灵不会影响正常应用,对SAN 性能和可用性都无影响。Director 有全冗余、热插拔部件(电源、冷却、处理器和交换部件),能将宕机时间最小化。此外,Director 支持在线错误探查、隔离、修理和恢复。
Director 提供99.999% 的可用性,或每年少于5 分钟的宕机时间。Director 的高端口数和无堵塞结构使它能提供高性能带宽,允许所有端口同时交流,并能保持性能不变,没有额外延时。
Director 主要用于下列应用系统中:
- 不允许宕机的关键任务系统
- 企业SAN 骨干网,是自身的关键任务资源,提供永远畅通的数据传输路径
- 应用密集型系统,必须保证任意端口间的高带宽通信
- 一个Director 结构包括内置冗余,即使部件失灵,也能确保数据流的连续性。
网络Switch :网络Switch 用于在Switch 所有端口间高速传输数据,不受任何干扰和阻碍。与Director 类似,网络Switch 定义一条通过其它Switch 的数据传输路径,“编织”Switch 构成的网路,这些网路对连接设备来说是透明的。这种Switch 是一大类,各个厂商的产品及其属性(冗余、端口数目等)有很大不同。McDATA 提供的16 和32 端口网络Switch 包含冗余电源和冷却功能。单个网络Switch 提供99.9% 的可用性----年平均宕机时间8.8 小时。网络Switch 通常担任小型SAN 中的骨干“承重墙”,在较大的企业SAN 中,它可作为整合点。
网络Switch 主要用于下列应用系统中:
- 部门级连接
- 分布式存储占主导地位的应用
- 小型SAN 的标准构件
环路Switch :判优环路(FC-AL)Switch 的连接成本最低,适用于低带宽设备,并支持磁带等传统判优环路设备。环路Switch 自身不能构成完整网络,它们是用于扩展原有网络的连接设备。McDATA 的ES-1000 环路Switch 的独特之处在于它包含一个内置的网络端口。这样,它只需一个专用连接设备与网络Switch 相连,就能很方便地被纳入较大的SAN。大多数环路Switch 支持环路内端口之间的同步全速数据传输。但是,如果出现多个连接争抢一个端口的情况,环路内就会出现竞争。由于这个问题,大多数环路Switch 都保持较少的端口数量(8),将带宽竞争控制在最小程度。
环路Switch 主要用于下列应用系统中:
- 适用于低带宽设备的低成本网络连接
- NT 服务器整合
- 磁带整合
- 交换网络和传统环路的连接
不同类型Switch 对比
不同类型Switch 在可用性、性能、可扩展性和成本等方面均有不同。下面就这些方面做一些对比。对比证明没有一种Switch 可以在所有应用中都有最佳表现。每种Switch 都有独特的功能特性。因此,它们分别适用不同的应用。
可用性----可用性用于衡量Switch 正常运行时间,也用于衡量满足应用系统和基础网络需要的能力。由于SAN 提供用户(或应用系统)和信息间的唯一存取路径,因此每条路径的可用性至关重要。
Switch 的可用性是以正常运行时间所占百分比来表示的,数值通常在每年99%( 宕机时间3.6 天)到99.999%( 宕机时间少于5 分钟)之间。高可用性网络由Director 和冗余网络Switch 支持――购买哪种Switch 可以很容易地通过计算宕机成本和随之导致的业务损失来衡量。
Director----单一Director 提供的可用性最高,达99.999% 。如果有全冗余部件,一次故障不会造成任何连接损失。所有部件均可热插拔,因此替换起来非常方便、迅速。不同Director 端口插板通常采用双路径服务器和存储连接,以便将连接可用性最大化。
网络Switch----单一网络Switch 的可用性最高可达99.9%(年平均宕机时间8.8 小时),取决于不同厂商的功能设置。有些部件故障是可以在线排除的,例如替换风扇或电源。
其它部件故障可能导致Switch 下线、中断连接或需要替换。替换一台Switch 至少需要1 小时。所有主机和存储设备均通过双路径连接到冗余网络Switch 后,网络Switch 组成的网络可用性可以高达99.99%( 年宕机时间少于53 分钟)。不过要求各主机都安装路径恢复软件。由于配置不同,一台Switch 出现故障,仍然可能造成性能问题,如网络瓶颈增多和延时。为保持99.99% 的可用性,现场需要一台备用Switch,这样如果主Switch 出现故障,宕机时间可以缩短到最短。
环路Switch----如果附带冗余电源和冷却装置,单一环路Switch 的可用性最高可达99.9%( 年平均宕机时间8.8 小时)。这些产品主要用于工作组区域连接。如果将所有设备双路径连接到冗余环路Switch ,环路Switch 的可用性可达到99.99% 。
确定业务所需最低可用性是正确选择产品的重要基础。在有些环境中,可用性是最重要的目标,因此选用高可用性Director 物有所值。其它环境对可用性的要求没有这么高。 对于工作组和部门级办公应用来说,一定时间的宕机是可以容忍的,所以网络Switch 和环路Switch 已能够满足需要。
性能----无论是只安装一台Switch ,还是要建立完整网络,这个问题都不能回避。Switch 的性能特性取决于Switch 的结构。结构性能实际上取决于整体网络设计和网络内的传输模式。
Director 和网络Switch----单一Director 或Switch 的性能取决于其结构。大多数Director 和网络Switch( 如McDATA 的产品)都提供高性能、所有端口上任意设备的连接----不论Switch 上别处的传输情况如何,都能保证每个端口的完美性能表现。但是,市场上也有一些产品提供高端口数量,但不提供高性能的任意连接。这类产品实际上是一些小Switch 的集合,它们相互连接起来,象一个大Switch 的样子。
环路Switch----Switch 上的各个端口分享带宽,而所有端口都通过一个通用连接反向连入整体网络。这种Switch 提供低成本、低带宽的连接。对于不需要高性能的应用,或者没有I/O 功能,因而不能高速运行的主机,这是一个不错的选择。
当多个Switch 连接起来构成一个大网络后,性能评估变得更加复杂,因为Switch 间的链接(ISL) 很容易成为网络瓶颈,即堵塞。当一个链接上用户过多,就会导致性能下降和延时(从源点往目的地发送信息所需时间)加长。由于许多需要存取数据的应用系统对延时非常敏感,堵塞就成为一个需要解决的重要问题。
必须采取措施确保所有设备在所有潜在数据传输路径上反向通讯时不受带宽限制,甚至在部件发生故障时也不会受到影响。必须审慎确定ISL 数量,确保它们不会成为瓶颈。还需进一步考虑,某一部件发生故障后,正常运行的连接势必承担更多的传输量,在这种情况下,SAN 会受到什么影响。
为了充分发挥网络作用,尽量减少ISL 数量非常重要。减少ISL 的最好办法是在SAN 中采用端口数量多的Director 和Switch ,由于所有端口都可进行任意设备无障碍通信,因此可以减少Switch 的数目。在设计阶段,企业必须将预计的SAN 规模(用户端口数)与Switch 规模相匹配。
例如,一个预计有64 个用户端口的SAN 可以采用16/24/32 或64 端口的Switch 作为构件。但是如果采用16 端口Switch 建设SAN,其性能和未来的扩展能力都不理想。可用性最高、性能最好的解决方案是单一64 端口Director 。
扩展性----扩展性指的是SAN 能以对业务损害最小的方式增大规模。Director 和网络Switch 都支持网络连接,并可通过增加Switch 扩展网络。在原有SAN 设计中就考虑进增长因素,并将需增加的Switch 数量控制在最少是提高可扩展性的关键。这之所以成其问题是因为当Switch 一台台被加进网络时,新Switch 上的端口以及原有Switch 上的端口必须重新分配到Switch 的多个链路上。如果加进网络的是端口数量少的Switch ,就意味着要不断添加新的Switch ,势必降低网络中可用端口的数量。
Director----由于采用的是底盘式设计,因此Director 比较独特。企业可以购买只带有部分端口插板的Director,然后随业务增长逐渐加大容量,同时不影响正常运作。此外,由于Director 的端口较多,不需要频繁增加新的Switch 。
网络Switch----在网络Switch 中,所有端口都被固定在一块母板上,所以不能分开购买,尽管企业一开始可能用不了那么多端口。与Director 一样,端口数越多,为系统扩展而增加Switch 的频率就越低。
环路Switch----在单一环路Switch 中,增加端口会降低其它所有端口的性能,因为环路Switch 中所有端口共享带宽。尽管光纤信道环路最多可容纳126 个环路连接,能保证正常性能的实际连接数要小得多。通常,每个端口只负责一个节点。因此要扩展系统就需增加新的环路Switch 。每台新的环路Switch 都需要额外占用一个Director 或网络Switch 端口。
成本----所有网络基础设施的采购,成本都是最重要的考虑因素。不同Switch 具有不同功能和不同成本。必须在网络层就进行初步成本估算,因为SAN 的整体拥有成本(TCO) 是最重要的衡量尺度,相比之下,特定Switch 的费用是微不足道的。SAN 的管理成本也必须考虑到。由端口少的Switch 组成的大型网络的管理成本要高于由多端口Director 和Switch 组成的小型网络的管理成本。
不同型号Switch 的区别就在于每端口的价格。其实,只要运行环境合适,每种Switch 都能提供低成本连接。例如,比起网络型Switch 结构,Director 在大型高可用性网络中的运行成本更低廉。相反,在较小的部门环境,16 端口或32 端口的网络Switch 就已足够。
Director----由于Director 支持99.999% 可用性,所以其端口成本较其他Switch 高。另外,Director 的端口比网络和环路Switch 多,其总成本也高于其他Switch 。
网络Switch----网络Switch 的成本根据产品性能设置和端口数量不同而有很大的区别。拥有冗余电源和冷却性能的网络Switch ,每端口价格比没有这些性能的Switch 要高得多。
环路Switch----此类Switch 连接成本最低,是网络Switch 的一半。如上所述,每端口成本降低,其连接性能更低。
不同性能和规模的SAN,交换总成本差别很大。由于每多出一个ISL 就需要两个端口,所以ISL 使用得越多,用于节点连接的端口就越少。网络扩展的同时,可用端口比例也降低,这种情况常常发生在Switch 端口较少的网络里,因为ISL 占去了较大比例的端口容量。
3.7.2 企业存储网络 评估不同SAN
网络管理则侧重于全网运行,而非某个Switch 。为此,网络管理需要从每个Switch 中获取详尽信息,以评估整个网络运行状况。
网络故障隔离和恢复也是网络管理的重点。网络管理员在发现和确定网络问题基本成因上花费的时间,往往比恢复和修补的时间更多。使用McDATA 公司网络连接
因为利用单个网络管理应用程序管理不同供应商Switch 是相当复杂的,所以必须考虑到供应商产品的特点,结果是:多供应商网络中,用户要管理异构SAN,要使用多种管理工具,导致管理变得更加复杂,成本也更高。
3.8 小结:全面集成
企业SAN 的建设首先需要全面评估SAN 即将支持的应用系统。定义网络主要属性后,根据应用,度身制作SAN 。当一个基本网络拓扑结构形成后,其中的每个区域的可用性、性能、可扩展性和成本需求都可以被检测到。
企业根据上述信息,选择适当的Switch 构件,每种类型Switch 都将在网络中发挥特定作用。
Director 在关键任务环境中运行,以保证可用信息的连续性。作为SAN 的关键构件,Director 提供性能优异的任意设备连接,同时作为企业存储库的中心存取点。
网络Switch 不仅为部门和作为SAN 一部分的工作组提供灵活的构件,还是Director 主干上的汇聚点。由于各种网络Switch 端口数目各不相同(McDATA 提供8 端口、16 端口24 端口和32 端口模式),因此可以选择最适合自身连接环境的网络构件。
对于不能使用网络Switch 端口所有带宽的网络设备,环路Switch 提供低成本网络构件,或支持唯一判优环路连接。
网络初始设计选用最合适的Switch 网络构件,以支持设计性能和可用性目标。另外,网络必须能够随着业务的需要而扩容,并且无需升级现有基础设施,也不必遭受宕机之苦。
在设计阶段,企业必须创建一个网络拓扑,将“信息孤岛”带来的负面影响最小化。“信息孤岛”给网络增添了延时和阻塞点,增加了网络的复杂性,降低了网络的性能和可用性。
4.1 磁带库基础
一个简单的问题: 用户的数据最终存在哪里?
尽管有人认为磁带库在进行数据存储时有过多的机械操作,因而带来了故障隐患,磁带性能上也存在劣势,在最近一段时期更是受到了磁盘备份的巨大冲击,但是,磁带存储还是由于其本身固有的特质确保青春不老。
1.磁带库的机械手
机械手是磁带库中的核心部件,是决定磁带库性能、稳定性的关键,也是磁带库中最昂贵的部件之一。各厂商在机械手的设计上各有千秋,其中StorageTek 公司采用获得专利的圆柱设计,极具特色,在减少机械手移动距离、提高磁带库总体性能的同时提高了整个磁带库系统的可靠性。其他大多数厂商采用的则是X 轴-Y 轴的方式。
2.磁带库分区
所谓磁带库分区就是将磁带库中的磁带驱动器和插槽分配给不同的平台,这些驱动器及插槽只能被分配的主机使用。但机械臂可以控制所有的驱动器及插槽,并被所有的主机控制。控制顺序遵循先来先控制的原则。磁带库分区的前提条件是此磁带机是多通道结构。
3.磁带库连接
当一个磁带库的容量、性能达不到用户的需求时,可以将数个甚至数十个磁带库连接起来,从而可以形成一个超大规模的磁带库系统。一个磁带库中的磁带可以自动地传送给其他的磁带库,在磁带库之间进行磁带交换时需要使用机械装置来完成。
4.广泛兼容的连接性
广泛的连接方式可以使得磁带库能够灵活地应用于各类存储环境,磁带库一般支持SCSI、FC 交换网络和FC 环路网络,今后还将支持以千兆以太网为基础的iSCSI 等存储网络协议,以及类似InfiniBand 等新兴存储总线技术。
5.多类型磁带机支持
毫无疑问,磁带机是磁带库中最核心、最关键的部件,经过数十年的发展,如今的磁带机技术各具特点,为用户的不同存储需求提供了不同的选择。
6.海纳百川的容量
一个磁带库的总容量大小是由最大槽数和每盘磁带容量共同决定的(非压缩总容量=每盘磁带非压缩容量×最大槽数)。通常,磁带库按照容量大小分成三个级别:初级、中级和高级。其中,初级磁带库的容量在几百GB 至几TB,中级磁带库的容量在几TB 至几十TB,而高级磁带库的容量在几十TB 至几百TB 甚至更高。当然这只是较为粗略的划分,随着磁带技术的发展,尤其是每盘磁带存储容量的逐渐攀升,磁带库容量也会相应发生变化。
7.稳步提高的性能
8.逐渐进步的可靠性
图 4-1 磁带库备份原理
硬件冗余技术充分应用到了磁带库中,包括冗余电源、冗余风扇等,从去年开始,有些厂商为了获得更高的可靠性而采用了冗余的机械手设计。
另外,多磁带机之间可以做冗余,RAIT(Redundant Array of Inexpensive Tape) 是相对硬盘的RAID 而来,它主要是将多个相同的磁带机做成一个阵列,一方面可以提高备份的性能,另一方面又可以提高磁带的容错性。
图 4-2 各种磁带库技术特点
9.磁带库的分类
从应用的角度,磁带库大体上可以分为两类:大型机自动磁带库和开放系统磁带库。前者使用专有技术的磁带机,后者大多使用开放式磁带机,也有为了提高整体磁带库性能而采用专有技术磁带机和开放式磁带机混装的情况。
大型机磁带库之间与其服务的大型机直接连接,而开放系统磁带库既可以直接与服务器连接,也可以连接到存储区域网(SAN)之中。在一个典型的SAN 中,磁带库是必不可少的设备,如下图(图4-3 )所示。
4.2 磁带库的发展
磁带库之所以能够长盛不衰,不断的发展与进步是其中的关键。
又经过近二十年的发展,如今,磁带库在存储领域的地位已经举足轻重。仅在去年一年,磁带库领域就产生了许多令人欣喜的变化,相信这些变化会给磁带库带来一个充满希望的明天。
图 4-3 一个典型存储网络
1.虚拟磁带库
近期出现了一种改变磁带存储系统的技术?D 虚拟带库。虚拟带库将磁盘空间模拟成磁带,在传统的磁带备份系统中,数据直接从应用系统传涞酱糯校褂眯槟獯庖院螅菔紫缺阜莸叫槟獯饧创排讨校缓笥尚槟獯庠俦阜莸酱糯稀6杂谟τ孟低忱此担拖裰苯颖阜莸酱糯谎?/P>
2.磁带库的智能化
3.WORM :将来的必选件
现在,不仅磁盘阵列
所有这些都使得磁带库在广阔的固定内容存储领域占有了一席之地。未来,WORM 功能也许会成为磁带库设备的必备功能。
4.iSCSI
如前文所述,磁带库主要分为大型机磁带库和开放系统磁带库。对于大型机磁带库系统而言,一方面可供用户选择的方案并不是很多,另一方面需要针对用户大型机系统的实际情况进行考虑。由于大型机磁带库定位于关键业务,用户对价格方面并不是特别敏感,而性能则成为重要的考虑因素。
下面主要讨论的开放系统磁带库系统。
对于开放系统磁带库而言,用户要进行比较全面的考虑,包括大负载备份、最大的不停顿运行时间、最小的人工干预、可升级性、可恢复性以及可扩展性、服务能力等诸多方面。
升级及兼容性问题用户在选购磁带库时应考虑未来几年数据量大幅增长的趋势。据有关专家预测,在未来的三年中,数据量将可能增加五倍。因此,用户在选购时应特别注意选择技术有发展前途的产品,即容量增大,速度更快,而且最重要的是要与过去和未来的产品兼容。随着备份需要的增长轻松地调整磁带槽和驱动器的数量?/P>
部件产品寿命寿命越长的产品客户的使用成本越低。就磁带库产品而言,其重要部件----驱动器及磁带的寿命都很关键。磁带机的寿命以磁头为主,现有磁头的寿命在1 万-3 万小时之间。而磁带的寿命以磁带经过磁头的次数计算,目前磁带的寿命在5000~1000000 次之间。
磁带机性能能否充分发挥这种特性应具有数据缓冲功能,可以预先向FC 主机后存储设备发送数据传输请求,保证稳定的数据流输入到磁带机中,使磁带机保持连续、不停顿的读写操作。这个特点不仅可以提高数据备份性能,而且由于减少磁带启动、停止次数、减轻了磁头和磁带的磨损,从而提高磁带机磁头和磁带本身的寿命。
数据链路调节功能该特性可以主动发送SAN 网络探测信号,了解在进行大规模数据备份前,在主机、磁盘和磁带库之间的SAN 网络路径是否畅通。如果有任何意外(如SAN 网络重新配置、网线中断等),则可以及时通知管理员解决问题,保证数据备份的正常进行。
4.4 磁带库是存储的基础
高楼大厦是否坚固是由埋入地下的基础决定的,而在存储领域里,磁带库就起着类似“地基” 的作用。
许多负责存储的IT 经理讲,经过多年的发展,如今的磁带库可以满足用户许多基本的存储需求:首先可以对大量数据进行备份和归档,在灾难发生时还可以进行恢复;对于性能要求不是特别严格的大多数用户来说,磁带库的近线存储能力基本能够满足业务上的需求。
因此,每个用户都应该注重磁带存储,比如,如何使磁带库系统更好地与业务系统配合,如何确定更为科学的备份策略等,都需要在长时间的实践工作中摸索,以达到更好的存储效果。良好的存储管理不是仅仅通过应用先进的技术与产品就能够轻易获得的。
磁带库的更新换代时间较长,而且一旦使用一种技术的磁带,经过长时期的积累会得到数量巨大的数据磁带,万一这种技术被淘汰,处理这些数据或者向新型技术的数据迁移是一项非常复杂的任务。所以,用户在购买磁带库时要目光长远一些。而在市场上,技术的更新换代、持续发展能力都对磁带存储厂商至关重要。备份是存储的基础,把这个基础工作做好就能够为业务发展提供坚实的保障,在此基础之上才能够做好构建更多与用户新业务联系密切的高端存储,才能够为用户带来更大价值。希望用户把磁带存储这个基础打好,打牢。 第五章 数据分级存储
5.1 分级存储的必要性
事实上,数据具有生命周期,不同的时期有其存在的不同意义。在数据刚生成的数日内,访问频率最高,为企业产生效益和收入,带来的价值也最高;随着时间的推移,访问频率降低,数据的价值也随之下降,低访问频率的数据量远远超过高访问频率的数据量,如果全部用企业级存储产品来存储所有数据,费用非常高,也没有必要。不同生命周期的数据,由于提供给企业不同的服务目的,企业应考虑如何以最低的成本获得最高的价值,而不是采用以往单纯的" 购买更多磁盘"的解决方式和态度,徒增存储费用和管理复杂程度。
总之,企业业务数据从产生到存储、利用、归档,最后超过存储期限被删除,数据被读取的频率会逐渐下降,数据存储的位置也应该随之变化,以提高存储设备的使用率,降低存储成本。因此有必要进行分级存储,企业在存储其关键业务数据时,采用昂贵的存储技术和方式,如RAID 磁盘、复制、定时拷贝、多级备份等,确保数据高可用;当数据已经不再为企业带来效益时,将这类数据迁移到较便宜的存储介质上;最后,当数据"老化"到不再被访问时,应考虑将其删除或者迁移,如果是法律要求或政府规定等要保留多年的数据,应将其迁移到近线磁带库或者离线存储介质上进行归档,既安全又节省费用。
同时,信息量的急剧增长,也使存储管理复杂性增加,数据的分级存储也是简化存储管理的需要。通过设定优化的数据迁移规则,能使重要数据和常用数据在最短的时间内访问到,使极少使用的数据备份在廉价的海量存储器中。
5.2 分级存储的优点
数据分级存储之所以重要,是因为它既能最大限度地满足用户需求,又可使存储成本最小化。数据分级存储的优点具体表现在:
1.减少总体存储成本
2.性能优化
分级存储可使不同性价比的存储设备发挥最大的综合效益。
3.改善数据可用性
分级存储把很少使用的历史数据迁移到辅助存储器中,或归档到离线存储池中,这样就无需反复保存,减少了存储的时间;同时提高了在线数据的可用性,使磁盘的可用空间维持在系统要求的水平上。
4.数据迁移对应用透明
进行分级存储后,数据移动到另外的存储器时,应用程序不需要改变,使数据迁移对应用透明。
分级存储的存储方式
传统的数据存储一般分为在线(On-line)存储及离线(Off-line) 存储两级存储方式。所谓在线存储就是指将数据存放在磁盘系统上,而离线则是指将数据备份到磁带上。但随着数据量的猛增,这种只使用在线和离线两级存储的策略已经不能适应企业的需求。近线存储市场近来成为热点,出现了一些存取速度和价格介于高速磁盘与磁带之间的低端磁盘设备,作为近线存储设备。 5.3.1 在线存储总体上讲,在线存储多采用高速磁盘阵列等存储设备,存取速度快,当然价格昂贵。在线存储一般采用高端存储系统和技术如:SAN、点对点直连技术、S2A 等。高端存储系统具有一些“高端”属性,比如,高容量、高性能、高可用性、冗余性等,现在存储工程师看到,这些特点已经不再是高端特有的了,许多中端产品也大都采取了这些设计。
SAN 技术的高性能依赖于三个重要领域的性能支持:存储容量、计算能力和传输能力。在传统SAN 存储系统中,存储容量这一环节由于存储介质技术的快速发展已经得到了很好的解决。存储容量通过多磁盘容量的叠加已经能够达到数千TB 的水平。而在计算能力与传输能力两个环节上,传统SAN 却存在很多先天的弱点。最近在高端存储领域出现了两种新技术--点对点直连技术与并行存储技术。具体如下:
点对点直连技术是EMC 近期推出的一种全新的点到点互联架构,在性能方面,由于它采用了点对点对接,消除了总线或交换机方式造成的延迟,专用的萃ǖ酪馕蹲挪换岢鱿纸换换赫那榭觯跎偈荽哟娲⑽恢么涞侥勘晡恢玫难映佟K咕哂?2 个独立高速缓存区,而且每个高速缓存区都具有独立的逻辑访问,可以为用户提供更强大的处理和访问能力。
S2A 是DataDirect Networks 公司推出的并行存储技术。S2A 没有采用传统的光纤通道交换机的交叉矩阵交换机制,它所采用的高度并行端口技术消除了交换机制所带来的不可避免的时间延迟,能够持续不变地提供充满端口带宽的数据吞吐量。S2A 控制器内部的四个主机通道之间采用虚拟的并行体系结构,通过提供并行处理和并行数据读写的途径,使得在多主机的存储区域网络环境中具有非常高的不受多主机环境影响的使用性能。
5.3.2 离线存储
离线存储采用磁带作为存储介质,其访问速度低,但能实现海量存储,同时价格低廉。
以前用户有这样的想法:反正数据存放在磁带上面,性能都不高,只要在灾难发生时能够使用它们将需要的数据恢复回来就可以了。其实,这是很不正确的。要知道,用户的数据越来越多,原有的数据也不能丢弃,当这些数据逐年累积以后管理它们就成了一件十分困难的事情,而且还要进行磁带定期维护的工作。
因此,许多磁带库厂商在这方面进行了加强,提供了完整的数据生命周期管理,专为数据密集型SAN 环境而设计,尤其适用于高强度、大容量的数据访问和数据存储,减少了管理 SAN 数据的时间和成本,从数据生成到其生命周期结束,其中的每一步骤都提供了相应的功能。这也说明磁带库管理更注重“智能”。
5.3.3 近线存储
随着用户需求的日益细分,人们越来越发现原有的两级模式(在线与离线)已经不能很好地满足用户的存储需求,在这两个“极端”之间有大量的空白,于是就产生了近线存储的概念。近线存储的概念一产生就得到了厂商与用户的赞同,定位于此领域的产品很快就纷纷出现,形成了近一时期最为活跃的中间层。
NetApp 推出的R100 近线存储设备,获得巨大成功,仅1 年时间在全球就拥有了100 多个用户,总部署容量超过3PB。
Quantum 推出的基于磁盘的产品DX30,能够模拟各类磁带库,保留了与存储管理软件的兼容性,而又具有比磁带库更高的速度,用户可以先将数据备份到DX30 中,然后再转移到磁带上。
以磁带产品知名的StorageTek 公司在业界较早提出了数据生命周期管理的概念,并拥有针对数据的不同生命周期提供的相应的解决方案,包括磁带设备和磁盘系统及软件产品,以帮助用户“将适当的数据,在适当的时间,存储到适当的设备上”。 Legato 公司备份软件的最新版NetWorker7.0,引入了磁盘备份与磁带备份相结合的新方式,通过磁盘备份可以为用户提供更多性能优势。采用磁盘进行备份避免了一些磁带备份的弊端:磁带只能进行顺序读写,而且每盘磁带都需要完全倒回才可取出,加载卸载时间很长。磁盘备份解决方案还完全包括了“虚拟带库”的功能,而且可以在读一部分内容的同时进行写另一部分内容,因而可以实现了在设备进行备份时的恢复、搬移/克隆操作。 5.4 分级存储的管理
存储实现分级以后,在线、近线与离线存储存放的数据价值不同,在同一级别存储内部(比如在线和离线存储),存放的数据也应该不同,实现每一级别内的"分级存储"。如何将各个级别存储中数据统一管理起来便成了最为关键的问题。
分级存储管理(Hierarchical Storage Management,HSM) 起源于1978 年,首先使用于大型机系统。近10 年来,HSM 被广泛应用于开放系统的Unix 和Windows 平台。
如果软件发现该卷的剩余容量已经不足20% ,数据就会被从该卷移动至备用存储介质。这样便可以立即释放空间,管理员也可以在今后有空闲时再来解决空间的问题。
5.5 信息生命周期管理
现在着重介绍与分级存储管理密切相关信息生命周期管理。
目前,许多厂商和用户都认为,数据是具有生命周期的。Legato 公司将信息生命周期划分为7 个阶段,包括了数据从产生直至灭亡的全部过程。具体为:业务需求、采集/组织、保护/ 恢复、复制/镜像、共享、迁移/归档、删除。
由于是一个"周期"的管理,因此,在这个周期的每个环节都要有相应的产品来满足需求,包括系统咨询、信息采集、数据保护
信息生命周期管理(Information Lifecycle Management,ILM )是StorageTek 公司针对不断变化的存储环境推出的先进存储管理理念。
ILM 的核心是理解信息在其不同生命阶段中对企业的不同价值,帮助企业从战略高度来管理信息。那么,管理信息和管理存储设备有何不同?从管理设备的角度出发,CIO 会不切实际地期望不断降低存储费用,同时要求高性能。随着数据量的不断增加,可用的磁盘容量不断减少,企业不得不无计划、被动地增加存储,导致系统环境越来越复杂,难以管理。从管理信息的角度出发,企业会根据信息生命周期的特点,将其存储在与自身价值相符、并与拥有者所需要的交流方式和服务方式相符的不同层次的架构里,通过有计划、主动地增加存储,不断降低复杂性并增加整个存储系统的可用容量。
- 帮助企业管理不断发展产生的变化和遇到的困难,为企业降低风险;
- 提高企业的运行效率,降低运营费用,提高经济收益;
帮助企业更好地管理资源,在市场上具有更好的竞争 优势 。
http://www.pcdog.com/network/storage/2005/12/u052973.html