天天消息!如何实现数据容灾?数据容灾的实现方式及备份的重要性

发布时间:   来源:CSDN  

1数据容灾的概念:

数据容灾就是指建立一个异地的数据系统,该系统是本地关键应用数据的一个实时复制。当今的世界,正在跨入信息时代,数据和信息逐渐成为各行各业的业务基础和命脉。 如何实现业务数据的共享并在现有业务数据之上建立新兴的增值应用,如数据仓库、客户关系管理(CRM)等,已经成为了各企业建立信息系统的关键所在。

2  数据容灾实现方式:


【资料图】

2.1数据备份

备份

所谓备份,就是通过特定的办法,将讲数据库的必要文件复制到转储设备的过程。其中,转储设备是指用于放置数据库拷贝的磁带或磁盘。

选择备份的依据是:丢失数据的代价与确保数据不丢失的代价之比.还有的时候,硬件的备份有时根本就满足不了现实需要,比如误删了一个表,又想恢复该表的时候,数据库备份就变得重要了。

Oracle提供了强大的备份与恢复策略,包括常规数据库备份(逻辑备份,冷备份与热备份)和高可用性数据库(如备用数据库与并行数据库),以下的备份主要指数据库的常规备份。 1.备份的重要性

备份是系统中需要考虑的最重要的事项,虽然他们在系统的整个规划,开发和测试过程中甚至占不到1%,看似不太重要且默默无闻的工作只有到恢复的时候才能真正体现出其重要性,任何数据的丢失与尝试见的数据down机,都是不可以被接收的。如果备份不能提供恢复的必要信息,使得恢复过程不能进行或长时间的进行(如一个没有经过严格测试的备份方案),这样的备份都不算或不是一个好的备份。

如果出现系统崩溃的灾难,数据库就必须进行恢复,恢复是否成功取决于两个因素,精确性和及时性。能够进行什么样的恢复依赖于有什么样的备份。作为DBA,有责任从以下三个方面维护数据库的可恢复性: (1)使数据库的失效次数减到最少,从而使数据库保持最大的可用性。 (2)当数据库失效后,使恢复时间减到最少,从而使恢复的效益达到最高。 (3)当数据库失效后,确保尽量少的数据丢失或根本不丢失,从而使数据具有最大的可恢复性。 数据备份是容灾的基础,是指为防止系统出现操作失误或系统故障导致数据丢失,而将全部或部分数据集合从应用主机的硬盘或阵列复制到其它的存储介质的过程。传统的数据备份主要是采用内置或外置的磁带机进行冷备份。但是这种方式只能防止操作失误等人为故障,而且其恢复时间也很长。随着技术的不断发展,数据的海量增加,不少的企业开始采用网络备份。网络备份一般通过专业的数据存储管理软件结合相应的硬件和存储设备来实现。 2.常见的备份方式

(1)定期磁带备份数据。 (2)远程磁带库、光盘库备份。即将数据传送到远程备份中心制作完整的备份磁带或光盘。 (3)远程关键数据+磁带备份。采用磁带备份数据,生产机实时向备份机发送关键数据。 远程数据库备份。就是在与主数据库所在生产机相分离的备份机上建立主数据库的一个拷贝。 (4)网络数据镜像。这种方式是对生产系统的数据库数据和所需跟踪的重要目标文件的更新进行监控与跟踪,并将更新日志实时通过网络传送到备份系统,备份系统则根据日志对磁盘进行更新。 (5)远程镜像磁盘。通过高速光纤通道线路和磁盘控制技术将镜像磁盘延伸到远离生产机的地方,镜像磁盘数据与主磁盘数据完全一致,更新方式为同步或异步。

数据备份必须要考虑到数据恢复的问题,包括采用双机热备、磁盘镜像或容错、备份磁带异地存放、关键部件冗余等多种灾难预防措施。这些措施能够在系统发生故障后进行系统恢复。但是这些措施一般只能处理计算机单点故障,对区域性、毁灭性灾难则束手无策,也不具备灾难恢复能力。

2.2 数据复制

复制

数据备份必须要考虑到数据恢复的问题,包括采用双机热备、磁盘镜像或容错、备份磁带异地存放、关键部件冗余等多种灾难预防措施。这些措施能够在系统发生故障后进行系统恢复。但是这些措施一般只能处理计算机单点故障,对区域性、毁灭性灾难则束手无策,也不具备灾难恢复能力。 一切容灾系统的建立都是以数据备份为基础的,特别对关键业务不能中断的用户和行业来说,更应该实施多种备份以防止灾难。但是仅有数据备份是远远不够的。那么,什么是全面的容灾方式呢?全面的容灾方式应该是备份+数据复制+远程容灾。

2.2.1.数据远程复制技术

在选择容灾系统的构造时,首先要考虑的就是选择合理的异地数据复制技术。数据的远程复制技术是容灾系统的核心技术,通过有效的数据复制,远程的业务数据中心与本地的业务数据实现同步,确保一旦本地系统故障,远程的容灾中心能迅速进行完整的接管。

一般说,容灾系统的数据复制技术上存在两种主流模式:磁盘设备硬件数据复制技术和系统虚拟磁盘卷的软件数据复制技术。采用硬件的数据复制技术,指通过专线实现物理存储设备之间的数据交换。软件的数据复制技术,指通过逻辑磁盘(也称逻辑卷,可以容纳文件系统或数据库)的复制技术实现本地的逻辑磁盘和远程的逻辑磁盘的数据同步,这种方式可以通过广域网络基于IP实现,而且,软件实现数据复制的技术,可以实现远程的全程高可用体系(远程监控和切换)。硬件的数据复制与软件复制技术实现方式有很大差异。一般来说,硬件复制技术主机开销略小,但磁盘开销大,传输距离短。软件数据复制技术基于操作系统实现,传输距离较长,存储设备开放,并且对本地业务产生的效率影响较小,该种方式对主机的开销略大。

数据复制的方式:

主要有同步方式和异步方式两种。 同步数据复制,指通过容灾软件(或硬件系统),将本地生产数据以完全同步的方式复制到异地,每一本地IO交易均需等待远程复制的完成方予以释放。异步数据复制,指通过容灾软件(或硬件系统),将本地生产数据以后台同步的方式复制到异地,每一本地IO交易均正常释放,无需等待远程复制的完成,本地数据的远程复制均在后台的Log区域进行。

同步复制实时性强,灾难发生时远端数据与本地数据完全同步。但这种方式受带宽影响较大,数据传输距离较短(一般专线连接在60公里以内,常见于同城系统)。异步数据复制方式在软件容灾方式中广泛采用(硬件容灾一般不采用),异步复制不影响本地交易,传输距离长(距离可达1000公里以上),但其数据比本地数据略有延迟。在异步复制环境中,对于所有应用最关键的就是要确保数据的一致性。

在数据复制的同时,还需要远程动态监测软件对数据复制状况进行动态监测,当主机/应用发生故障时,会马上监测到,将故障情况向管理员报警,然后根据策略自动或手工快速地将应用进行切换,确保复制数据的正常进行。 数据远程复制对数据系统的一致性和可靠性以及系统的应变能力具有举足轻重的作用,决定着容灾系统的可靠性和可用性。对于关键业务来说来说,可以考虑同步异步两种方式接合采用,这样才能保证其关键数据万无一失。

复制

(1)服务器层的数据复制

在生产中心和灾备中心的服务器上安装专用的数据复制软件,以实现远程复制功能。两中心间必须有网络连接作为数据通道。可以在服务器层增加应用远程切换功能软件,从而构成完整的应用级容灾方案。这种数据复制方式相对投入较少,主要是软件的采购成本;兼容性较好,可以兼容不同品牌的服务器和存储设备,较适合硬件组成复杂的用户。但这种方式要在服务器上运行软件,不可避免地对服务器性能产生影响,选择时请注意。

(2)交换机层的数据复制

存储交换机技术的发展使交换机可以实现更多的功能。很多原来由服务器和存储实现的功能现在也可在交换机层实现,比如存储虚拟化。同样,现在有些厂家的交换机产品已经可以实现复制功能。在生产中心和灾备中心都要部署这种交换机,并在交换机之间通过专用链路连接起来。由于交换机可以管理和复制的数据是存放在存储层内的,因此,用户需要将生产数据都存储在交换机所连接的存储设备中,这样就可以实现交换机对数据的管理和复制。目前使用这种技术的产品还不是很多,成熟性还有待提高,具有这种功能的交换机价格也相对较高,所以采用这种方案的用户比较少。

(3)存储层的数据复制

现在的存储设备经过多年的发展已经十分成熟,特别是中高端产品,一般都具有先进的数据管理功能。远程数据复制功能几乎是现有中高端产品的必备功能。要实现数据的复制需要在生产中心和灾备中心都部署一套这样的存储系统,数据复制功能由存储系统实现。如果距离比较近(几十公里之内),之间的链路可由两中心的存储交换机通过光纤直接连接;如果距离在200公里内,可通过增加DWDM等设备直接进行光纤连接;超过200公里,则可增加存储路由器进行协议转换途径WAN或Internet实现连接。因此,从理论上可实现无限制连接。在存储层实现数据复制功能是很成熟的技术,而且对应用服务器的性能基本没有影响。在应用层增加远程集群软件后就可以实现自动灾难切换的整体容灾解决方案。目前,这种容灾方案稳定性高、对服务器性能基本无影响,是容灾方案的主流选择。

3  数据容灾-方案分类

目前有很多种容灾技术,分类也比较复杂。但总体上可以区分为离线式容灾(冷容灾)和在线容灾(热容灾)两种类型。

所谓的离线式容灾主要依靠备份技术来实现。其重要步骤是将数据通过备份系统备份到磁带上面,而后将磁带运送到异地保存管理。这种方式主要由备份软件来实现备份和磁带的管理,除了磁带的运送和存放外,其他步骤可实现自动化管理。整个方案的部署和管理比较简单,相应的投资也较少。但缺点也比较明显:由于采用磁带存放数据,所以数据恢复较慢,而且备份窗口内的数据都会丢失,实时性比较差。对于资金受限、对数据恢复的RTO和RPO要求较低的用户可以选择这种方式。

在线式容灾要求生产中心和灾备中心同时工作,生产中心和灾备中心之间有传输链路连接。数据自生产中心实时复制传送到灾备中心。在此基础上,可以在应用层进行集群管理,当生产中心遭受灾难、出现故障时,可由灾备中心自动接管并继续提供服务。应用层的管理一般由专门的软件来实现,可以代替管理员实现自动管理。由上面分析可见,实现在线容灾的关键是数据的复制。数据的复制有多种实现方式,各有利弊,后面我们将深入讨论。

由于在线容灾可以实现数据的实时复制,因此,数据恢复的RTO和RPO都可以满足用户的高要求。因此,数据重要性很高的用户都应选择这种方式,比如金融行业的用户。但要实现这种方式的容灾必须有很高的投入,一般中小型企业用户很难负担。在方案选择时一定要考虑多方面的因素。很多用户在初期规划时都过于追求完美,对RTO和RPO要求过高,并不考虑自身的经济承受能力,导致最后的预算无法负担。所以,选择容灾方案一定要结合自己的实际情况,并不一定要求无数据丢失,只要能确保在业务的可承受范围内就可以了。

4 数据容灾 - 系统建立

容灾

容灾系统的建立,一定要以用户的需求为出发点,首先要根据应用的类型确定需求的优先顺序原则,这样才能确定相关的方案。以下的因素应是容灾系统建设重点考虑的相关原则: 1. 容灾系统应具有开放性,不依赖特定硬件系统。应支持包括TCP/IP网络在内的广泛的传输介质。 2. 考虑到容灾能力和对应用系统性能的影响,容灾方案不仅要支持近距的、同步的数据容灾,还必须能支持远程的、异步的数据容灾。对于异地数据容灾,数据复制不仅仅要求在异地有一份数据拷贝,同时必须保证异地数据的完整性、可用性。 3. 容灾系统本身应具备各种容错考虑。能支持灵活多样的容灾结构。 4. 完善的容灾系统应该考虑实用的灾难恢复手段,建立多层次的广域网络故障切换机制。在远程的容灾系统中,既要包含本地系统的安全机制、远程的数据复制机制,还应具有广域网范围的远程故障切换能力和故障诊断能力。也就是说,一旦故障发生,系统要有强大的故障诊断和切换策略制订机制,确保快速的反应和迅速的业务接管。实际上,广域网范围的高可用能力与本地系统的高可用能力应形成一个整体,实现多级的故障切换和恢复机制,确保系统在各个范围的可靠和安全。

5 数据容灾 - 网络存储

NAS结构

NAS结构

有数据显示,未来几年内,所有存储市场的增长均来源于网络存储市场(NAS/SAN)。网络存储将成为新世纪初存储发展的关键技术。 NAS(Network Attached Storage-网络附着存储)即将存储设备通过标准的网络拓扑结构(例如以太网)连接到一群计算机上。NAS是部件级的存储方法,它的重点在于帮助解决迅速增加存储容量的需求。 SAN(Storage Area Network存储区域网络)通过光纤通道连接到一群计算机上。在该网络中提供了多主机连接,但并非通过标准的网络拓扑。

SAN结构

SAN结构

SAN专注于企业级存储的特有问题,主要用于存储量大的工作环境。当前企业存储方案所遇到问题的两个根源是:数据与应用系统紧密结合所产生的结构性限制,以及目前小型计算机系统接口(SCSI)标准的限制。大多数分析都认为SAN是未来企业级的存储方案,这是因为SAN便于集成,能改善数据可用性及网络性能,而且还可以减轻存储管理作业。     SAN是目前人们公认的最具有发展潜力的存储技术方案,而未来SAN的发展趋势将是开放、智能与集成。NAS是目前增长最快的一种存储技术,然而就二者的发展趋势而言,在应用层面上SAN和NAS将实现充分的融合。可以说,NAS和SAN技术已经成为当今数据容灾备份的主流技术,关键在于如何在此基础上开发完善全方位、多层次的数据容灾备份系统,在分布式网络环境下,通过专业的数据存储管理软件,结合相应的硬件和存储设备,来对全网络的数据备份进行集中管理,从而实现自动化的备份、文件归档、数据分级存储以及灾难恢复等功能。

6 数据容灾 - 三级体系

目前比较完善的容灾系统设计一般为三级体系结构的容灾系统,整套系统包括存储、备份和灾难恢复部分。以下使用惠普生产的备份服务器,模块化磁盘阵列,备份磁带库和相关容灾软件举例三级体系结构的容灾系统的建立。

1、数据存储子系统     正常情况下,业务系统运行在主中心服务器上,业务数据存储在主中心存储磁盘阵列EMA12000中。EMA12000具有从12个磁盘驱动器到最多126个磁盘驱动器的扩展能力,能跨越多个大型主机和混合的UNIX、多厂商的Windows NT、Windows 2000以及其他开放系统的平台。 惠普为EMA12000系统设计的ASC阵列控制软件,实现了对跨多服务器平台数据的集中式控制,使数据不管在何时、在何地、以及何种方式需要,其可用性都能以真正的零停机时间得到成分保证。

2、数据备份子系统     为了实现业务数据的实时灾难备份功能,关键应用可设置两个数据中心,分别是主中心和备份中心。主中心系统配置主机包括两台或多台HP ALPHA服务器以及其他相关服务器,通过构成SCSI CLUSTER组成多机高可靠性环境。主中心通过ATM/E3/WDM与备份中心连接。 在容灾系统解决方案中,正常情况下,业务系统运行在主中心服务器上,业务数据存储在主中心存储磁盘阵列EMA12000中,同时在备份中心配置EMA12000存储磁盘阵列。主中心存储磁盘阵列通过ATM/E3/WDM连接到备份中心磁盘阵列,DRM(数据复制管理器)使主中心存储数据与备份中心数据保持实时完全一致。

3、灾难恢复子系统     方案中,备份数据的磁带库安置在备份中心,利用备份服务器直接连接到存储阵列EMA12000和磁带库TL895,通过EBS(企业数据备份)和Legato NetWorker数据存储管理系统控制系统的备份。万一主数据中心出现意外灾难,系统可以自动切换到备份数据中心,在保持连续运行的基础上,快速恢复主数据中心的业务数据。

该套三级体系容灾方案具有高度的可用性。第一级,为了避免系统单点失败而影响整个系统的情况出现,采用了冗余的手段,大到主机,存储设备,小到光纤适配器,均具备冗 余容错功能;第二级,无论是主机或存储设备出现故障,均可通过主/备份中心光纤交换机之间的连接来保证通信和数据的完整性;第三级,万一主数据中心出现意外灾难,系统可以自动切换到备份数据中心。三级体系的科学设计保证了数据容灾系统的高度可用性和可靠性。 不仅如此,惠普独有的HP OpenView网络设备管理软件从根本上将系统管理人员解脱出来。整个系统的设备虽然很多,但不论是主机系统,存储设备,还是光纤交换机,光纤卡,均能通过一台工作站进行集中的管理和监控,从另一个方面保证了整个业务系统的连续不断地运行。除正常的计划性停机外,该系统可以做到365×24的可用性。

7 数据容灾 - 远程容灾

远程容灾作为一种新的概念,目前已经被国内大多数行业所接受,特别是在金融、电信等信息密集型企业,实施远程数据保护的工作已经被提上了日程。然而目前对于中国的企业和机构来说,远程容灾的实现仍然面临着多方面的难题。其中,除了投入过高这一普遍因素外,对容灾如何确切地理解、在具体实施过程中存在的技术问题等,都成为企业建立远程备份中心的屏障。

在谈容灾技术之前,要先了解一下什么是灾难。在日常的计算环境中, 系统管理人员有时候会遇到系统出现问题而中断的情况,但是“中断”并不完全等同于“灾难”。广义上说灾难大致包括三种类型:不可预测的自然灾害(地震、台风、水灾、雷电、火灾等);基础设施的损坏(CPU、硬盘损坏、建筑物倒塌、电源中断等); 操作失误(误操作、人为蓄意破坏等)。总之,对于一个计算机系统而言,一切引起系统非正常停机的事件都称之为灾难。

据统计,导致系统灾难的原因一般为: 硬件故障占44%、人为错误占32%、软件故障占14%、病毒影响占7%、自然灾难占3%。因而,尽早制定和建立完备的灾难恢复计划,以增强系统的抗灾能力,最大限度地减少损失是当务之急。

概念在演进:远程容灾就是异地存储吗?

如何使数据在遇到任何灾难时都能够被完整地保存下来,这一想法从计算机系统产生时就有了。一提到容灾,大多数人会立刻讨论如何将两个距离足够远的存储系统连接起来,但实际上容灾的实现并非如此简单。容灾追求业务的连续性,要求实现网络上的查询和商务活动,它包括对服务器的长距离集群,以及两地服务器和应用系统的镜像备份。

博科通讯公司中国区系统工程部经理马司聪先生认为,真正的容灾必须满足三个要素: 首先是系统中的部件、数据都具有冗长性,即一个系统发生故障,另一个系统能够保持数据传送的顺畅; 其次,具有长距离性,因为灾害总是在一定范围内发生,因而充分的长距离才能够保证数据不会被一个灾害全部破坏;第三,容灾系统要追求快速的数据恢复,也称为容灾的“3R”(Redundance、Remote、Replication)。

从实时性上看,容灾应分为三个级别:最低级为磁带级容灾,之上是带镜像功能和数据恢复的容灾,最高级的容灾应该是:镜像+数据恢复+服务器集群。

相关文章Related

返回栏目>>