在银行数据中心建设中往往认为经济性指标远位于安全性和高可用性指标之后,甚至认为其重要性低于可扩展性和易维护等指标的重要性。考虑到数据中心建设投入巨大,且直接经济效益不好测算,有的股份制商业银行因投资回报率(ROI,Return On Investment)的压力,导致决策迟延。当出现业务高速增长时,这些银行不得不在原有的小规模机房的基础上进行改建、扩建,或者被迫在机房中以超高密度方式纳入所需设备。这种信息化建设策略不但增加了数据中心的运维风险,而且改建、扩建的投资成效也较低,还会形成一定的浪费。
因此,要在确保高度安全和高度可靠的前提下,开展数据中心建设方案的经济性研究,确保银行在数据中心建设中能够减少浪费和降低无效投入,前瞻性地应用各项高性价比的新技术和节能环保技。
数据中心选址
数据中心选址是IT系统规划中最基础也是最重要的问题之一。在商业银行IT规划中,考虑到容灾体系的需要,现有的数据中心和灾备中心规划多采用“两地三中心”方案。同城灾备中心往往具有高等级、快速响应和高效率持续运行的特点,并对大部分的一般灾难事件确保在规定时间内有效恢复;而异地灾备中心能够防止在大规模灾难发生时,确保企业的数据不被破坏和灭失,并确保业务应用系统具备一定的持续运作能力,从而消减同城灾备中心在系统恢复中的剩余风险。
1.生产中心和同城灾备中心的选址
当同城灾备中心与生产中心位于同一城市时,为了避免一般灾难事件对生产中心和同城灾备中心造成影响,物理距离一般在20千米以上。从防范不同类型风险角度出发,同城灾备中心选址需要考虑供电局分布、运营商环网情况、城市功能区、交通情况以及周边环境要求等因素,即同城灾备中心在电力接入、通信线路接入、消防排水等市政配套设施必须与生产中心完全分隔。同时,为了达到同城灾备快速响应和运行管理便利的目的,两中心之间最好有快速进行人员、物质转移的交通通道。
在此基础上,应综合考虑地价成本和周边环境等因素的影响,进行合理的生产中心和同城灾备中心选址。但鉴于一些地区出现暴雨、洪水等极端气候事件的概率增多,数据中心选址时务必在所选区域的相对高处。
基于以上分析,生产和同城灾备中心经济合理的选址条件如下:
(1)同城灾备与生产中心保持适当距离,建议20千米以上;
(2)由所在城市的不同供电局供电;
(3)可接入所在城市的运营商骨干环网,且为不同通信节点完成通信接入;
(4)与生产中心之间最好具有快速交通道路,周边环境情况和治安良好;
(5)地价和楼宇售价相对低廉,位于城市相对海拔高度较高的区域,周边排水通畅。
2.异地灾备中心的选址
异地灾备中心与生产中心位于不同城市。从风险分析的角度来看,商业银行应在启动灾备中心建设之前,对现有生产中心进行全面的风险分析,识别出生产中心运行面对的各类风险点,如同城灾备中心的选址及消减生产中心面临的供电、通信、消防和排水等。在异地灾备中心选址上,还需要考虑自然灾害分布、战争风险、人力资源和服务环境等风险因素(在此特别指出,为了防止敌对势力破坏和战争所带来的风险,商业银行在异地灾备中心选址上,不一定要与银行同业的异地灾备中心扎堆选址,反而应注意与同业灾备中心选择保持适当区隔)。
目前,现有法规尚无明确规定异地灾备中心与生产中心之间的距离间隔,因此可以将灾备中心选址所需考虑的主要因素视为所在城市的自然地理条件。
灾备中心选址的7大要素按重要性排序为自然地理条件、配套设施、周边环境、成本因素、政策环境、高科技人才资源环境、社会经济人文环境。
按照上述7大要素评估现有灾备中心选址城市和区域,我们会发现以下问题:选址特大型城市会直接导致成本显著提高,但若选在部分中小型城市,其关键设备配件供应和人力资源又可能成为瓶颈,尤其在灾难发生时该风险将显著加大;若灾备中心选址区域本身就面临较高的自然灾害风险,则灾备系统将受到较大影响;若配套设施条件不足,将导致银行投入增加,关联成本的上升;周边环境的恶化也有可能导致设备可用性降低,并可能危及整体运维安全;对政策环境的忽略,将有可能面临政策风险。
因此,仅由银行IT部门主导异地灾备中心选址还远远不够,需要由商业银行战略层面通盘考虑方可确定。此外,随着银行控制运营成本要求的提升,占据数据中心运营成本50%以上的电费,也将成为考量的重要因素。
从现有的技术角度看,异地灾备中心与生产中心距离影响到生产中心和异地灾备中心之间的通信时延,相同网络带宽条件下,通信时延的差异将影响数据完成异地传输备份的时间,也将影响到系统RTO(RecoveryTimeObjectives,恢复时间目标)和RPO(Recovery Point Objectives,恢复点目标)的时间,从而直接影响到所需租用的通信线路带宽。简而言之,在RTO和RPO一定的情况下,因两中心间距离影响通信时延,所以对灾备中心的总体投入和运维成本带来影响。
基于以上分析,异地灾备中心的合理选址条件如下:
(1)与生产中心不同地质构造,海拔高程相对较高;
(2)建议与生产中心至少相距300千米,同时要兼顾投入和效率等因素,绝非越远越好;
(3)所在城市的信息科技人力资源丰富,政策环境支持度较好;
(4)所在城市自然条件优越,选址周边环境好,重大地质灾害发生概率低;
(5)所在城市系运营商全国通信网络的重要节点,选址周边通信资源丰富;
(6)服务商支持网络健全,交通发达;
(7)电价便宜,选址周边具备多路电力接入条件,所在电网电能充沛,与生产中心处于不同的大区电网。
数据中心基础设施规划
银行数据中心的主要功能系维持银行的生产运行,建设时无需过多考量银行的品牌形象等因素。由于国内电力供应、通信网络等基础设施基本成熟,在相对较好的二线宜居城市建设银行数据中心的条件日趋成熟,如数据中心选址于人力资源成本较低的中小城市,还可以结合商业银行对于业务集中化和规模化的实际需求,将需要大量人工处理的客服中心和集中作业中心的建设一并考虑,以减少相应的管理运维成本。总之,制定银行数据中心建设规划与设计需要全方位的考虑。
1.建筑面积等规划(容量规划)
我国的股份制商业银行在本轮经济周期中的快速成长,其分支机构数和业务品种的快速扩张对后台支持能力直接造成压力,股份制商业银行对现有生产数据中心的扩容已成家常便饭,生产数据中心的机房面积、机柜容量、电力供应、机房制冷散热等普遍存在资源紧张情况,为了满足企业的进一步发展所需,银行提升灾备数据中心机房的规划与设计,应前瞻5~10年内来自于用户对服务器、软件系统的规划与需求。
如确定数据中心和灾备中心按照1∶1进行配置,则在确定建设灾备中心的规模规划时,可先由信息科技部门将现有各项生产应用所使用设备机型体积、设备使用率、电力和制冷需求进行逐一列表,根据业务部门提供的未来业务量增长情况进行相应规模预估,再将其单项结果求和,就可以获得现有业务品种在未来发展所需的设备数量(建议不考虑计算能力升级的因素),然后根据现有生产数据中心的单位密度情况,得出实际所需的机房使用面积;此外,还建议至少按2∶1比例为未来新兴业务品种预留相应面积。
除此方法以外,根据前3~5年的机柜使用情况、电力使用情况等描绘增长曲线,按同比例相应延伸至未来5~10年的方法,也可以从另一个角度对上述估算进行验证和修正,就可以得出一个未来生产所需的数据中心机房面积。按照以上方法,可以得出所需建设的机房使用面积规模,并且按实得面积的2倍估算,可以得出机房楼的大致建筑容量,避免盲目投入和无谓的铺张。
2.其他部分的规划
除容量密度规划以外,其他部分的规划包括供电系统规划、制冷系统规划、通信网络规划、承重规划等。
(1)数据中心的电力供应规划
数据中心电力规划需求的第一步就是确定要为其供电并提供保护的关键负载容量。关键负载是指构成IT应用架构的所有IT硬件组件:除了服务器、路由器、计算机、存储设备、通信设备外,还包括安全系统、消防和监控系统设备等。上述设备都有铭牌功率标识,但该功率需求是指该产品在最坏情况下的功率消耗数值,在绝大多数情况下,该值远远高于预期的运行功率水平。据一些电源制造商的研究显示,大多数IT设备标识的铭牌额定值至少超出实际运行负载33%。
如何评估数据中心实际所需的电源功率是非常重要的问题,一般可以采用以下方法:
①累加预期负载的铭牌功率。如果设备上没有列出额定功率,可以将电流(安培)和设备电压相乘得到VA值,该值近似于设备消耗的功率。
②将预期的VA值乘以0.67以估计关键负载的实际功率(以瓦计)。
③将这个数字除以1000就得到预期关键负载的千瓦(kW)级负载数值。
当机房所需设备大致估算确定后,可推算出供电系统(市电和发电机)的总容量。另一种估算办法是根据数据中心电力供应规划,反推计算出可以容纳服务器的总功率。比如机房最大承载服务器容量为2500kVA,根据机房能量使用消耗效率(PUE)值(设计科学管理完善的机房,该值为1.5~2.5之间,在此推荐按照PUE=2.4进行考虑),则机房电力总容量应为5000kVA。如采取该值尚不能确保的,将需要在设计和管理上积极提升。PUE的计算公式为
(2)数据中心的制冷规划
当前,面临数据中心机房功率密度越来越高的情况,如果仍按传统冷却技术进行规划设计,不但会带来极高的成本和电力消耗,而且还会造成某些区域的热点无法得到有效冷却。因此,在今天的机房制冷规划设计中,不仅需要了解空调设备所需的电力功率,还需要掌握热工学常识,并根据此进行规划。规划机房地板下空间按750mm高度,空调位置靠近机柜,机柜行按照面对面方式交替排列,按冷热通道分离的思路进行规划。
空调位置靠近机柜规划区域,并按冷热通道分离的思路进行。机柜摆放考虑和气流方向平行,线缆桥架也尽量与气流保持平行,对于需要穿过气流的线缆桥架要尽量远离空调,热风通道上端有热风抽离装置。按传统的机房制冷方式(每个机柜按5~8kW热量进行)进行制冷密度的规划后,再进行一定改进,针对可能的部分热点区域,预留机柜行级或者柜级的制冷设备空间和电力容量。
由于高功率密度设备的使用越来越广泛,在制冷规划阶段,合理规划送回风系统极为重要,根据《数据中心设施的设计策略》白皮书,数据中心可根据所放置设备的功率密度不同而进行送回风系统设计。
(3)数据中心的通信布线规划
数据中心依靠通信和布线系统对外提供服务,在进行通信规划时,应在垂直和水平方向上均拥有两路以上完全隔离的入户光缆管道,再经不同方向的桥架进入数据中心通信机房位置。在提供接入的运营商的局端,同一家运营商也从不同局向提供双路物理光缆。此外,在条件许可的情况下,经运营商除了要在所在城市的通信网络接入并提供具备冗余切换功能的光端机外,还建议采用运营商的城市长途节点直接数据中心的组网方式。
另外,在楼宇布线设计时,以光纤优先的方式进行布设,减少铜缆的使用,如数据中心对线缆放火方面有较高要求,可在普通线缆布设完成后的线缆束表面,涂刷符合相应阻燃标准的阻燃涂料,以节省单纯采用阻燃线缆所需的巨大成本。
三、遵循“绿色IT”理念建设现代数据中心
在全球能源日趋紧张、能源成本不断上涨的趋势下,数据中心也正面临着降低能耗、提高资源利用率、降低整体运营成本的严峻挑战,构建节能型的绿色数据中心受到越来越多的重视和关注。目前,商业银行在建设数据中心时,应按照“绿色IT”要求进行规划设计,既节省资源成本、顺应时代潮流的需要,也体现了商业银行重视社会责任,以下将在节能方面介绍建设绿色数据中心的可行方式。
所谓绿色数据中心是指数据机房中的IT系统、机械和电气设施、照明等经过特别设计,可以在运营中取得最大化的能源效率和最小化的环境影响。建设绿色数据中心首要考虑的是节能问题。银行数据中心运营管理往往是事件驱动方式,因业务的需要而不断增加设备,因数据管理的需求而不断增加容量,所以设备的不断增加将会导致耗电增加,逐渐使机房原有设计的电流、空间、承重等问题显现。
所以,绿色数据中心的建设就是要在满足需求的前提下,尽可能减少设备的需求数量。一方面要提高单位空间、单位功率的计算能力(这一点需要在设备选型时,作为重要的衡量依据);另一方面要整合计算节点,做到一机多用,充分利用空闲的计算资源,节省计算节点的数量;另外还需在充分调研的基础上,鼓励采用新兴节能技术,从而达到节能、少占用空间的目的。
现有的节能技术日渐成熟,绿色数据中心建设应在以下方面考虑节能方案选择:
(1)UPS系统具备部分模块待机的功能(即可通过跟踪负载的变化,控制功率模块的运行与休眠)或具备经济运行模式功能(即在电力供应良好的地区,由静态旁路直接供电,一旦供电发生异常,UPS立即切换到逆变器供电状态),以减少电源系统的损耗;
(2)在进行所使用设备选型时,优先考虑支持节能且单位电力计算能力高的服务器(单位电力计算能力指标高,且系统在使用率低的情况下,具备自动转换为节能状态的功能);
(3)拓展刀片服务器的使用范围,刀片服务器取代部分传统台式或机架式设备;
(4)根据设备功率密度的差异,分散放置高热量高负载密度的设备;
(5)拓展虚拟化解决方案的使用范围,取代部分传统台式或机架式设备;
(5)机柜根据电力功率密度进行差异性布局,机柜面对面摆放,并合理安排空气分配和回流系统,利用热工学知识和3D建模来优化数据中心气流,冷、热气流通道必须分离;
(7)将冷却资源集中分配到具体的机柜,送风口置于邻近设备的进气口处,冷空气限制在冷通道中,而回风口尽可能置于设备排气口处,部分热气流抽离后可用于机房外通道空间的供暖等;
(8)机柜内强烈建议使用盲板,延长热空气再循环进入设备入风口的长度;
(9)同一机房中所有紧密空调,由计算机联机同步控制,部分热点区域可增加太阳能空调;
(10)部分高负载密度设备区域的机柜具有机柜级制冷或者散热功能;
(11)因地制宜选择可行的自然冷却技术,如具备智能控制功能的新风节能系统,以室外冷空气替代部分制冷,并有热空气直接排出室外或用于机房外人行通道保暖等的设计,并且在建筑设计上要增加热隔断墙,避免出现室外进出风口冷热气流短路的情况;
(12)改变以往机房空调室外机置于楼顶的做法,室内外机组距离尽可能靠近,减少热传导过程中的效率损失;
(13)在初期成本许可和满足运维能力的情况下,使用水冷替代风冷;
(14)节能照明灯具等大规模应用,且机房照明控制系统具备节能控制功能。
数据中心建设是一门多专业、多学科、技术含量高的综合工程,在智能建筑工程中处于核心位。银行虽然处于快速扩张的高速发展期,有能力也迫切需要采用先进技术进行数据中心建设,但先进技术并不等价于高价技术,通过对规划理念、实施方法、技术方案选择、基础设施建设、系统设备采购及管理体系建设等方面积极研究和实施,就一定能设计出技术领先、成本低廉、绿色节能的建设方案。