2012年7月13日消息,2012第二届大数据世界论坛今天在北京开幕。本次论坛邀请了Forrester Research资深分析师曹宇钦 、IDC中国高级分析师周林等权威第三方咨询机构;微软亚太研发集团首席技术官孙博凯、赛仕软件中国总经理刘政、甲骨文大中华区技术总经理喻思成、Splunk亚太及日本区域副总裁刘文熙等业界主流厂商高层;以及支付宝首席商业智能官车品觉等来自金融、电信、电子商务、制造业等重点应用行业的用户嘉宾等都将与会于业内专业人士面对面探讨如何使用更有效的架构捕捉、存储、整合、管理和分析海量数据,支持企业决策和业务发展,实现大数据的商业价值。
在今天上午的主会场上,英特尔(中国)有限公司行业合作与解决方案部中国区总监凌琦发表主题演讲《大数据给企业带来的机遇和挑战》,介绍了英特尔公司对大数据的认识,以及大数据面临的挑战和所带来的机遇。凌琦表示,英特尔公司更专注于硬件层面上,只有硬件平台发展到一定程度,才能提供今天对于大数据进行存储、进行分析、进行价值挖掘的可能性。
英特尔(中国)有限公司行业合作与解决方案部中国区总监凌琦先生
凌琦表示,任何企业当中,都有数据和大数据并存的结构,最后的分析结果需要丰富的可视化展示方案,这些展示方案对硬件结构来说,需要高性能的数据、图形、可视化的支撑。对于分析和综合来说,需要大规模的数据中心的支撑,这些数据中心需要可扩展性的数据存储结构,需要高性能的数据分析处理器,这些将会对英特尔的体系架构中的计算能力提出重大挑战。与此同时,从数据收集到数据分析、数据展示,整个体系架构当中英特尔在目前进行大量的工作,希望能够提供的最佳解决方案,提供硬件的支撑,对于数据分析公司、软件应用开发公司、解决方案提供商,提供最强大的支撑。
现场精彩内容:
主持人:接下来有请英特尔(中国)有限公司行业合作与解决方案部中国区总监凌琦先生。
凌琦:在这里我想跟大家谈一谈英特尔公司对大数据的认识,我们所看到的大数据,今天这样一个大数据所面临的挑战,这个挑战不仅仅是对英特尔的,同时也是对整个业界的。在座的各位不光是作为解决方案的提供商,或者是作为大数据应用的用户,这样的挑战都是真实而迫切的。
英特尔公司和前几位演讲公司不同的是,我们更多的是在硬件层面上,刚才的几位嘉宾有分析软件、全系统软件,所有的软件、存储分析流程,最终都必须要架构在某些硬件平台上。那么,只有硬件平台发展到一定程度,才能提供今天对于大数据进行存储、进行分析、进行价值挖掘的可能性。
从英特尔公司角度来说,我们也看到大数据是一个机会,这个机会不仅仅是因为今天的市场变化造成更多的数据形式的变化、数据量的变化、移动数据的变化造成的,同时我们也看到今天硬件、软件技术的可能性。
大数据从哪里来的?
现在通讯走向移动以后,它的规模成十倍增长,50 Million Moblile Phones in 2010,社交网络大量地产生数据,传统的商业领域数据也是非常巨大的。今天的金融商业的交易在安全可靠地方式在运行,这也产生了大量的商业数据。在美国15个行业中,每一家公司当年所产生的数据大过美国国会图书馆所有存有的数据。
这些都是人跟人交易、人跟人沟通数据产生的。还有一类是机器和机器、现有智能设备网络中产生的数据,这个数量会更大,而互联网走向物联网这条路是必然趋势,随着时间的增长,大家会看到物联网产生的数据会更多。在2011年是1200万视频条码在市场上,视频条码是产生数据、收集数据最基本的手段,在2011年是209Billion。比如说智能电网,各种各样的测量手段所产生的数据也是非常大的。
数据的时代正在到来。
明白大数据是从哪里来的,大家可以相信这个挑战是不可避免的,而且在今后几年中会越来越大。英特尔对大数据时代的认识,我们相信今天是开始的时候,而且这个趋势在今后几年会不断地发展。
今天之所以称之为大数据,因为它的数据和过去有所不同。行业内都会认同几个V的讲法,(见图)在这里有一个2乘2的矩阵,从上到下是以规模来分的,从左到右是以性质分析的。我们所针对的大数据是大规模的、非关系型数据,除了大规模、非关系型数据,现在的关系型数据仍然是存在的,仍然具有不可或缺的作用,支撑了现在组成的商业机构的运行。
大数据增添了在传统关系型数据库中所处理的东西,能够从关系型数据库中看不到的东西挖掘趋势和方向,这是我们今天关心大数据和支撑大数据、研究大数据所要做的工作。
IDC有一个数字,全球的数据使用量到2020天会增长44倍,这一个非常大的增长,我们相信44倍的增长,其中主要的增长来源将会是大数据形式。传统的关系型数据仍然会成长,但是它的成长在今天传统关系型数据库的运用和使用方面已经达到了相对比较成熟的阶段。今天如果有志于在这当中做一些贡献,在这当中创造一些新的商业模式和商业机会的话,我们希望在大数据当中进行更多的投入。
电信行业大数据。
面临的挑战。在中国很多会讲到概念,只有概念和实际发生关系的时候,我们行业中的人才会利用它有哪些工作要做。电信行业所面临的挑战,今天的数据来源多样化,其中包括语音、短信、GPRS数据、3G、WLAN。电信自己运行过程中有大量的基站数据、客户数据在产生,这些数据很多形式上以大数据的形式存在。这些数据是非常巨大的,而巨大的不光是它的规模,同时它的成长量每天2个TB的数据。
大数据分析—挖掘数据价值。
这些大数据为什么需要?因为电信公司面临着如何从大数据中挖掘价值? 对流量分析、热点应用分析、访问趋势分析,对它长期的应用开发起到方向性的指导作用。为用户行为分析、用户流失预测可以做市场工作,对不同的客户行为,在满足用户需求的情况下,能够使电信公司的服务获得更好的汇报。
新应用、潜在的新商业模式和服务。
比如说精准广告,比如说位置的服务,到了某一个商店当中,它能够推送给你针对于这家商店和当时时间、场景所需要的服务。比如说中午,你走过一家麦当劳,它或许会推送给你一个麦当劳的优惠券。这些典型的应用是依赖于大数据的分析和大数据的灵活应用。
金融服务大数据。
如何使金融业聚合性数据获得分析,这也是大数据研究中非常重要的一个方向。
智慧城市。
智慧城市只是一个概念,智慧城市之下所涵盖的智能楼宇、智能移动监控、气象监控,还有污染的监控。在智能城市中它的数据绝大多数有是有机器生成,7-24小时产生数据,数据量巨大,数据产生速度快。这些流式分析、实时分析、模式挖掘将是在智慧城市当中是对大数据非常大的挑战,当然也意味着很大的机会。
管理数据并挖掘价值。
所谓数据,数据用来存储、用来管理之后,它的价值能够得到挖掘,才是我们研究大数据、推动大数据应用的主要方向。所以,我非常同意3个V之后,最后还需要推动挖掘它的价值。所有的大数据,对于大数据在现在的环境中,社交网络、视频网络没有办法用传统的关系型数据库进行分析,没有办法存储,也没有办法进行流式的分析。今天的大数据是对已有的关系型数据库、关系型数据类型的充分补充。
(见图)上面是关系型的,下面是非关系型的,之后几年成长主要是非管理型的,但是所有的东西都会送到分析引擎中,分析引擎必须要有能力分析关系型和非关系型数据。关系型数据在过去的几年有了长足的进步,比如在数据库内进行分析,把整个的数据库装入内存非常高速地处理,实时地给出结果,这些都是关系型数据库中得到的关键性结果和关键性进展。实际上,在硬件上提供了大量的支撑,比如英特尔最近一期高性能处理型的服务器,就能够支撑大容量的内存,进行内存内的数据库分析。
大数据分析与传统分析的差异。
对于英特尔来说,无论是针对哪一类的数据内存,能够提供基本的应用和支撑的平台。我们需要比较传统的数据分析和所谓大数据分析的不同点。传统的数据分析更多的是结构化,数据量是有限的,集中式处理、批量处理,对于非结构化的数据的来源将会非常之多。所以,你许多对整个数据进行聚合和分析。其次,它的数据量非常大,传统的存储结构已经不适应现有的大数据存储,更多的是需要以服务器为架构的这种扩展性的存储架构,对于分布式的文件存储将是非常关键的。其次,对于分布式的文件系统的支撑之后,需要进行实时的流处理,这在电信、政府,也就是在智能城市,比如在财务公司方面,将有非常大的应用环境,对于实时流处理也需要高性能。
深入数据挖掘处理价值。
任何企业当中,我们会看到数据和大数据并存的结构,对于最后的分析结果我们需要丰富的可视化展示方案,这些展示方案对硬件结构来说,在整个的台式和笔记本这一类的终端业务当中,你需要有高性能的数据、图形、可视化的支撑。对于分析和综合来说,需要大规模的数据中心的支撑,这些数据中心需要可扩展性的数据存储结构,需要高性能的数据分析处理器,这些将会对英特尔的体系架构中的计算能力提出重大挑战。大家可以看到,从数据收集到数据分析、数据展示,整个体系架构当中英特尔在目前进行大量的工作,希望能够做到提供我们能提供的最佳解决方案,提供硬件的支撑,对于数据分析公司、软件应用开发公司、解决方案提供商,提供最强大的支撑。
英特尔的优势
在应用层和可视化层,英特尔架构相关的业界生态系统提供最佳应用与可视化展示环境。
对于分析层、界面与工具上,在英特尔架构上客户端与服务器端酸法开发提供分析计算所需的性能和规模。
大数据的分发和数据管理组建方面,英特尔平台上优化了的Hadoop,做到即时的实施。
硬件,内存,存储,Xecn,英特尔的计算、存储和IO架构在性能与容量间求得最佳平衡以满足大数据应用的需求。
基于英特尔的企业运营大数据方案。
在数据分发与存储方面,数据分析需要高性能的平台,英特尔的智能加速技术将使我们的平台,尤其在服务器平台上跟我们的竞争对手有决然不同的表现,性能非常高。其次,大量的超线程已经在服务器上被广泛地应用,在集群系统当中使整个集群有更快的互联互通,超级互联架构能够使整个集成性能大幅度提高,这是在分析层面上所做的硬件更多支撑。
在数据分发和存储方面,高可靠性、高可用性、高服务性是主要的诉求。在这方面,英特尔最新的存储架构也是对今后可扩展性的存储架构提供了支撑。
在数据库管理方面,有一些相关的数据中心的技术,将会对今天的数据支撑有很多的支撑。对大规模的数据中心能耗管理,对于整个数据的运营在内存当中和整个机器传输过程中提供了可靠、安全的环境。
在企业数据运用、数据展示方面,英特尔提供了英特尔IPT技术,它能够使最后的应用者提供了完美的覆盖。
对于企业应用当中,从数据分发、数据管理、数据库应用,英特尔都有相应的技术,在硬件平台上给软件开发提供了足够的支撑。我们也希望在这里能够使大家对这些硬件所提供的能力,有更多的了解,也充分地利用这些硬件的能力,使大数据应用的开发得到便利。
大数据时代英特尔的特色。
1,加速在数据分发、管理与可视化展示过程中,挖掘价值与提高决策反应。
2,推动创新以充分利用各种数据来源:嵌入式,公有云,商业私有,及高性能科学计算数据。
3,投资大数据解决方案的研究和服务。英特尔的风险投资部门也对大数据中所涉及的关键平台、关键应用、提供商,有非常重的关注,希望投资于这些大数据,注意大数据领域中主要的创新者,充分利用英特尔的平台,使大数据应用在今后几年中获得长足的发展。
最后,非常感谢大家听我的演讲,希望大家对英特尔的硬件平台所提供的支撑,以及英特尔投资部对整个业界创新领域当中所进行的关注,以及合作的愿望,能够有更多的响应。非常感谢大家!谢谢!