从2003 年底信息产业部电子行业职业技能鉴定指导中心(现为“工信部教育与考试中心”)正式设立“项目数据分析师”培训项目,并制定出项目数据分析师培训、考试及管理办法。到2014 年,中国的数据分析行业已经走过了11 个年头。这期间中国的项目数据分析师、项目数据分析师事务所、行业协会从无到有,发展越来越快,业务领域也从最初的投资数据分析逐步转向经营数据分析。
2014 年11-12 月期间,中国商业联合会数据分析专业委员会(China Data Analysis Committee, China General Chamber of Commerce , 缩写CDAC,以下简称“协会”)对全国数据分析行业进行了一次全国范围的调研。根据调研情况,协会编写了《2014 年度中国数据分析行业年度发展报告》(以下简称“报告”),这是协会连续五年对国内数据分析行业进行调研并发布的行业白皮书,该报告总结了全球大数据的发展趋势。
全球大数据的八大发展趋势
全球范围来看,大数据的发展呈现以下八大趋势。
趋势一:数据逐渐成为具备重要价值的资产
随着大数据应用的发展,数据的价值得以充分体现,数据在企业和社会层面逐渐成为重要的战略资源,成为新的战略制高点,是大家抢夺的新焦点。《华尔街日报》在一份题为《大数据,大影响》的报告中指出,数据已经成为一种新的资产类别,就像货币或黄金一样。Google、Facebook、亚马逊、腾讯、百度、阿里巴巴和360 等企业正在运用大数据的力量获得商业上更大的成功,此外,金融和电信企业也在运用大数据来提升自己的竞争力。大数据将不断成为更多机构和企业的重要资产,成为他们提升竞争力的有力武器。
趋势二:大数据在更多的传统行业得以应用
一种新技术的出现,往往首先在少数行业取得好的应用效果,继而对其他行业产生强烈的示范效应。目前大数据在大型互联网企业已经得到较好的应用,其他行业的大数据尤其是电信和金融也逐渐在多种应用场景取得效果。因此,我们相信,大数据作为一种从数据中创造新价值的工具,将会在更多行业的企业得到应用,带来广泛的社会价值。大数据将帮助企业更好地理解和满足客户需求,更好地应用在业务运营智能监控、企业精细化运营、客户生命周期管理、精准营销等方面。
趋势三:行业定制化大数据解决方案将涌现
传统商业智能一般只能处理少量数据时的一种方法。大数据用户更希望能获得一种整体的解决方案,即不仅要能收集、处理和分析企业内部的业务数据,还希望能引入互联网上的网络浏览、微博、微信等非结构化数据。除此之外,还希望能结合移动设备的位置信息,这样企业就可以形成一个全面、完整的数据价值发展平台。无论是大数据还是商业智能,目的都是为分析服务的,数据全面整合起来,更有利于发现新的商业机会,这就是大数据商业智能。同时,由于行业的差异性,很难研发出一套适用于各行业的大数据商业智能分析系统,因此,未来在一些规模较大的行业市场,大数据服务提供商将会以更加定制化的商业智能解决方案提供大数据服务。我们相信更多的大数据商业智能定制化解决方案将在电信、金融、零售等行业出现。
趋势四:数据开放的步伐将进一步加快推进
大数据越关联,越开放才会越有价值。如果每一个医院想获得更多病情特征库以及药效信息,那么就需要整个国家,甚至全世界的医疗信息共享,从而可以通过平台进行分析,获取更大的价值。未来,公共事业和互联网企业的开放数据将越来越多,美国、英国、澳大利亚等国家都在政府和公共事业上的数据做出努力。而国内的一些城市和部门也在逐渐开展数据开放的工作。由北京市经济和信息化委员会牵头建设,北京市各政务部门共同参与的北京市政务数据资源网,于2012 年10月开始试运行。该网站致力于提供北京市政务部门可公开各类数据的下载与服务,为企业和个人开展政务信息资源的社会化开发利用提供数据支撑,推动信息资源增值服务业的发展以及相关数据分析与研究工作的开展;上海在2012 年启动了政府数据资源开放试点工作,数据涉及地理位置、交通、经济统计和资格资质等数据;2014 年,贵州省也加入数据开放之列,10 月份云上贵州正式上线。对于不同的行业,数据越共享才越有价值。我们相信未来数据会呈现一种共享趋势,不同领域的数据联盟将越来越多的出现。
趋势五:大数据安全问题将会越来越受重视
像苹果、索尼和Snapchat 等用户在近年来所遭遇的漏洞一样,重大安全漏洞一直以来并没有影响到大众在社交媒体和网络中分享隐私生活细节的行为。实际上,从未有过如此多的人认为,向公司提供个人信息只是享受新技术的便利所付出的小代价。如今,黑客已经能够威胁到最安全的系统,而政府和执行部门防止数据泄漏,将不法之徒绳之以法的进程却非常缓慢。灾难性的黑客攻击或信息泄漏可能将会足以改变人们的态度,让人们恢复保护个人数据的意识。
随着数据价值的越来越重要,大数据的安全问题也将会逐渐被重视。网络和数字化生活使得犯罪分子更容易获取关于他人的信息,也有更多的骗术和犯罪手段出现,所以,在大数据时代,无论对于数据本身的保护,还是对于由数据而演变的一些信息的安全,对大数据分析有较高要求的企业将至关重要。大数据安全是跟大数据业务相对应的,与传统安全相比,大数据安全的最大区别是安全厂商在思考安全问题的时候首先要进行业务分析,并且找出针对大数据业务的威胁,然后提出有针对性的解决方案。比如,对于数据存储这个场景,目前很多企业采用开源软件如Hadoop 技术来解决大数据问题,由于其开源性,其安全问题也较突出。因此,市场需要更多专业的安全厂商针对不同的大数据安全问题来提供专业服务。
趋势六:大数据将成为智慧城市的发展引擎
智慧城市是通过物与物、物与人、人与人的互联互通能力、全面感知能力和信息利用能力,通过物联网、移动互联网、云计算等新一代信息技术,实现城市高效的政府管理、便捷的民生服务、可持续的产业发展。由于人口聚集给城市带来了交通、医疗、建筑等各方面的压力,需要城市能够更合理地进行资源布局和调配,而智慧城市正是城市治理转型的最优解决方案。智慧城市相对于之前数字城市概念,最大的区别在于对感知层获取的信息进行了智慧的处理。由城市数字化到城市智慧化,关键是要实现对数字信息的智慧处理,其核心是引入了大数据处理技术。随着技术的发展,大数据在智慧城市的建设过程中将发挥着越来越重要的作用。大数据是智慧城市的核心智慧引擎。智慧安防、智慧交通、智慧医疗、智慧城管等,都是以大数据为基础的智慧城市应用领域。
趋势七:大数据将会催生一批新的工作岗位
一个新行业的出现,必将在工作职位方面有新的需求,大数据的出现也将推出一批新的就业岗位,例如,大数据分析师、数据管理专家、大数据算法工程师、数据产品经理等等。具有丰富经验的数据分析人才将成为稀缺的资源,数据驱动型工作将呈现爆炸式的增长。而由于有强烈的市场需求,高校也将逐步开设大数据相关的专业,以培养相应的专业人才。企业也将和高校紧密合作,协助高校联合培养大数据人才。如2014 年,IBM 全面推进与高校在大数据领域的合作,引入强大的研发团队和业务伙伴,推动“大数据平台”和“大数据分析”的面向行业产学研创新合作以及系统化知识体系建设和高价值人才培养,建设符合中国教学特色及人才需求的大数据相关学分课程,为未来建设特色专业方向做准备。
趋势八:大数据将在多方面改善生活
大数据不仅用于企业和政府,也应用于日常生活。在健康方面:可以利用智能手环监测对睡眠进行追踪,了解睡眠质量,可以利用智能血压计、智能心率仪远程监控身在异地的家里老人的健康情况,让远在异地的外出工作者更加放心;在出行方面:可以利用智能导航出行GPS 数据了解交通状况,并根据拥堵情况进行路线实时调优;在居家生活方面:大数据将成为智能家居的核心,智能家电实现了拟人智能,产品通过传感器和控制芯片来捕捉和处理信息,可以根据住宅空间环境和用户需求自动设置控制,甚至提出优化生活质量的建议,如冰箱可能会在每天一大早建议当天的菜谱。
我国数据分析行业处于发展初期
2014 年是中国数据分析行业第二个十年发展的开局之年,随着整个社会对数据价值的认识越来越深刻,随着数据产业链上不同领域的技术进步和资本投入,中国的数据分析行业有着此阶段的发展特点。
数据价值逐渐被认可但仍需进一步推广普及
数据的资源化是指数据在企业、社会和国家层面成为重要的战略资源。2014 年数据成为新的战略制高点,是大家抢夺的新焦点;数据不断成为机构的资产,成为提升机构和公司竞争力的有力武器。从全国各地数据分析师事务所的项目经验和与企业沟通了解可以看出,数据既可以作为企业的核心资产驱动决策和流程,也可以作为业务板块驱动产品。
在数据驱动决策方面,过去往往只是简单汇总结果数据、二手信息和高层经营决策,凭主观与经验对市场进行评估和制定策略,而在以数据分析为主的量化决策时代,企业往往是通过收集、分析大量内外部的数据,进行智能化决策,制定更加行之有效的战略;在数据驱动流程方面,过去企业主要是一种被动思维模式,往往是出现问题、逻辑分析、找出因果关系、提出解决方案,而量化经营时代,企业需要具备主动思维模式,即收集数据、量化分析、找出影响关系、提出优化方案;在数据驱动产品方面,过去往往是把企业收集的数据打包,授权给别的服务公司使数据增值,现在企业则开始利用数据把现有产品变得更加高效、智能或更具有洞察力,从而直接或间接产生额外的收入。
从数据分析协会对行业的研判以及各事务所的实际情况来看,数据在企业决策、流程管理和产品改进方面的重要价值已经逐步得到认可,但不同行业的认知水平仍有较大差异,要想使全社会充分认识到数据的价值,仍需要进一步的推广普及。数据分析行业协会和从业单位将在这方面继续加大宣传力度。
数据技术在新兴技术的推动下逐渐走向成熟
数据技术离不开云计算技术,云计算为数据分析提供弹性可扩展的基础设施支撑环境以及数据服务的高效模式,数据分析则为云计算提供了新的商业价值,因此从2014 年开始数据技术与云计算技术进入更完美的结合期。总体而言,云计算、物联网、移动互联网和社交网络等新兴计算形态,既是产生大数据的地方,也是需要大数据分析方法的领域。
从数据分析的技术角度,主要有三个层面:第一个是数据预处理,包括数据的抽取、转换和加载;第二个是数据经过预处理之后进行存储、计算、分析的过程,这是体现数据价值的关键环节;第三个是数据的可视化,即如何把数据转换成大众易于理解、易于形成决策的方式,类似在2014 年春节的时候新闻中不断在播放的百度对春运的大数据分析形式。
协会认为,不论是大数据处理还是传统的数据处理,同样会经历这三个环节,但大数据处理由于数据量的爆发和非结构化数据的引入,使得不同环节在技术上面对不同的挑战。在数据预处理阶段面对的主要挑战是多源、多模态数据融合及数据质量和可用性的处理;在数据存储阶段面对的主要挑战是高效数据查询访问和低成本超大容量的存储;在数据计算阶段面对的主要挑战是数据密集计算的效率和不同计算场景的处理;在数据分析阶段面对的主要挑战是非结构化数据的分析、分析深度及分析的自动化实现;在数据可视化阶段面对的主要挑战是海量数据的直观理解。
大数据的整体技术发展层面,美国等传统IT 强国的大数据战略也都处于试错阶段;硬件方面,相对于其他一些高精尖技术,大数据对于硬件基础设施的要求相对较低,不会受困于基础设备核心元件的相对落后。软件方面,与在传统数据库操作层面的技术差距相比,大数据分析应用的中外技术差距要小得多。
数据生态系统逐渐丰富并影响企业商业模式
数据分析行业的整个产业链可以从基础数据的采集开始定义。包括数据采集、数据存储、数据处理(含数据清洁)、数据分析,直到数据分析结果呈现和商业应用。通过对市场的了解和判断,协会认为目前国内整个数据分析产业链的布局相对完整,但局部环节的竞争程度差异化明显。
在数据采集领域,综合型大数据源市场处于结构化整合阶段,数据源平台企业进行以数据资产为核心的整合,最终会形成几大平台型的数据源企业,或是纯粹的用户场景数据平台。而垂直型大数据源市场处于布局阶段,全新行业细分市场的用户场景数据企业诞生,目前还处于积累用户量的阶段,不断有新的企业成长起来,抢夺已有的入口或者开辟全新的入口;数据存储及挖掘市场结构较为稳定,国际巨头垄断 ,寡头格局已经形成,国内企业短期内很难超越。据易观智库的数据显示,在硬盘存储器领域,EMC、IBM、NetApp 等前五家厂商在全球的市场占有率合计超过70%,在服务器领域,HP、IBM、Dell 等前五厂商市场占有率超过85%,在数据库软件领域集中度更好,Oracle、IBM、Microsoft 等前五厂商超过90%;在数据应用市场,国内企业机会较多,但技术仍不成熟。其中行业应用主要包括商业智能,企业大数据应用系统和在线数据分析平台等,辅助应用包括数据可视化、视频、语音识别等通用性的大数据应用。
与此同时,数据分析产业链的不同环节正在影响企业商业模式的转变。出现了四种主要的商业模式:一是数据存储租用,主要是利用存储能力进行运营,满足企业和个人面临海量信息存储的需求,典型厂商如阿里巴巴、金山云、腾讯云、百度云、IDC 等;二是数据增值服务,主要是对数据进行挖掘分析后预测相关主体的行为,以开展业务,典型厂商如电信业IZP、金融业Opera、阿里金融、GFK 等;三是租赁信息服务,主要是直接进行信息租赁或提供信息租售平台,典型厂商如Twitter、VISA、MasterCard、思维图新、广联达、彭博等;四是数据技术服务,IT 服务提供商提供大数据出租模式,通过出租一个虚拟空间,从简单的文件存储,逐步扩展到数据聚合平台,针对企业需求,为运营某一环节或某一业务问题提供解决方案,实施单点技术,例如向零售商提供大数据分析技术,获得营销电子,还可以针对企业系统需求,提供整体解决方案,例如IBM 提供软硬一体的大数据解决方案,华为基于IT 基础设施领域在存储和计算的优势,提供整体大数据解决方案,还可以通过云服务提供在线大数据技术或解决方案,称为数据应用即服务的模式,简称BDaaS(Big Data as a Service)。
数据分析加速向传统领域拓展但仍处于初期
在2014 年,大数据应用的典型行业仍然是以互联网为基础的电子商务,主要借助用户行为分析,产品分析、推荐系统和广告追踪优化,用于市场精准营销和个性化导购,未来该行业数据分析的应用方向主要是基于数据资产化的数据化运营和行业垂直整合。除了电子商务行业相对成熟的应用之外,数据分析已经逐渐向金融、电信、物流、医疗以及交通、教育等领域拓展并取得了初步成效。
金融行业的数据分析主要应用在客户行为分析、金融风险分析和运营分析,目前银行、保险、证券等拥有大数据的金融机构正在推进相关工作。电信行业的数据分析主要应用在提升网络服务质量、精准判断客户需求、升级行业信息化解决方案以及提供数据安全服务等方面,目前在支持营销运营管理、客户体验管理以及促进智能管理运营等方面已经取得了初步成效,未来将在社交网络分析、客户体验分析以及客户价值分析方面进一步的应用。在医疗行业,数据分析主要应用在各地医院资源的统一协调,保健咨询服务系统,新药研发以及便于医患沟通,提高诊疗效率等方面,目前已在药品研发、疾病治疗、公共卫生管理和居民健康管理方面取得了初步效果,未来将进一步应用在智能医疗平台化和电子健康服务生态系统。在政府公共服务方面,数据分析可以帮助相关部门加强统筹规划,提高智慧城市感知水平,提高经济社会智慧化水平,目前在智慧交通和智慧安防方面的应用已经初见成效,未来在政府的智能化,促进政府的数据治理以及数据驱动政府公共服务方面必将发挥更大作用。
总的来看,大数据的理念、技术和应用模式等正在向更广阔的领域扩散,但整体还处于初级阶段,谈概念的多,真正用的少,而且案例散发,尚未形成燎原之势。传统企业在理解什么是大数据,制定大数据战略以及整合多种数据源方面还存在诸多问题,大数据技术与模式的改造和适配还要经历长期过程。
我国大数据发展战略顶层设计开始受到重视
大数据热潮席卷全球,争夺新一轮技术革命制高点的战役已经打响,大数据正在引发传统行业的变革。当前,全球多个国家都相继出台了大数据战略规划,我国对大数据的重视也日渐提升,在产业链各环节的积极推动下,我国大数据正在加速“落地”。
中国政府在美国提出《大数据研究和发展计划》的2012 年也批复了“十二五国家政务信息化建设工程规划”,总投资额估计在几百亿,专门有人口、法人、空间、宏观经济和文化等五大资源库的五大建设工程。我国的开放、共享和智能的大数据的时代已经来临!
2012 年8 月份国务院制定了促进信息消费扩大内需的文件,推动商业企业加快信息基础设施演进升级,增强信息产品供给能力,形成行业联盟,制定行业标准,构建大数据产业链,促进创新链与产业链有效嫁接。
2014 年9 月,经全国信标委2014 年第二次主任委员办公会审议,全国信息技术标准化技术委员会大数据标准工作组成立,负责制定和完善我国大数据领域标准体系。根据目前发布的体系框架来看,大数据标准将主要分为基础标准、数据处理、数据安全、数据质量、产品和平台、应用和服务6 大领域,每一个领域又都被分出多个小项目。
工业和信息化部电子工业标准化研究院副院长高林表示,发布的一些数据中是否会涉及到人的隐私、用户应该通过何种渠道获取、是否该进行“脱敏”处理,这些数据的安全问题是最基本的问题之一。一系列标准的制定也是为了更好的规范大数据的使用。高林表示,目前已经进入标准草案的制定阶段,预期在2016 年陆续发布。
2014 年12 月份,发改委高技术司与工信部软件司共同组织召开促进大数据发展和应用工作研讨会,会议深入讨论了大数据发展的形势机遇和存在的问题,提出了加强我国大数据发展的顶层设计,完善相关法律法规和标准规范,强化政府数据共享开放和社会化利用机制,加强人才建设等方面的措施建议。
数据共享时代各种区域大数据联盟不断涌现
数据共享联盟在2014 年逐渐壮大成为产业的核心一环。数据是基础,之前在科技部的支持下,已建立了多个领域的数据共享平台,包括气象、地震、林业、农业、海洋、人口与健康、地球系统科学数据共享平台等。之后,数据共享扩展到企业和区域层面。
(1)中关村大数据产业联盟
2012 年12 月13 日,北京中关村举办“中关村大数据日”活动,会上宣布成立了中关村大数据产业联盟,发布了云天使基金、中云融汇基金、大数据实验室孵化基金三支产业投资基金,并为“中关村云广场”正式命名。活动同时发布信息:将把今后每年的12 月13 日确定为中关村的大数据日,集中开展以大数据为主题的各项交流活动。中关村大数据产业联盟成为推动中关村大数据产业飞速发展的重要力量。联盟组织成立中关村大数据工程中心,发布大数据年度发展报告,并策划一系列业界交流活动,进一步加快中关村大数据产业生态环境的构建,构建广阔的产业交流平台,推动产业更快发展。
(2)中国企业大数据联盟
2014 年11 月4 日,由中国电信、中国东方航空、中航信、工信部电信研究院、互联网协会互联网金融工作委员会、易车、亚信科技、晶赞科技等8 单位发起,45 家企业联合组成的中国企业大数据联盟在北京举行成立大会。该联盟致力于推动跨界大数据标准制定与合作,积极促进大数据技术成果在各行业应用推广,全面提升成员单位大数据应用的整体水平;汇聚各方力量,借鉴世界先进经验,使联盟成为推动大数据技术进步、应用创新的中坚力量,为我国大数据产业健康发展做出贡献。
(3)长三角大数据联盟
2014 年11 月1 日,在上海大数据产业技术创新战略联盟主办的2014 数据中国产业创新峰会上,我国首个最具投资价值的大数据企业排行榜,以及中国大数据产业图谱1.0 新鲜出炉。11 月1日也因此成为首个“1101 中国大数据开放日”。为整合区域资源,长三角大数据联盟也在此次峰会上成立。长三角大数据联盟是由上海大数据产业技术创新战略联盟和上海现代服务业联合会共同发起成立的产学研线上创新组织,通过定期活动、交流、展览、讲座、众筹等多种方式,打造长三角大数据企业创业投资的融合创新生态。
(4)深圳市大数据产业发展促进会
2014年9月,由腾讯、华为、联想、宝德科技、中兴等深圳高新技术企业共同发起的深圳市大数据产业发展促进会正式成立,该协会会长是深圳赛迪工业和信息化研究院,深圳南油有限公司任常务副会长,深圳新视界与华为、联想和国家超算深圳中心同为副会长单位。在全球信息化调整发展的今天,作为国家级创新城市,深圳市科技创新委将大数据作为重点扶持的领域之一,在政策和具体行动上给予大力支持。同时,一大批从事大数据产业实践的知名企业在深圳扎根,也为大数据产业发展创造了得天独厚的条件。深圳市大数据产业发展促进会将这些优秀大数据研究机构和企业聚集起来,充分发展产业联动作用,打造完整大数据产业链,未来将对深圳的发展具有重要战略意义。该协会的成立,标志着深圳在促进大数据科技创新、引领中国大数据产业变革方面迈出了坚实的一步。
中国数据分析行业国内环境综述
IDC发布的报告预测,中国大数据技术与服务市场规模将从2011年的7760万美元增长到2016年的6.17亿美元,5年的复合增长率达51.4%。中国市场的规模之大为大数据发展提供了大空间、大平台。我国在省(市)一级对数据分析的支持,特别是大数据分析的支撑走到了世界的前列。
北京迎来大数据发展机遇
大数据能够实现巨大的商业价值,可以推动产业结构升级,提高发展质量,还可以加快改造传统产业,推动产业体系整体升级,培育发展大数据产业符合北京产业结构调整升级的要求。与此同时,北京科技资源集中,研发实力丰厚,政府机构及大公司云集,有很强的数据生产能力,在培育大数据产业方面具有原发优势。通过“科技北京”、中关村国家自主创新示范区建设等一系列规划、战略的实施,北京积聚了全国最大规模和最有价值的数据资产,为发展大数据奠定了良好的数据基础。
北京在海量数据存储、挖掘、云计算等技术处于国内领先地位,与国外大数据技术热点保持一致,发展大数据遇到的关键技术相对容易突破。2014年12月10日,以“点击数据 启动未来”为主题的大数据交易服务平台发布会在京召开,北京大数据交易服务平台正式发布上线,同时北京大数据交易服务平台与大数据标准规范合作启动。
总的来看,北京市在大数据发展方面已经提前布局,形成了卓有成效的成果,如推动政府信息公开、鼓励大数据产业集群、建立中关村的大数据产业联盟及交易平台、搭建首都科技大数据平台等。下一步,北京可结合自身巨大优势,布局大数据。尤其要完善大数据相关的法律法规和技术规范,继续鼓励大数据通用关键技术研发,进一步开放政府等公共部门数据,统筹谋划大数据应用,培育相关产业,开展“数据驱动型创新”,把北京打造成智慧的创新中心。
在政策层面,密切关注国际立法理念的演变趋势,结合大数据技术发展趋势和具体的国情、市情对相关制度进行前瞻性研究;在行业技术标准层面,加快制定大数据分类、文件格式、传输协议、访问应用程序接口等;在大数据通用技术研发方面,北京可在前沿及共性基础技术上增加研发投入,激励企业和科研机构参与技术开发,聚集产学研用力量形成合力,力争在大数据平台级软件上实现突破;加强大数据技术研发方向的前瞻性和系统性,通过技术引进、自主研发、创新实践等培育自主的大数据技术和产品,在世界大数据行业培育核心的技术水平;结合北京市创新中心的建设,可采取措施,支持数据开放共享,鼓励公共部门和私营部门开展数据驱动型创新,开创北京智慧型创新新局面;此外,北京还应顺应趋势,大力推动数据开放,按敏感性对政府的公共数据进行分类,确定开放优先级,制定分步骤的数据开放路线图;积极推动政府和公共部门应用大数据技术,通过大数据增强社会管理水平,建立与市民沟通的智能行政服务,推动北京成为智慧的创新之城。
上海聚力发展大数据产业
作为中国的经济中心,上海各界正在大力为建设全球科技创新中心而努力。当前,在政府部门数据对外开放,由企业系统分析大数据进行投资经营方面,上海无疑是先行一步。2013 年7月,上海市科委编制并颁布了《上海推进大数据研究与发展三年行动计划(2013-2015 年)》,又称“汇计划”,同时也成立了推进办公室和“上海大数据产业技术创新战略联盟”作为具体落地推进。现在,“汇计划”实施过半,科委基金已经分两批支持了20多个项目,实施效果良好。
上海推进大数据产业主要突出企业创新主体地位,建设6个以上行业大数据公共服务平台,支持6 类以上大数据商业应用系统的研制,培育一批带动本地数据产业发展的行业龙头企业,探索“数据、平台、应用、终端”四位一体的新型“大数据创新”商业模式。上海希望在大数据的全新技术、产业和思维浪潮下,能够汇聚全球、全国的创新资源,充分发挥上海的国际金融、航运中心的业务、数据、人才优势,以大数据开放的心态来海纳百川和百企。上海还努力推动各级政府部门将数据对外开放,并鼓励社会对其进行加工和运用。
根据上海市经信委印发的《2014年度上海市政府数据资源向社会开放工作计划》,目前已确定190项数据内容作为2014年重点开放领域,涵盖28个市级部门,涉及公共安全、公共服务、交通服务、教育科技、产业发展、金融服务、能源环境、健康卫生、文化娱乐等11个领域。其中市场监管类数据和交通数据资源的开放将成为重点,这些与市民息息相关的信息查询届时将完全开放。这意味着企业运用大数据在上海“掘金”的时代来临,企业投资和上海民生相关的产业如交通运输、餐饮等,可以不再“盲人摸象”。
广东打造大数据产业基地
广东省大数据产业发展处于我国前列,并成立了我国首个地方大数据管理局——广东省大数据管理局,挂靠在广东省经信委。目前,全国首个政府数据开放规划项目落地广州,浪潮已成功竞标成为服务提供商。广东省经信委2014年12 月9 日公布《广东省大数据发展规划(2015-2020年)》(征求意见稿)。提出到2020年,大数据在国民经济和社会各领域广泛应用,推动全省信息化总体水平再上新台阶,迈入世界先进水平。推动制定一批国家、行业和地方大数据标准,引进和培育50家以上大数据龙头企业,形成2-3个大数据产业基地,以大数据为主要内容的现代信息服务业产值超过1 万亿元,成为新兴支柱产业。
规划提出建设宽带网络、云计算基础设施,建立大数据采集机制。广东将开辟数据采集渠道,综合行政收集、网络搜取、自愿提供、有偿购买、传感收集等方式建立自动、精准、实时的大数据采集体系。加强对企业信息系统规划与大数据采集需求的融合指导,鼓励制造业企业和商业机构加强对生产经营活动中数据的采集,推动无线射频识别(RFID)、近距离无线通信(NFC)、二维码、环境监测、人体传感设备的普及应用。
规划还提出,大力优化产业组织结构和区域结构,建立大数据产业发展集聚区,促进大数据产业向规模化、创新化和高端化发展。重点支持与省内有条件的高新技术园区、电子信息产业园、软件和信息服务产业园、数据中心基地等共建大数据产业基地,发展各具特色的大数据产品和装备制造业、大数据软件和服务业。大力培育具有国际竞争力的骨干企业,积极发展创新型中小企业。加快大数据与云计算、物联网、移动互联网等新一代信息技术的集成应用,鼓励打破行业壁垒,推动产业链协同发展。
贵州大数据产业亮点频闪
2014年,贵州省自主搭建全国首个省级政府数据统筹管理、交换、共享的云服务平台——“云上贵州”统一系统平台,面向省内外政务部门和企事业单位提供云计算、云存储和宽带资源等服务。借助“云上贵州”统一系统平台,贵州省经信委协同有关部门有序推进电子政务云、交通云、旅游云等“7+N”云工程建设。贵州省还成立了由省长任组长的省大数据产业发展领导小组,成立了平台性公司——“云上贵州”大数据产业发展有限公司;率先在全国出台省级层面“规划纲要”、“实施意见”等。并通过举办“云上贵州”大数据国际年会,聚集了一批国内顶尖专家来黔论道,举办“云上贵州”大数据商业模式大赛,搭建开放创新平台。国家工信部还批复同意贵州省创建全国第一个国家级贵阳•贵安大数据产业发展集聚区。这是贵州省扎实推进大数据产业创新发展取得的又一成果。
当前,贵州大数据产业发展稳步推进、硕果累累,数据显示:2014年贵州省组织开展了4次规模较大的大数据产业招商活动,签约项目160多个,签约投资总额超过1700亿元,引进了一批项目。其中三大运营商数据中心、富士康第四代产业园、中关村贵阳科技园等一批重大项目落地建设;催生了一批企业,带动智能终端、可穿戴设备等高端产品制造业,推动形成配套产业集群;集聚了一批人才,成立由中国工程院院士领衔的省大数据专家咨询委员会,集聚一批行业顶尖专家,有力推动全省电子信息产业实力实现新提升。
福建多措施促大数据发展
2014 年11月份,福建省政府出台十条措施支持大数据产业重点园区加快发展。该十条措施包括完善园区发展规划、引进培育产业龙头、推动资源汇聚开发、建设大数据创新平台、加强人才引进培养、做好园区用地保障、确保园区用电需求、强化园区网络支撑、实施财税优惠政策、提高安全保障能力方面。
早在2014 年6月底,国家统计局中国统计信息服务中心与厦门市信息化局共建的“大数据研究服务基地”就在厦举行了揭牌仪式,这是国家统计局的首个大数据基地。国内首个“大数据研究实验室”也同期落户赛凡信息科技(厦门)有限公司。厦门市以大数据为重要方向的软件产业发展由此将进一步推进。此外,厦门市信息化局目前正加紧研究大数据产业发展行动规划,以期推进大数据应用、发展大数据产业、保障大数据安全。厦门市还将建设涵盖市民、法人、地理空间的全市大数据资源库,同时强化政务信息资源整合与共享,并在此基础上发展智慧交通、智慧医疗,让市民共享大数据成果。
重庆挖掘大数据产业商机
重庆市作为我国西部唯一直辖市,目前正积极融入国家发展格局,全力践行“两带一路”战略,特别是依托“渝新欧”大通道和长江黄金水道,进一步扩大向西向东开放,加快“两带”战略支点建设。2010年,重庆市政府按照中央转变发展方式、调整产业结构的要求,以信息化带动工业化、城市化、农业现代化的战略思想为指导,推出了“云端计划”,经过四年努力,端产业方面已经形成“5+6+800”的世界级产业集群和生产基地。
2013 年,重庆市在全国首先出台《大数据行动计划》,计划在2017年左右,使大数据技术在民生服务、城市管理及全市支柱产业发展等领域广泛应用,大数据产业成为重庆市经济发展的重要增长点,成为具有国际影响力的大数据产业基地2014 年11月,包括甲骨文、太平洋电信、英业达旗下的无敌科技、贝格数据等十余家大数据云计算企业“云集”重庆,斥资16亿元挖掘大数据产业商机。
推出自主研发的大数据智能分析平台Datahoop
2015年4月16日,中国商业联合会数据分析专业委员会正式面向公众推出了自主研发的大数据智能分析平台Datahoop。Datahoop是中国商业联合会数据分析专业委员会历时三年研发完成,集合了国内外数据分析行业理论及中国数据分析行业顶尖专家十余年的实战经验,通过SaaS(Software-as-a-Service,软件即服务)云服务的形式对外提供大数据智能分析。该平台内置丰富的数据分析和数据挖掘算法,能实现算法参数的自动调优和升级,同时包含了适合中国国情的行业应用模型。此外,Datahoop还提供在线算法市场功能,支持国内的数据分析行业专家上传自己的数据分析算法,将新增的算法集成到Datahoop中,并通过Datahoop平台进行算法的交换及交易,从而真正激活中国的数据分析行业市场。
中国商业联合会数据分析专业委员会隶属于中国商业联合会,是经民政部正式批准和登记的全国性数据分析行业组织。2003年底工信部电子行业职业技能鉴定指导中心设立了“项目数据分析师”培训项目,制定了项目数据分析师的培训、考试及管理办法。2004年1月1日,深圳作为项目数据分析师全国试点开始考培工作,出现了我国首批“项目数据分析师”。2005年4月,全国第一家项目数据分析师事务所经工商局审批成立,从此在西安、深圳、成都、北京等地诞生了多家项目数据分析师事务所。2008年4月,在已有数据分析行业人才及专业事务所的基础上,正式成立了中国商业联合会数据分析专业委员会。
自2008年成立以来,中国商业联合会数据分析专业委员会在项目引进、知识普及、行业监督、数据分析人才培养及数据分析专业事务所建立等方面发挥着积极地的作用。“项目数据分析师”(CPDA)是中国商业联合会数据分析专业委员自主研发的数据分析行业专业培训课程,该课程自2003 年在国内正式开办以来,已经在全国二十多个省市培养了两万余名项目数据分析师。通过专业的课程培训及考试后,学员可获取主管行业机构和主管部委认证机构颁发的《项目数据分析师证书》和《项目数据分析师职业技术证书》,而获得了“项目数据分析师”证书的学员在具备创业条件后,经过备案以及工商部门的注册即可成立“项目数据分析师事务所”。截止到2014年底,我国已经有百余家专业从事数据分析工作的数据分析师事务所,遍布全国20多个省市自治区。
Datahoop是中国商业联合会数据分析专业委员会在推进我国大数据产业及数据分析行业方面的最新进展。该平台支持多种数据接口,能与企业现有的ERP、CRM、OA、财务软件(金蝶、用友、SAP等)以及公司网站等资源实现无疑对接,集成了数据转化及预处理功能,提供实时/非实时数据处理统一接口,节省了大量的重复开发成本。该平台能不断集成新的数据分析算法和新的功能模块,对算法库进行终生维护并不断调优,可随着用户的需求不断扩展。在数据安全方面,该平台支持私有云方式,自主研发的安全管理体系可提供多达五重的防护,通过认证、加密、监控和追踪等手段,在传统PC端和移动终端提供数据保护解决方案。该平台还让数据挖掘和数据分析操作更为简单,独创的一键报表生成功能,使得非专业人士也可轻松发现数据价值,无需缩写任何代码就能建立和使用分析模型。在提供多终端设备支持方面,该平台可通过手机轻松访问,并能通过手机了解企业的运营状况,数据分析人员则能通过手机进行数据分析工作。
中国商业联合会数据分析专业委员会会长邹东生表示:“当前,大数据概念已经在中国得到广泛的认可,并开始在社会的主流层面发挥指导性作用。大数据能推动传统产业结构升级、提高产业发展质量、加速传统产业改造、推动产业体系整体升级,培育和发展大数据产业符合我国产业结构调整升级的要求,北京、上海、广东、贵州、福建、重庆等地都已经积极推动大数据产业的发展。然而大数据产业的发展必须要以数据分析为核心,通过运用先进的技术手段,对数据进行深度挖掘,分析出数据之间的关联性,才能真正创造和发挥大数据资产的价值。我国大数据产业和数据分析行业的发展离不开本国人才培养和自主知识产权的技术与平台,特别是在当前对数据安全高度重视的前提下,更需要着重培育中国的数据分析行业,这也是中国商业联合会数据分析专业委员会自主研发和推出Datahoop大数据智能分析平台的重要原因。”
据悉,除了Datahoop大数据智能分析平台外,为了适应当前市场对于普及型数据分析人才的巨大需求,中国商业联合会数据分析专业委员会在“项目数据分析师”(CPDA)”的基础上推出了针对企业基础数据分析岗位的职业初级技能技术认证与培训——“数据分析员”,其证书由工业和信息化部教育与考试中心颁发。“数据分析员”的课程架构包括数据来源、数据处理、分析方法及报告展示四大组成部分,分为基础知识与技术技能知识两部分,通过远程教学的方式为企业和社会输送基础数据分析人才。需要体验Datahoop及了解“数据分析员”认证及培训的用户可,可通过中国商业联合会数据分析专业委员会官网查询和了解相关情况,并取得联系以了解进一步的信息。
推出百家企业大数据公益扶持计划
2015年6月11日,中国商业联合会数据分析专业委员会于日前推出了“2015—2020百家企业经营模式创新与战略扶持”项目(以下简称“百家扶持计划”),活动期间凡欲尝试或完善大数据管理的企业均可申请,每家企业的免费扶持期为6个月或一个完整项目周期。该项目从2015年6月1日开始至2020年5月31日截止,是一个长达5年期的企业大数据公益扶持项目。不论是从海外上市公司,还是在工商注册的小企业,都能申请此公益扶持项目。
凡申请成功并具有行业代表性的企业,还可获得第三届中国数据分析行业峰会的参会资格。由中国商业联合会主办的2015(第十届)中国零售商大会暨展会将于2015年7月8日-10日在江苏昆山举行,中国商业联合会数据分析专业委员会承办此次大会的专题论坛——“触摸大数据本质”之2015(第三届)中国数据分析行业峰会。届时将有业界资深专家、学术界知名学者与百余位来自IT、教育、金融、医疗、零售业企业代表,共同探讨大数据产业发展及大数据人才和技术应用等的前沿话题,分享大数据智慧及大数据应用“落地”案例,探索各行业之间面临的数据分析应用问题的解决途径。
针对申请“百家扶持计划”成功的企业,中国商业联合会数据分析专业委员会将提供如下服务:对企业数据程度进行评估,为企业数据保全提供方案;根据企业需求及硬件情况,为企业引入Datahoop平台接入服务帮助企业存储数据,并根据企业数据情况对数据进行基础数据处理及提供数据展现分析,帮助企业利用先进的大数据平台迅速提高企业决策分析能力;协助企业进行业务数据梳理,根据企业决策的需求急迫性,逐步引入经营数据建模分析及运营方案,其中包括客户行为分析、促销策略、客户价值分析、用户流失分析、商品定价策略、销售数据分析、品牌舆情分析、盈利预测、生产作业过程中的量化分析等。
中国商业联合会数据分析专业委员会市场部负责人张楠表示,本次“百家扶持计划”主要针对有如下条件的企业:数据化程度不高,但企业有传统方式的基础数据保存(如ERP或CRM系统等),具备一定的数据基础;企业对数据及数据分析工作高度重视,有意愿迅速将企业数据进行科学的存储及应用;企业领导牵头,可安排专人或专门对接的团队,数据化服务工作可以有效开展等。
中国商业联合会数据分析专业委员会隶属于中国商业联合会,是经民政部正式批准和登记的全国性数据分析行业组织,主要负责监管和服务全国数据分析事务所,是全国性非盈利行业管理协会。中国商业联合会数据分析专业委员会具有先进的技术开发能力及数据分析深度分析能力,拥有自主知识产权的Datahoop数据分析平台。Datahoop通过SaaS(Software-as-a-Service,软件即服务)云服务的形式对外提供大数据智能分析。该平台支持多种数据接口,能与企业现有的ERP、CRM、OA、财务软件(金蝶、用友、SAP等)以及公司网站等资源实现无缝对接。
自2008年成立以来,中国商业联合会数据分析专业委员会在项目引进、知识普及、行业监督、数据分析人才培养及数据分析专业事务所建立等方面发挥着积极地的作用。张楠表示,本次“百家扶持计划”主要是响应主管机构中国商业联合会的号召,更好地服务于会员单位,同时也是针对企业在数据分析平台搭建过程中遇到“技术难度大”、“费用很高”、“技术服务公司不懂数据算法和分析”等问题而提出的解决方案,旨在帮助中国企业更好的适应大数据时代的变化,取得发展先机。
此外,该项目通过免费为企业搭建数据分析平台,提供技术支持、降低数据应用门槛,帮助企业构建内部数据的完整性以及与外界数据的有效交互。通过成功企业的推广,该项目还将引导更多的企业重视数据分析和数据化建设工作,进一步发展和培养数据分析市场,使行业内事务所或企业获得更好的发展契机和空间。欲了解更多信息,可访问中国商业联合会数据分析专业委员会官网。