大数据@@@@无疑是今年@@@@时髦的@@词汇了@@。不管是云计算@@、社交网络@@,还是物联网@@@@、移动互联网@@和@@智慧城市@@@@,都要与大数据@@@@扯上关系@@。各种与大数据@@@@有关的@@会议@@、文章@@、书籍铺天盖地@@。有人谈论大数据@@@@时代的@@公民生活@@,也有人谈论大数据@@@@时代网络反腐@@。仿佛一夜之间我们就进入了大数据@@@@时代@@。
大数据@@@@火爆@@,引发思想启蒙@@
国际上@@,大数据@@@@还真是热火朝天@@,各方都在@@积极行动@@。一方面@@,政府@@积极介入推动@@。2009年@@,联合国@@启动@@“全球脉动@@计划@@”,借大数据@@@@推动落后地区发展@@。2012年@@1月@@,世界经济论坛年@@会把@@“大数据@@@@、大影响@@”作为重要议题@@。美国从开放@@政府@@数据@@@@、开展关键技术研究和@@推动大数据@@@@应用三方面布局大数据@@@@产业@@。美国在@@开放@@政府@@上非常积极@@,通过@@Data.gov开放@@37万个数据@@集@@,并开放@@网站的@@@@API和@@源代码@@,提供上千个数据@@应用@@。除了推动推动本国政府@@数据@@开放@@@@,美国倡导发起全球开放@@政府@@数据@@运动@@, 已有@@41个国家响应@@。美国政府@@还投资两亿美元@@促进大数据@@@@核心技术研究和@@和@@应用@@,把大数据@@@@放在@@与集成电路@@、互联网@@同等重要的@@位置@@,从国家层面推进@@。
另一方面@@@@,资本市场也对大数据@@@@钟爱有加@@。2012年@@4月@@,大数据@@@@分析公司@@Splunk高调@@IPO,引发投资者关注@@@@。12月@@初@@,为企业市场提供@@Hadoop解决方案的@@创业公司@@Cloudera在@@E轮融资中获得@@6500万美元融资@@,估值约为@@7亿美元@@。近期@@,高盛联席主席斯科特@@·斯坦福说@@:“投资大数据@@@@及其运用回报率最高@@”。大数据@@@@领域的@@企业并购热度也在@@上升@@,单笔平均并购金额方面@@,大数据@@@@超过云计算位居@@IT领域榜首@@,在@@总并购额上也位居第二@@。
在@@各方力量的@@推动下@@,大数据@@@@科研和@@产品开发逐渐活跃起来@@。一个新概念的@@兴起@@,最初往往会有人快速地@@“新瓶装旧酒@@”。已经存在@@好多年@@的@@商业智能@@、数据@@仓库等技术被重新包装@@,以大数据@@@@系统的@@面目出现在@@市场上@@。这也使人困惑@@:到底大数据@@@@与传统数据@@分析技术有什么差别@@?可以说大数据@@@@最重要的@@特征是将数据@@处理的@@对象扩展到互联网@@级别@@@@(Internet Scale),技术上的@@进展主要包括@@:1)单数据@@集达到@@PB级别@@;2)非结构化占主流@@;3)几天至数秒内完成高速处理@@。技术形成了批处理@@、流处理和@@交互分析三种计算模式@@:离线批处理@@(Batch Processing)技术以@@MapReduce和@@Hadoop系统为代表@@,实时流处理@@(Stream Processing)技术以@@Yahoo的@@S4系统和@@@@Twitter的@@Storm系统为代表@@,交互式分析@@(Interactive Analysis)技术以@@谷歌的@@@@Dremel系统为代表@@。
大数据@@@@的@@火爆@@,也带动了国内学术界@@、产业界和@@政府@@对大数据@@@@的@@热情@@,但笔者觉得更大意义在@@于唤醒了人们对数据@@的@@重视@@。今年@@@@以来@@,中国计算机学会@@、中国通信学会先后成立了大数据@@@@委员会@@,研究大数据@@@@中的@@科学与工程问题@@,科技部的@@@@《中国云科技发展@@“十二五@@”专项规划@@》和@@工信部的@@@@《物联网@@“十二五@@”发展规划@@》等都把大数据@@@@技术作为一项重点予以支持@@。这些举措着眼长远@@,短期难以看到效果@@。但这种热潮的@@确触发了一场思想启蒙运动@@,使得@@“大数据@@@@是资产@@,不是包袱@@”、“要拿数据@@说话@@”等观念逐步深入人心@@,改变了以往不重视数据@@积累@@,不相信数据@@分析等认识@@。有了这种思维模式的@@改变@@,大数据@@@@的@@应用就有了希望@@。
空谈误国@@,拒绝被大数据@@@@忽悠@@
炒作归炒作@@,但真正可以落地@@,或者已经落地的@@应用有哪些@@?在@@哪里@@?联合国@@“全球脉动@@(Global Pulse)”今年@@@@5月@@发布的@@报告@@,给出了用@@Twitter预测大米价格@@、用谷歌趋势@@(Google trends)跟踪登革热疫情等生动案例@@;美国中央情报局官员也披露大数据@@@@在@@帮助他们追捕恐怖分子方面立下功劳@@;有人声称成功利用@@Twitter预测了本届美国大选@@。这些听起来很炫的@@案例在@@各种场合被人们反复引用@@。各大咨询@@公司和@@解决方案提供商也都会尽力挖掘大数据@@@@的@@应用场景@@。但实际看到的@@大规模应用案例除了互联网@@搜索@@引擎@@、电商和@@社交网站@@,以及少数国家的@@政府@@网站@@外@@,其他领域还并不多见@@。国内应用案例就更是凤毛麟角了@@。