世界商业报道 > 商业研究 > 商业趋势  
 
中国商讯 国际商讯 商业内幕 消费真相 公司经营 公司消息 城市话题 商业评论 风险投资 商务政策 中外富豪 焦点人物 名人语录
 
外汇 广告 婚庆 电脑 外贸 域名 投资
设为首页 加入收藏
大数据时代:大数据与海量数据的区别
2014-04-01 11:44 来源:首席执行官  
摘要:近两年来,“大数据”被广泛应用到各行各业,而近阶段又有着明显的过热迹象。从央视的春运迁徙图到姚晨看到微博数据的惊呼;从两会期间的两会大数据,到《星星》都叫兽的高低领毛衣,“大数据”被人们推到了一个前所未有的高度,同时也从一个高精尖的科研方向变成了一个世人皆知的营销词汇。

【首席执行官-讯】近两年来,“大数据”被广泛应用到各行各业,而近阶段又有着明显的过热迹象。从央视的春运迁徙图到姚晨看到微博数据的惊呼;从两会期间的两会大数据,到《星星》都叫兽的高低领毛衣,“大数据”被人们推到了一个前所未有的高度,同时也从一个高精尖的科研方向变成了一个世人皆知的营销词汇。

 

  什么是大数据?

  Gartner给出了这样的定义:“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

  “新处理模式”是一个很关键的词汇,这也是 “大数据”区别于传统统计分析等最关键的特征之一。这个所谓的“新处理模式”有两层含义:

  1、由于海量的数据,需要更高效的存储和处理技术,Hadoop成为了大数据时代的标志;

  2、如果你认为大数据就等于Hadoop,那就大错特错了。Hadoop只是大数据时代的一个必要条件,大数据还有一个明显的标志是数据挖掘和人工智能的紧密结合。这也是我理解的“大数据”与现在很多所谓“大数据”项目最明显的区别之一。

  除了上面的“新处理模式”上的区别,还有一个最主要的区别是:数据统计分析是基于已有数据的纵向归类,而大数据是基于对已有海量数据的处理,对还未产生的数据作出预测和推荐。数据统计是已经发生的事情,而大数据往往被用于还没有发生的事情预测或者推荐中。

 

  诸子百家谈如何定义大数据

  尽管Big Data可以翻译成大数据或者海量数据,但大数据海量数据是有区别的。

  定义一:大数据 = 海量数据 + 复杂类型的数据

  Informatica中国区首席产品顾问但彬认为:”大数据”包含了”海量数据”的含义,而且在内容上超越了海量数据,简而言之,”大数据”是”海量数据”+复杂类型的数据。

  但彬进一步指出:大数据包括交易和交互数据集在内的所有数据集,其规模或复杂程度超出了常用技术按照合理的成本和时限捕捉、管理及处理这些数据集的能力。

  大数据是由三项主要技术趋势汇聚组成:

  海量交易数据:在从 ERP应用程序到数据仓库应用程序的在线交易处理(OLTP)与分析系统中,传统的关系数据以及非结构化和半结构化信息仍在继续增长。随着企业将更多的数据和业务流程移向公共和私有云,这一局面变得更加复杂。

  海量交互数据:这一新生力量由源于 Facebook、Twitter、LinkedIn 及其它来源的社交媒体数据构成。它包括了呼叫详细记录(CDR)、设备和传感器信息、GPS和地理定位映射数据、通过管理文件传输(Manage File Transfer)协议传送的海量图像文件、Web 文本和点击流数据、科学信息、电子邮件等等。

  海量数据处理:大数据的涌现已经催生出了设计用于数据密集型处理的架构,例如具有开放源码、在商品硬件群中运行的 Apache Hadoop。对于企业来说,难题在于以具备成本效益的方式快速可靠地从 Hadoop 中存取数据。

 

  大数据到底能做什么

  简单地来说,大数据可以帮我们解决决策和选择的问题。

  近两年来,大数据被应用到影视制片行业,基于对观众偏好的分析,去预测、设计观众喜欢的剧情,找观众喜爱的演员出演相关的角色,甚至可以去预测票房。这些所有的预测都是基于数据的基础上,经过一定的模型处理,得到接近真实的结论。从某种程度上给决策者决策的依据,比如《纸牌屋》和《星星》。

  大数据还有一个重要的作用,就是解决人们的“选择”问题。别笑,无论你的年龄、性别、教育背景,人们目前都面临着前所未有的选择问题。讲的学术一些,这是由于“长尾效应”导致的问题;讲得通俗一些,就是由于日益增多的可选择的对象和我们自身的处理能力之间的矛盾。

  基于人工智能下的大数据,就是可以使人们“变懒”的一个手段。基于你的历史行为,判断出你可能的喜好,乃至需求,将最佳结果,推荐给你。这就是大数据,她是你的贴心管家,或者说是最懂你的朋友。

  一个最经典的案例是沃尔玛曾经做过的“啤酒”和“尿布”调研:沃尔玛在研究中发现,一类顾客经常在购买尿布的同时也购买啤酒。尿布跟啤酒自然是毫无关联的两个品类的商品,从个人经验上来看,根本想不到二者的联系。后来发现,这是一类社会现象所导致的。美国有很多年轻夫妇,尿布用完后,女主人在家带孩子,而男主人就去超市买尿布。买完尿布之后,男主人通常会顺带着买些啤酒。

  上述例子说明,数据经常可以让你发现看似不合理不合逻辑但却存在,并且经常发生的现象。【首席执行官-ceo.icxo.com】

关键词:大数据   海量数据   定义      
  评论 文章“大数据时代:大数据与海量数据的区别”
1、凡本网注明“世界经理人”或者“世界商业报道”的作品,未经本网授权不得转载,经本网授权的媒体、网站,在使用时须注明稿件来源:“世界经理人”或者“世界商业报道”,违反者本网将依法追究责任。
2、凡注明“来源:xxx(非本站)”作品,不代表本网观点,文章版权属于原始出处单位及原作者所有,本网不承担此稿侵权责任。
3、欢迎各类型媒体积极与本站联络,互相签订转载协议。
4、如著作人对本网刊载内容、版权有异议,请于该作品发表30日内联系本网,否则视为自动放弃相关权利。
5、联系我们:contact@icxo.com;投稿邮箱:article@icxo.com,欢迎赐稿。
相关阅读
 世界财富释放型富翁群体诞生高端会议召开
 潘石屹称房价要跌:因2014年实施不动产统一登
 炒作中如何借用媒体攻势
 零售卖场巨头在中国激烈扩张 力争头名宝座
 北京保障房实行终身问责制
 国际油价下跌促国内成品油批发每吨降300元
邮件订阅: