商务服务
大数据时代下的变革三部曲:思维变革(一)
2024-11-10 12:31

文章来源于网站:http://www.36dsj.com/

大数据时代下的变革三部曲:思维变革(一)

 

《大数据时代》中的开篇引言:

  “一场生活、工作与思维的大变革。大数据开启了一次重大的时代转型。就像望远镜让我们能够感受宇宙,显微镜让我们能够观测微生物一样,大数据正在改变我们的生活以及理解世界的方式,成为新发明和新服务的源泉,而更多的改变正蓄势待发……”。

  商业、公共卫生、思维、时代转型,生存方式,乃至方方面面。在过去的一年中,这三个也犹如星星之火以致燎原之势。在我们炒大数据概念的同时,我们更关心的是:什么事大数据?大数据的核心是什么?、大数据能产生什么样的价值?那就随着我的理解,开始我们的大数据之旅。

  大数据时代的思维变革:1、更多。2、更杂。3、更好。

由传统的随机样本预测,到全体预测的转变。

当数据处理技术已经发生了翻天覆的变化时,在大数据时代进行抽样分析就像在汽车时代骑马一样。一切都改变了,我们需要的是所有的数据,“样本=总体”。

传统“样本”数据是我们基于传统的统计学,利用小样本事件来预测全集发生的概率。而在大数据的思维中,既然是“样本”,那定时存在误差,有误差定会的预测结果产生影响,那就不能称之为准确。随着信息数据采集的便捷性,数据的规模也远远超过我们的想象。采样分析的精确性随着采样随机性的增加而大幅提高,但与样本数量的增加关系却不大,而样本的选择的随机性比样本数量更重要。但这又提出了新的问题,如何有效的选择样本,如何选择样本和全局数据更匹配。在我们遇到各种各样的问题的同时,增加样本空间,看似一个解决问题的办法,但这同样会出现上面的问题。那我们接下来要做什么?大数据是指不再采用随机分析法,而是采用所有数据的方法。其实,这样的处理方法,在具体实现的过程中也会遇到一些问题,但相比于随机抽取“样本”,准确率已不可同日而语。

不再是精确性,而是混杂性。

执迷于精确性是信息缺乏时代和模拟时代的产物。只有5%的数据是结构化且能适用于传统数据分析利用的。如果不接受混乱,剩下95%的非结构化数据都无法被利用,只有接受不精确性,我们才能打开一扇从未涉足的世界的窗户。

“大数据”通常用概率说话,而不是板着“确凿无疑”的面孔。整个社会要习惯这种思维需要很长的时间,其中也会出现一些问题。但现在,有必要指出的是,当我们视图扩大数据规模的时候,要学会拥抱混乱。这里谈到数据的混杂,必然会牵扯到混杂数据的存储。传统关系型数据库已经无法满足我们的需求,随之NoSql(非关系型数据)应运而生。随着待处理数据量逐渐增多,大家越来越需要一种在集群环境中易于编程且执行效率高的大数据处理技术,NoSql。NoSql不在局限于传统关系型数据库的条条框框,而只是一个key,一个vlaue,最大的特点准许数据的冗余与混杂。这里不再多探讨非关系型数据库的特点。

大数据要求我们有所改变,我们必须能够接受混乱和不确定性。确定性似乎一直是我们生活的支撑,就像我们常说“丁是丁,卯是卯”。但认为每个问题只有一个答案的想法已经站不住脚了,不管我们承认不承认。一旦我们承认了这个事实甚至拥护这个事实的话,我们离真相又近了一步。

不是因果关系,而是相关关系。

知道“是什么”就够了,没必要知道“为什么”。在大数据时代,我们不必非得知道现象背后的原因,而是要数据自己“发声”。

其实上述前两个思想的重大转变导致第三个变革,这个变革有望颠覆很多传统观念。而这些传统观念更加基本,往往被认为是社会建立的基础:找到一切事情发生背后的原因。而在更多的时候,寻找数据间的关联并利用这种关联就足够了。这种关联,决定了预测的关键。相关关系的核心是量化两个数据值之间的数理关系。相关关系强调的是指一个数据值增加时,另一个数据只很有可能随着增加。例如谷歌流感趋势:在一个特定的地理位置,越多的人通过谷歌搜索特定的词条,该地区就有更多的人患了流感。相反,相关关系弱就一位置当一个数据值增加时,另一个数据值不会发生变化。例如:我们可以寻找关于个人的鞋码和幸福的相关关系,但会发现几乎扯不上什么关系。

当我们找到一个现象的良好的关联物,相关关系可以帮助我们捕捉现在和预测未来。如果,A和B经常一起发生,我们只需要注意到B发生了,就可以预测A也发生了。当我们不在为有了想法,然后才收集数据去测试想法的可行性的时候。我们已经有了太多的数据和更好的工具,我们要找到之间的相关性,就变得更容易、更快。这也意味着我们必须关注:当数据点以数量级方式增长的时候,我们会观察到许多似是而非的相关关系。而如何获得可利用的相关关系,就是我们再进一步探讨的问题了。建立在相关关系分析法基础上的预测是大数据的核心。

在大数据的背后,我们关注的“是什么”,而不再是“为什么”。我们跳开追本溯源的探究,开始了不在纠结与因果的论断,从颠覆了传统的理念,从关系入手,开启数据大数据的探索。

    以上就是本篇文章【大数据时代下的变革三部曲:思维变革(一)】的全部内容了,欢迎阅览 ! 文章地址:http://houdi.cs-ej.cn/news/633.html 
     资讯      企业新闻      行情      企业黄页      同类资讯      首页      网站地图      返回首页 成事e家移动站 http://houdi.cs-ej.cn/mobile/ , 查看更多   
最新新闻
基本知识
第一章 总则1.什么是GCP?GCP的核心(宗旨目、的)是什么?答:GCP是英文 good clinic practice的缩写,在中文应该理解成药物临
2023-2028年中国新媒体产业投资分析及前景预测报告
媒体的“新”与“旧”是相对而言的。一般地,新媒体是相对于传统意义上的报刊、广播、电视这些大众传播媒体而言的,是指随着传播
四、一些教训和挫折,以及对应的next step
本篇内容是基于自己最近坚持小红书日更两周(还在继续,已经快18天了)的过程进行的深度复盘总结本人只是一个1000多粉丝的小小小
9月再添2款高续航电动车,最高续航超250公里,长途出行的有福了
您在阅读前请点击上面的“关注”二字,后续会为您提供更多有价值的相关内容,感谢您的支持。电动车是很实用且实惠的代步工具,但
2023年黑龙江省考行测真题及答案.pdf
2023年黑龙江公务员录用考试《行政职业能力测验》重要提示:为维护您的个人权益,确保公务员考试的公平公正,请您协助我们监督考
什么样的女人性欲强呢?教你有效提高女性性欲
对于一些男人来说,他们可能想找一个性欲强的女人,但是什么样的女人性欲强呢?从什么方面来判断呢?从哪里判断女性外形性欲的强
互联网营销培训课程
互联网设计基础阶段 ps1.基础模块介绍软件(应用领域、优势)/软件界面与设置/视图缩放与移动/选择工具/屏幕显示模式/包装效果图
【干货】这才是Win10/Win7官方原版系统下载的正确方式!
坊间流传着这样一句话:「重启解决90%的问题,重装解决99%的问题,重买解决100%的问题」诚然,在电脑系统遇到一些比较棘手的问题
2024年实用的人生格言警句合集35句
2024年实用的人生格言警句合集35句  人类要在竞争中求保留,更要格斗。——孙中山以下是小编为大家提供的人生格言警句35句,欢
做为互联网创业者要有哪些技术常识?
这几年,创业环境非常好,不但国家鼓励,市场环境也比较好,都是各种鼓励创新创业。国家支持创业,但是现在的企业业务不再像以前
本企业新闻