大数据思维的十大原理

        一、数据核心原理

        从“流程”核心转变为“数据”核心

        大数据时代,计算模式也发生了转变,从“流程”核心转变为“数据”核心。Hadoop体系的分布式计算框架已经是“数据”为核心的范式。非结构化数据及分析需求,将改变IT系统的升级方式:从简单增量到架构变化。大数据下的新思维——计算模式的转变。

        例如:IBM将使用以数据为中心的设计,目的是降低在超级计算机之间进行大量数据交换的必要性。大数据下,云计算找到了破茧重生的机会,在存储和计算上都体现了数据为核心的理念。大数据和云计算的关系:云计算为大数据提供了有力的工具和途径,大数据为云计算提供了很有价值的用武之地。而大数据比云计算更为落地,可有效利用已大量建设的云计算资源,最后加以利用。

        科学进步越来越多地由数据来推动,海量数据给数据分析既带来了机遇,也构成了新的挑战。大数据往往是利用众多技术和方法,综合源自多个渠道、不同时间的信息而获得的。为了应对大数据带来的挑战,我们需要新的统计思路和计算方法。

        说明:用数据核心思维方式思考问题,解决问题。以数据为核心,反映了当下IT产业的变革,数据成为人工智能的基础,也成为智能化的基础,数据比流程更重要,数据库、记录数据库,都可开发出深层次信息。云计算机可以从数据库、记录数据库中搜索出你是谁,你需要什么,从而推荐给你需要的信息。

        二、数据价值原理

        由功能是价值转变为数据是价值 大数据真正有意思的是数据变得在线了,这个恰恰是互联网的特点。非互联网时期的产品,功能一定是它的价值,今天互联网的产品,数据一定是它的价值。

        例如:大数据的真正价值在于创造,在于填补无数个还未实现过的空白。有人把数据比喻为蕴藏能量的煤矿,煤炭按照性质有焦煤、无烟煤、肥煤、贫煤等分类,而露天煤矿、深山煤矿的挖掘成本又不一样。与此类似,大数据并不在“大”,而在于“有用”,价值含量、挖掘成本比数量更为重要。不管大数据的核心价值是不是预测,但是基于大数据形成决策的模式已经为不少的企业带来了盈利和声誉。

        数据能告诉我们,每一个客户的消费倾向,他们想要什么,喜欢什么,每个人的需求有哪些区别,哪些又可以被集合到一起来进行分类。大数据是数据数量上的增加,以至于我们能够实现从量变到质变的过程。举例来说,这里有一张照片,照片里的人在骑马,这张照片每一分钟,每一秒都要拍一张,但随着处理速度越来越快,从1分钟一张到1秒钟1张,突然到1秒钟10张后,就产生了电影。当数量的增长实现质变时,就从照片变成了一部电影。

        它可以帮助人们做购买决策,告诉消费者什么时候买什么产品,什么时候买最便宜,预测产品的价格趋势,这家公司背后的驱动力就是大数据。他们在全球各大网站上搜集数以十亿计的数据,然后帮助数以十万计的用户省钱,为他们的采购找到最好的时间,降低交易成本,为终端的消费者带去更多价值。

        在这类模式下,尽管一些零售商的利润会进一步受挤压,但从商业本质上来讲,可以把钱更多地放回到消费者的口袋里,让购物变得更理性,这是依靠大数据催生出的一项全新产业。这家为数以十万计的客户省钱的公司,在几个星期前,被eBay以高价收购。

        再举一个例子,SWIFT是全球最大的支付平台,在该平台上的每一笔交易都可以进行大数据的分析,他们可以预测一个经济体的健康性和增长性。比如,该公司现在为全球性客户提供经济指数,这又是一个大数据服务。定制化服务的关键是数据。《大数据时代》的作者维克托·迈尔·舍恩伯格认为,大量的数据能够让传统行业更好地了解客户需求,提供个性化的服务。

        说明:用数据价值思维方式思考问题,解决问题。信息总量的变化导致了信息形态的变化,量变引发了质变,最先经历信息爆炸的学科,如天文学和基因学,创造出了“大数据”这个概念。如今,这个概念几乎应用到了所有人类致力于发展的领域中。从功能为价值转变为数据为价值,说明数据和大数据的价值在扩大,数据为“王”的时代出现了。数据被解释是信息,信息常识化是知识,所以说数据解释、数据分析能产生价值。

        三、全样本原理

        从抽样转变为需要全部数据样本需要全部数据样本而不是抽样,你不知道的事情比你知道的事情更重要,但如果现在数据足够多,它会让人能够看得见、摸得着规律。数据这么大、这么多,所以人们觉得有足够的能力把握未来,对不确定状态的一种判断,从而做出自己的决定。这些东西我们听起来都是非常原始的,但是实际上背后的思维方式,和我们今天所讲的大数据是非常像的。
举例:在大数据时代,无论是商家还是信息的搜集者,会比我们自己更知道你可能会想干什么。现在的数据还没有被真正挖掘,如果真正挖掘的话,通过信用卡消费的记录,可以成功预测未来5年内的情况。统计学里头最基本的一个概念就是,全部样本才能找出规律。为什么能够找出行为规律?一个更深层的概念是人和人是一样的,如果是一个人特例出来,可能很有个性,但当人口样本数量足够大时,就会发现其实每个人都是一模一样的。

        说明:用全数据样本思维方式思考问题,解决问题。从抽样中得到的结论总是有水分的,而全部样本中得到的结论水分就很少,大数据越大,真实性也就越大,因为大数据包含了全部的信息。

        四、关注效率原理

        由关注精确度转变为关注效率关注效率而不是精确度,大数据标志着人类在寻求量化和认识世界的道路上前进了一大步,过去不可计量、存储、分析和共享的很多东西都被数据化了,拥有大量的数据和更多不那么精确的数据为我们理解世界打开了一扇新的大门。大数据能提高生产效率和销售效率,原因是大数据能够让我们知道市场的需要,人的消费需要。大数据让企业的决策更科学,由关注精确度转变为关注效率的提高,大数据分析能提高企业的效率。

        例如:在互联网大数据时代,企业产品迭代的速度在加快。三星、小米手机制造商半年就推出一代新智能手机。利用互联网、大数据提高企业效率的趋势下,快速就是效率、预测就是效率、预见就是效率、变革就是效率、创新就是效率、应用就是效率。

        竞争是企业的动力,而效率是企业的生命,效率低与效率高是衡量企来成败的关键。一般来讲,投入与产出比是效率,追求高效率也就是追求高价值。手工、机器、自动机器、智能机器之间效率是不同的,智能机器效率更高,已能代替人的思维劳动。智能机器核心是大数据制动,而大数据制动的速度更快。在快速变化的市场,快速预测、快速决策、快速创新、快速定制、快速生产、快速上市成为企业行动的准则,也就是说,速度就是价值,效率就是价值,而这一切离不开大数据思维。

        说明:用关注效率思维方式思考问题,解决问题。大数据思维有点像混沌思维,确定与不确定交织在一起,过去那种一元思维结果,已被二元思维结果取代。过去寻求精确度,现在寻求高效率;过去寻求因果性,现在寻求相关性;过去寻找确定性,现在寻找概率性,对不精确的数据结果已能容忍。只要大数据分析指出可能性,就会有相应的结果,从而为企业快速决策、快速动作、创占先机提高了效率。

        五、关注相关性原理

        由因果关系转变为关注相关性

        都不敢贸然说今年的酒特别好,或者是特别差;而刚出道的品酒师往往会“语不惊人死不休的”。普林斯顿大学有一个英语学教授,他也很喜欢喝酒,喜欢储藏葡萄酒,所以他就想是否可以分析到底哪年酒的品质好。然后他就找了很多数据,比如说降雨量、平均气温、土壤成分等等,然后他做回归,最后他说把参数都找出来,做了个网站,告诉大家今年葡萄酒的品质好坏以及秘诀是什么。当他的研究公布的时候,引起了业界的轩然大波,因为他做预测做的很提前,因为今年的葡萄收获后要经过一段的时间发酵,酒的味道才会好,但这个教授突然预测说今年的酒是世纪最好的酒。大家说怎么敢这么说,太疯狂了。更疯狂的是到了第二年,他预测今年的酒比去年的酒更好,连续两次预测说是百年最好的酒,但他真的预测对了。现在品酒师在做评判之前,要先到他的网站上看看他的预测,然后再做出自己的判断。有很多的规律我们不知道,但是它潜伏在这些大数据里头。

        例如,大数据描绘“伤害图谱”

        广州市伤害监测信息系统通过广州市红十字会医院、番禺区中心医院、越秀区儿童医院3个伤害监测哨点医院,持续收集市内发生的伤害信息,分析伤害发生的原因及危险因素,系统共收集伤害患者14681例,接近九成半都是意外事故。整体上,伤害多发生于男性,占61.76%,5岁以下儿童伤害比例高达14.36%,家长和社会应高度重视,45.19%的伤害都是发生在家中,其次才是公路和街道。收集到监测数据后,关键是通过分析处理,把数据“深加工”以利用。比如,监测数据显示,老人跌倒多数不是发生在雨天屋外,而是发生在家里,尤其是旱上刚起床时和浴室里,这就提示,防控老人跌倒的对策应该着重在家居,起床要注意不要动作过猛,浴室要防滑,加扶手等等。

        说明:用大数据预测思维方式来思考问题,解决问题。数据预测、数据记录预测、数据统计预测、数据模型预测,数据分析预测、数据模式预测、数据深层次信息预测等等,已转变为大数据预测、大数据记录预测、大数据统计预测、大数据模型预测,大数据分析预测、大数据模式预测、大数据深层次信息预测。互联网、移动互联网和云计算机保证了大数据实时预测的可能性,也为企业和用户提供了实时预测的信息,相关性预测的信息,让企业和用户抢占先机。由于大它很懂我,知道我要知道,所以是最好的技术。
乔布斯说,让人感受不到技术的技术是最好的技术。大数据还改变了信息优势。按照循证医学,现在治病的第一件事情不是去研究病理学,而是拿过去的数据去研究,相同情况下是如何治疗的。这导致专家和普通人之间的信息优势没有了。原来我相信医生,因为医生知道的多,但现在我可以到谷歌上查一下,知道自己得了什么病。

        谷歌有一个机器翻译的团队,最开始的时候翻译之后的文字根本看不懂,但是现在60%的内容都能读得懂。谷歌机器翻译团队里头有一个笑话,说从团队每离开一个语言学家,翻译质量就会提高。越是专家越搞不明白,但打破常规让数据说话,得到真理的速度反而更快。

        说明:用信息找人的思维方式思考问题,解决问题。从人找信息到信息找人,是交互时代一个转变,也是智能时代的要求。智能机器已不是冷冰冰的机器,而是具有一定智能的机器。信息找人这四个字,预示着大数据时代可以让信息找人,原因是企业懂用户,机器懂用户,你需要什么信息,企业和机器提前知道,而且主动提供你需要的信息。

        八、机器懂人原理

        由人懂机器转变为机器更懂人

        不是让人更懂机器,而是让机器更懂人,或者说是能够在使用者很笨的情况下,仍然可以使用机器。甚至不是让人懂环境,而是让我们的环境来懂我们,环境来适应人,某种程度上自然环境不能这样讲,但是在数字化环境中已经是这样的一个趋势,就是我们所在的生活世界,越来越趋向于它更适应于我们,更懂我们。哪个企业能够真正做到让机器更懂人,让环境更懂人,让我们随身携带的整个的生活世界更懂得我们的话,那他一定是具有竞争力的了,而“大数据”技术能够助我们一臂之力。

        例如:亚马逊网站,只要买书,就会提供一个今天司空见惯的推荐,买了这本书的人还买了什么书,后来发现相关推荐的书比我想买的书还要好,时间久之后就会对它产生一种信任。这种信任就像在北京的那么多书店里面,以前买书的时候就在几家,原因在于我买书比较多,他都已经认识我了,都是我一去之后,我不说我要买什么书,他会推荐最近上来的几本书,可能是我感兴趣的。这样我就不会到别的很近的书店,因为这家书店更懂我。

        例如,解题机器人挑战大型预科学校高考模拟试题的结果,解题机器人的学历水平应该比肩普通高三学生。计算机不擅长对语言和知识进行综合解析,但通过借助大规模数据库对普通文章做出判断的方法,在对话填空和语句重排等题型上成绩有所提高。

        让机器懂人,是让机器具有学习的功能。人工智能已转变为研究机器学习。大数据分析要求机器更智能,具有分析能力,机器即时学习变得更重要。机器学习是指:计算机利用经验改善自身性能的行为。机器学习主要研究如何使用计算机模拟和实现人类获取知识(学习)过程、创新、重构已有的知识,从而提升自身处理问题的能力,机器学习的最终目的是从数据中获取知识。

        大数据技术的其中一个核心目标是要从体量巨大、结构繁多的数据中挖掘出隐蔽在背后的规律,从而使数据发挥最大化的价值。由计算机代替人去挖掘信息,获取知识。从各种各样的数据(包括结构化、半结构化和非结构化数据)中快速获取有价值信息的能力,就是大数据技术。大数据机器分析中,半监督学习、集成学习、概率模型等技术尤为重要。去年,美国人把一台云计算机送到大学里去进修,增加知识和常识。最近俄罗斯人开发一台计算机软件通过图林测试,表明计算机已初步具有智能。

        让机器懂人,这是人工智能的成功,同时,也是人的大数据思维转变。你的机器、你的软件、你的服务是否更懂人?将是衡量一个机器、一件软件、一项服务好坏的标准。人机关系已发生很大变化,由人机分离,转化为人机沟通,人机互补,机器懂人,现在年青人已离不开智能手机是一个很好的例证。在互联网大数据时代,有问题—问机器—问百度,成为生活的一部分。机器什么都知道,原因是有大数据库,机器可搜索到相关数据,从而使机器懂人。是人让机器更懂人,如果机器更懂人,那么机器的价值更高。

        九、电子商务智能原理

        大数据改变了电子商务模式,让电子商务更智能。

        商务智能,在今天大数据时代它获得的重新的定义。

        例如:传统企业进入互联网,在掌握了“大数据”技术应用途径之后,会发现有一种豁然开朗的感觉,我整天就像在黑屋子里面找东西,找不着,突然碰到了一个开关,发现那么费力的找东西,原来很容易找得到。大数据思维,事实上它不是一个全称的判断,只是对我们所处的时代某一个纬度的描述。

        大数据时代不是说我们这个时代除了大数据什么都没有,哪怕是在互联网和IT领域,它也不是一切,只是说在我们的时代特征里面加上这么一道很明显的光,从而导致我们对以前的生存状态,以及我们个人的生活状态的一个差异化的一种表达。例如:大数据让软件更智能。尽管我们仍处于大数据时代来临的前夕,但我们的日常生活已经离不开它了。交友网站根据个人的性格与之前成功配对的情侣之间的关联来进行新的配对。例如,具有“自动改正”功能的智能手机通过分析我们以前的输入,将个性化的新单词添加到手机词典里。在不久的将来,世界许多现在单纯依靠人类判断力的领域都会被计算机系统所改变甚至取代。计算机系统可以发挥作用的领域远远不止驾驶和交友,还有更多更复杂的任务。别忘了,亚马逊可以帮我们推荐想要的书,谷歌可以为关联网站排序,Facebook知道我们的喜好,而linkedIn可以猜出我们认识谁。

        当然,同样的技术也可以运用到疾病诊断、推荐治疗措施,甚至是识别潜在犯罪分子上。或者说,在你还不知道的情况下,体检公司、医院提醒你赶紧去做检查,可能会得某些病,商家比你更了解你自己,以及你这样的人在某种情况下会出现的可能变化。就像互联网通过给计算机添加通信功能而改变了世界,大数据也将改变我们生活中最重要的方面,因为它为我们的生活创造了前所未有的可量化的维度。

        说明:用电子商务更智能的思维方式思考问题,解决问题。人脑思维与机器思维有很大差别,但机器思维在速度上是取胜的,而且智能软件在很多领域已能代替人脑思维的操作工作。例如美国一家媒体公司已用电脑智能软件写稿,可用率已达70%。云计算机已能处理超字节的大数据量,人们需要的所有信息都可得到显现,而且每个人互联网行为都可记录,这些记录的大数据经过云计算处理能产生深层次信息,经过大数据软件挖掘,企业需要的商务信息都能实时提供,为企业决策和营销、定制产品等提供了大数据支持。

        十、定制产品原理

        由企业生产产品转变为由客户定制产品

        下一波的改革是大规模定制,为大量客户定制产品和服务,成本低、又兼具个性化。比如消费者希望他买的车有红色、绿色,厂商有能力满足要求,但价格又不至于像手工制作那般让人无法承担。因此,在厂家可以负担得起大规模定制带去的高成本的前提下,要真正做到个性化产品和服务,就必须对客户需求有很好的了解,这背后就需要依靠大数据技术 。

        例如:大数据改变了企业的竞争力。定制产品这是一个很好的技术,但是能不能够形成企业的竞争力呢?在产业经济学里面有一个很重要的区别,就是生产力和竞争力的区别,就是说一个东西是具有生产力的,那这种生产力变成一种通用生产力的时候,就不能形成竞争力,因为每一个人,每一个企业都有这个生产力的时候,只能提高自己的生产力,过去没有车的时候和有车的时候,你的活动半径、运行速度大大提高了,但是当每一个人都没有车的时候,你有车,就会形成竞争力。大数据也一样,你有大数据定制产品,别人没有,就会形成竞争力。在互联网大数据的时代,商家最后很可能可以针对每一个顾客进行精准的价格歧视。我们现在很多的行为都是比较粗放的,航空公司会给我们里程卡,根据飞行公里数来累计里程,但其实不同顾客所飞行的不同里程对航空公司的利润贡献是不一样的。所以有一天某位顾客可能会收到一封信,“恭喜先生,您已经被我们选为幸运顾客,我们提前把您升级到白金卡。”这说明这个顾客对航空公司的贡献已经够多了。有一天银行说“恭喜您,您的额度又被提高了,”就说明钱花得已经太多了。正因为在大数据规律面前,每个人的行为都跟别人一样,没有本质变化。所以商家会比消费者更了消费者的行为。也许你正在想,工作了一年很辛苦,要不要去哪里度假?打开e-Mail,就有航空公司、旅行社的邮件。

        说明:用定制产品思维方式思考问题,解决问题。大数据时代让企业找到了定制产品、订单生产、用户销售的新路子。用户在家购买商品已成为趋势,快递的快速,让用户体验到实时购物的快感,进而成为网购迷,个人消费不是减少了,反而是增加了。为什么企业要互联网化大数据化,也许有这个原因。2000万家互联网网店的出现,说明数据广告、数据传媒的重要性。 企业产品直接销售给用户,省去了中间商流通环节,使产品的价格可以以出厂价销售,让销费者获得了好处,网上产品便宜成为用户的信念,网购市场形成了。要让用户成为你的产品粉丝,就必须了解用户需要,定制产品成为用户的心愿,也就成为企业发展的新方向。

        大数据思维是客观存在,大数据思维是新的思维观。用大数据思维方式思考问题,解决问题是当下企业潮流。大数据思维开启了一次重大的时代转型。