从IT时代到DT时代
马云曾经在一次演讲中说道:“人类正从IT时代走向DT时代。”什么是DT,与IT有什么不一样呢@
对于IT,人们已经耳熟能详。马云提出,IT时代是以自我控制、自我管理为主的时代,而DT时代是以服务大众、激发生产力为主的时代。这两者之间看起来似乎是一种技术的差异,但实际上是思想观念层面的差异。DT时代,数据成为人类的第二母语,互联网不再只是一种技术工具、一种工作手段,它将深刻改变我们的生活方式、生产方式和思维方式,众联、众包、众创、众筹被人们越来越熟知,平等思维、共享思维、扁平化思维、跨界思维、场景思维被人们越来越多地掌握和运用。DT的核心,是关于数据驱动的创新,也就是基于海量数据的巨大价值挖掘为核心的创新体系及模式。如果说IT时代是以信息流为中心,DT时代就是以数据流为中心;如果说IT时代的特点是占有、掌握、传输和控制,DT时代则越来越讲究开放、透明、体验和分享。
按照马云的说法,DT不仅仅是技术的提升,还是思想观念的提升。正是基于对这样一种理念的认同,本书也坚持同一取向,即不谈技术,只谈思想;不谈数据,只谈观念。
从知识时代到信息时代再到DT时代
知识就是力量,信息就是能量。在DT时代,数据就是变量—“数据×”,即乘数效应,乘数改变一切。拥有知识,让作为个体的人战胜了恐惧、无助和无知;信息时代,将爆炸了的知识聚合到一起,激发出不同于工业时代取代农业时代所发生的变化的能量。
DT时代,数据之所以成为变量,是由知识经济时代数据传输的单维到信息时代的双维再到DT时代的多维转变所决定和影响的。数据是多维的,多维数据的智能化集成,转变成为一种多维变量。在电影《星际穿越》中,有一个五维空间假说。不同于我们所在的三维空间,宇宙学家将时间看作第四维,而第五维指的是能量无界限。把这个五维空间假说引入DT时代,大数据也存在一个五“V”空间:第一个维度是数量(Volume),主要表现为数据量的快速增大;第二个维度是速度(Velocity),主要表现在数据增长的速度在加快;第三个维度是数据的多样性(Variety),即新的数据来源和新的数据种类的增加;第四个维度是数据的价值(Value),即通过对这些数据的使用和挖掘产生价值;而第五个维度也即最重要的一个“V”,就是“数聚”(Variable),它使前面四个“V”的数据发生几何级数的变化,从而让数据实现从量变到质变的飞跃。正如美国麻省理工学院的埃里克布赖恩约弗森曾比喻的,大数据的影响,就像4个世纪之前人类发明的显微镜一样。显微镜把人类对自然界的观察和测量水平推进到细胞级别,给人类社会带来了历史性的进步和革命。大数据具有体量大、结构多样、时效强等特征,处理大数据也需采用新型计算架构和智能算法等新技术。同时,大数据的应用强调以新的理念应用于辅助决策、发现新的知识,更强调在线闭环的业务流程优化。因此,大数据不仅“大”,而且“新”,是新资源、新工具和新应用的综合体,它将成为我们下一个观察人类自身社会行为的“显微镜”和监测大自然的“仪表盘”。
需要说明的是,物理学中的维度是从数学上定义的。从这个意义上来说,6维、7维乃至更高维度都是有的。现代物理学界公认的理论是8维空间,分为X维(物体的长)、Y维(物体的宽)、Z维(物体的高)、时间维、重力维、电磁力维、万有引力维、万有斥力维。而著名的科学家霍金所提出的宇宙模型,定义了11维空间!面对从知识爆炸到信息爆炸再到数据爆炸的DT时代,大数据和云计算的发展,呼唤数据处理技术在多维空间的大聚合、大交易、大运算,否则人类社会就有可能走向另一种崩溃—仅从目前在阿里数据平台事业部的服务器上攒下的超过100PB(拍字节)已处理过的数据,就等于(咨询特价)7 600个GB(吉字节),相当于4万个西雅图中央图书馆,580亿本藏书。仅和两个子公司每日新增的数据量,就足以让一个人连续不断看上28年的电影。如果折算成每秒需要处理的数据量,相当于是837集《来自星星的你》。目前,全球仅有两三家公司计算技术达到单集群规模(咨询特价)0台服器,阿里位列一席。随着数据量的继续增大,即使单集群到(咨询特价)0台,也依然会触碰到天花板。没有多维立体和穿越式的块数据集成和建构,未来的服务器怎能突破机房的空间限制,实现无限延展?
我们曾一度认为,知识是稀缺的,但那只是因为我们的书架太小了;我们曾一度认为,信息爆炸了,但那是因为我们的存储太小了。DT时代的到来,让新的知识和信息作为一种连接的基础设施和资源,被“大数据×”转换为一种无限的数据变量,从这个意义上说,大数据所能带来的改变和影响一定不只是5维,而是更多维的。它让我们体验数据之美,感受数据之美。用马云的话说,20世纪我们讲了很多服务,不断地增加服务能力,其实客户要的不是服务,而是体验。体验可以让我们在大数据的丰富性中尽情遨游。
块数据是大数据的解决方案
大数据正在对社会生产生活的各个层面产生巨大而持久的影响,政府、企业、个体都在大数据浪潮中享受大数据带来的裨益。但到目前为止,人类形成的大数据,更多的是以领域、行业为单位,往往是彼此割裂、互不相通的“条数据”,尤其是数据安全性缺乏保障,数据交易缺乏监管,这时,“块数据”的提出—一种以一个物理空间或者行政区域形成的涉及人、事、物等各类数据的总和,相当于将各类“条数据”解构、交叉、融合,实现人人互联、物物互联和业业互联,能真正让大数据落地,成就大数据产业、大数据经济,有效维护大数据安全和监管,从这个意义上说,块数据让非结构化数据变成结构化数据,块数据是大数据转化为现实生产力的支点,块数据就是大数据的解决方案。
块数据改变了人类对大数据的认知,标志着大数据时代的真正到来。首先,从数据到“数聚”,这是块数据的起点。使分散的、分割的、碎片化的数据聚合为“块”,进而形成一个多维的、无限的变量,这个多维是思维范式,无限是跨界,变量是一种不确定性和不可预知性,这是大数据时代我们认识世界的基础,也是改造世界的方法;其次,从解构到重构,这是块数据的机制。每一次解构的结果都会产生新的物质、能量、要素、权力、意识等的重构,是解构中的重构;再次,从多维到共享,这是块数据的价值。它让每一个人都能快速分享大数据时代人类的文明成果。共享是大数据对人类最大的贡献,共享正在成为一个新时代的标志。所以,得“块”者得天下,得“块”者得未来。
DT时代三个重要标志:块数据社会、慢数据决策和流数据价值。通过块数据网状结构,块数据社会建立起一个社会化的开放、共享、连接的数据基地和数据综合体;让大数据由重变轻,从粗放到精细