第2章 《大数据背景下的新媒体》：大数据的内涵

一、大数据出现的背景

进入2012年，大数据（big data）一词越来越多地被提及，人们用它来描述和定义信息爆炸时代产生的海量数据，并命名与之相关的技术发展与创新。它已经上过《纽约时报》《华尔街日报》的专栏封面、进入美国白宫官网的新闻、现身在国内一些互联网主题的讲座沙龙中，甚至被嗅觉灵敏的证券公司等写进了投资推荐报告。

数据正在迅速膨胀并变大，它决定着企业的未来发展。虽然现在企业可能并没有意识到数据爆炸性增长带来问题的隐患，但是随着时间的推移，人们将越来越多的意识到数据对企业的重要性。大数据时代对人类的数据驾驭能力提出了新的挑战，也为人们获得更为深刻、全面的洞察能力提供了前所未有的空间与潜力。

最早提出大数据时代到来的是全球知名咨询公司麦肯锡：数据已经渗透到当今每一个行业和业务职能领域，并成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。“大数据”在物理学、生物学、环境生态学等领域以及军事、金融、通信等行业存在已有时日，却因为近年来互联网和信息行业的发展而引起人们关注。

大数据在互联网行业指的是这样一种现象：互联网公司在日常运营中生成、累积的用户网络行为数据。这些数据的规模是如此庞大，以至于不能用G或T来衡量，大数据的起始计量单位至少是P（1000个T）、E（100万个T）或Z（10亿个T）。

二、什么是大数据？

信息技术领域原先已经有“海量数据”“大规模数据”等概念，但这些概念只着眼于数据规模本身，未能充分反映数据爆发背景下的数据处理与应用需求。而“大数据”这一新概念不仅指规模庞大的数据对象，也包含对这些数据对象的处理和应用活动，是数据对象、技术与应用三者的统一。

大数据（big data），或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理并整理成为帮助企业经营决策更积极目的的资讯。大数据对象既可能是实际的、有限的数据集合，如某个政府部门或企业掌握的数据库，也可能是虚拟的、无限的数据集合，如微博、微信、社交网络上的全部信息。

大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。从数据的类别上看，“大数据”指的是无法使用传统流程或工具处理或分析的信息，它定义了那些超出正常处理范围和大小、迫使用户采用非传统处理方法的数据集。

大数据技术，是指从各种各样类型的大数据中快速获得有价值信息的技术的能力，包括数据采集、存储、管理、分析挖掘、可视化等技术及其集成。其适用于大数据的技术，包括大规模并行处理（MPP）数据库、数据挖掘电网、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。

大数据应用，是指对特定的大数据集合，集成应用大数据技术，获得有价值信息的行为。对于不同领域、不同企业的不同业务，甚至同一领域不同企业的相同业务来说，由于其业务需求、数据集合和分析挖掘目标存在差异，故所运用的大数据技术和大数据信息系统也可能有着相当大的不同。唯有坚持“对象、技术、应用”三位一体同步发展，才能充分实现大数据的价值。

当你的技术达到极限时，也就是数据的极限。大数据不是关于如何定义，最重要的是如何使用，最大的挑战在于哪些技术能更好地使用数据以及大数据的应用情况如何。这与传统的数据库相比，开源的大数据分析工具，如Hadoop的崛起，这些非结构化的数据服务的价值在哪里？

三、大数据的类型和价值挖掘方法

（一）大数据的类型大致可分为三类

1.传统企业数据

包括CRM systems的消费者数据、传统的ERP数据、库存数据以及账目数据等。

2.机器和传感器数据

包括呼叫记录、智能仪表、工业设备传感器、设备日志（通常是Digital exhaust）以及交易数据等。

3.社交数据

包括用户行为记录、反馈数据等。如，Twitter、Facebook这样的社交媒体平台。

（二）大数据挖掘商业价值的方法主要分为四种

1.客户群体细分，然后为每个群体量定制特别的服务。

2.模拟现实环境，发掘新需求的同时提高投资的回报率。

3.加强部门联系，提高整条管理链条和产业链条的效率。

4.降低服务成本，发现隐藏线索并进行产品和服务的创新。

四、大数据的特点

业界通常用“4个V”（即Volume、Variety、Value、Velocity）来概括大数据的特征。具体来说，大数据具有4个基本特征。

（一）数据体量巨大

数据体量（volumes）大，指代大型数据集，一般在10TB左右，但在实际应用中，很多企业用户把多个数据集放在一起，已经形成了PB级的数据量。百度资料表明，其新首页导航每天需要提供的数据超过1.5PB（1PB=1024TB），这些数据如果打印出来将超过5000亿张A4纸。

（二）数据类别大和类型多样

数据类别（variety）大，数据来自多种数据源，但数据种类和格式日渐丰富，已冲破了以前所限定的结构化数据范畴，囊括了半结构化和非结构化数据。现在的数据类型不仅是文本形式，更多的是图片、视频、音频、地理位置信息等多类型的数据，个性化数据占绝对多数。

（三）处理速度快

在数据量非常庞大的情况下也能够做到数据的实时处理。数据处理遵循“1秒定律”，可从各种类型的数据中快速获得高价值的信息。

（四）价值真实性高和密度低

数据真实性高，随着社交数据、企业内容、交易与应用数据等新数据源的兴趣，传统数据源的局限被打破，企业越发需要有效的信息之力以确保其真实性及安全性。以视频为例，一小时的视频，在不间断的监控过程中，可能有用的数据仅仅只有一两秒。

五、大数据的作用

（一）对大数据的处理分析正成为新一代信息技术融合应用的结点

移动互联网、物联网、社交网络、数字家庭、电子商务等是新一代信息技术的应用形态，这些应用不断产生大数据。而云计算为这些海量、多样化的大数据提供存储和运算平台。通过对不同来源数据的管理、处理、分析与优化，将结果反馈到上述应用中，将可以创造出巨大的经济和社会价值。

大数据具有催生社会变革的能量，但释放这种能量需要严谨的数据治理、富有洞见的数据分析和激发管理创新的环境。

（二）大数据是信息产业持续高速增长的新引擎。

面向大数据市场的新技术、新产品、新服务、新业态会不断涌现。在硬件与集成设备领域，大数据将对芯片、存储产业产生重要影响，还将催生一体化数据存储处理服务器、内存计算等市场；在软件与服务领域，大数据将引发数据快速处理分析、数据挖掘技术和软件产品的发展。

（三）大数据利用将成为提高核心竞争力的关键因素。

各行各业的决策正在从“业务驱动”转变为“数据驱动”。对大数据的分析可以使零售商实时掌握市场动态并迅速作出应对；可以为商家制定更加精准有效的营销策略并提供决策支持；可以帮助企业为消费者提供更加及时和个性化的服务；在医疗领域，可提高诊断准确性和药物有效性；在公共事业领域，大数据也开始发挥促进经济发展、维护社会稳定等方面的重要作用。

（四）大数据时代科学研究的方法手段将发生重大改变。

例如，抽样调查是社会科学的基本研究方法。在大数据时代，可以通过实时监测、跟踪研究对象和在互联网上产生的海量行为数据，进行挖掘分析、揭示出规律性的东西并提出研究结论和对策。

六、大数据的商业价值

（一）对顾客群体细分

“大数据”可以对顾客群体细分，然后对每个群体量体裁衣般的采取独特的行动。瞄准特定的顾客群体来进行营销和服务是商家一直以来的追求。云存储的海量数据和“大数据”的分析技术使得对消费者的实时和极端的细分有了成本效率极高的可能。

（二）模拟实境

运用“大数据”模拟实境，发掘新的需求和提高投入的回报率。现在越来越多的产品中都装有传感器，汽车和智能手机的普及使得可收集数据呈现爆炸式增长。如，Blog、Twitter、Facebook和微博等社交网络也在产生着海量的数据。

云计算和“大数据”分析技术使得商家可以在成本效率较高的情况下，实时地把这些数据连同交易行为的数据进行储存和分析。其交易过程、产品使用和人类行为都可以数据化。“大数据”技术可以把这些数据整合起来进行数据挖掘，从而在某些情况下通过模型模拟来判断不同变量（比如，不同地区不同促销方案）的情况下何种方案的投入回报最高。

（三）提高投入回报率

提高“大数据”成果在各相关部门的分享程度，提高整个管理链条和产业链条的投入回报率。“大数据”能力强的部门可以通过云计算、互联网和内部搜索引擎把“大数据”成果和“大数据”能力比较薄弱的部门分享，并帮助他们利用“大数据”创造商业价值。

（四）数据存储空间出租

企业和个人有着海量信息存储的需求，只有将数据妥善存储，才有可能进一步挖掘其潜在价值。具体而言，这块业务模式又可以细分为针对个人文件存储和针对企业用户两大类。其主要是通过易于使用的API，用户可以方便地将各种数据对象放在云端，然后再像使用水、电一样按用量收费。目前已有多个公司推出相应服务，如亚马逊、网易、诺基亚等。此外，运营商也推出了相应的服务，如中国移动的彩云业务。

（五）管理客户关系

客户管理应用的目的是根据客户的属性（包括自然属性和行为属性），从不同角度深层次分析客户、了解客户，以此来增加新的客户、提高客户的忠诚度、降低客户流失率、提高客户消费等。对中小客户来说，专门的CRM显然大而贵，故不少中小商家将飞信作为初级CRM来使用。比如，把老客户加到飞信群里，在群朋友圈里发布新产品预告、特价销售通知，完成售前售后服务等。

（六）个性化精准推荐

在运营商内部，根据用户喜好推荐各类业务或应用是常见的，比如，应用商店软件推荐、IPTV视频节目推荐等。而通过关联算法、文本摘要抽取、情感分析等智能分析算法后，可以将之延伸到商用化服务，如利用数据挖掘技术帮助客户进行精准营销，今后盈利可以来自于客户增值部分的分成。

以日常的“垃圾短信”为例，信息并不都是“垃圾”，而是因为收到的人并不需要而被视为垃圾。通过对用户行为数据进行分析后，可以给需要的人发送需要的信息，这样“垃圾短信”就成了有价值的信息。如，在日本的麦当劳，用户在手机上下载优惠券，再去餐厅用运营商DoCoMo的手机钱包优惠支付。运营商和麦当劳可以搜集相关消费信息，例如，经常买什么汉堡，去哪个店消费，消费频次多少，然后精准推送优惠券给用户。

（七）数据搜索

数据搜索是一个并不新鲜的应用。随着“大数据”时代的到来，实时性、全范围搜索的需求也就变得越来越强烈。我们需要能搜索各种社交网络、用户行为等数据。其商业应用价值是将实时的数据处理与分析和广告联系起来，即实时广告业务和应用内移动广告的社交服务。

运营商掌握的用户网上行为信息，使得所获取的数据“具备更全面维度”，更具商业价值。典型的应用如中国移动的“盘古搜索”。

七、大数据对经济社会的重要影响

（一）能够推动增强社会管理水平

大数据在公共服务领域的应用，可有效推动相关工作开展，提高相关部门的决策水平、服务效率和社会管理水平，产生巨大社会价值。欧洲多个城市通过分析实时采集的交通流量数据，指导驾车出行者选择最佳路径，从而改善城市交通状况。

（二）如果没有高性能的分析工具，大数据的价值就得不到释放

对大数据应用必须保持清醒认识，既不能迷信其分析结果，也不能因为其不完全准确而否定其重要作用。

由于各种原因，所分析处理的数据对象中不可避免地会包括各种错误数据、无用数据。加之作为大数据技术核心的数据分析、人工智能等技术尚未完全成熟，所以对计算机完成的大数据分析处理的结果，无法要求其完全准确。例如，谷歌通过分析亿万用户搜索内容能够比专业机构更快地预测流感爆发，但由于微博上无用信息的干扰，故这种预测也曾多次出现不准确的情况。

必须清楚定位的是，大数据作用与价值的重点在于能够引导和启发大数据应用者的创新思维、辅助决策。简言之，若是处理一个问题，通常人能够想到一种方法，而大数据能够提供十种参考方法，哪怕其中只有三种可行，也将解决问题的思路拓展了三倍。

所以客观认识和发挥大数据的作用，不夸大、不缩小，其是准确认知和应用大数据的前提。