（5.4）大数据和数据挖掘技术：

随着移动通信、多媒体信息、5G通信、物联网、视频监视系统、自媒体等新信息技术的应用，网络信息海洋上的数据量以惊人的速度增长。这些以数据形式存在于互联网上的信息是人类面对物质、能量资源之后的又一种社会发展资源。人类对于物质和能量资源的应用已经有很长的历史了，但是对于如何利用信息资源来为人类社会发展服务的技术可以说刚刚处于起步阶段。知识信息对于提高社会生产力的重要性人类早就认识到了，但是以前的知识都来自大脑的智力活动。随着信息技术的发展，直接通过信息数据利用机器来产生能够促进社会发展的知识生产力，与人类利用机器来使用物质和能量发展社会生产力一样也成为可能。数据资源在社会发展中的价值越来越重要。

这种被称为“大数据”的信息资源具有数据规模巨大，数据快速流动变换，数据类型多样，信息提取的价值密度低等特点。大数据已经大大超出了传统数据库系统的数据处理能力，必须发展新的数据处理技术来利用大数据资源。目前已经出现了如：大规模并行处理分布式数据库系统，云计算平台，人工智能机器学习，数据挖掘等技术。但是这些技术多数还处于研究阶段，比较能够实际应用的大概只有数据挖掘技术。

利用大数据资源来训练机器，让机器通过学习得到能够完成某些功能的算法和程序（机器学习）的研究也取得了比较好的进展。著名的例子是经过训练的Alphago计算机系统可以获得很高的下棋的能力，甚至能够战胜世界级的围棋冠军。所以大数据资源将是通过机器学习改进人工系统性能的数据“营养”，将会成为物质、能量资源以后的第三大社会资源。如何开发利用大数据资源正在研究开发中，对大数据的利用也成为信息社会的一项标志性的技术。

有专家指出：“大数据、移动互联网、社交网络、云计算、物联网等新一代信息技术构成的IT架构“第三平台”（第一平台是指集中式的大型主机，第二平台是指服务器 / 客户端应用模式的互联网平台，第三平台是指移动互联网、云计算、社交网络、大数据、物联网等构成的新一代 IT 架构。）是信息社会进入新阶段的标志，对整个经济的转型有引领和带动作用。媒体上经常出现的互联网+、创客、“第二次机器革命”、“工业4.0”等都与大数据和云计算有关。大数据和云计算是新常态下提高生产率的新杠杆，所谓创新驱动发展就是主要依靠信息技术促进生产率的提高。”——《对大数据的再认识》李国杰。所以大数据不仅仅是可以产生社会效益的信息资源，随之而带来的技术进步将会与第一次，第二次工业革命一样对人类社会发展带来革命性的变化。

目前人工系统从信息数据中发现知识的比较成功的是数据挖掘技术。数据挖掘技术是利用计算机的高速处理能力在大型数据库的存储数据中自动地发现有用知识信息的过程。传统数据库技术是人工信息处理中发展比较成熟的技术，数据库中的数据一般已经经过筛选整理，按照一定的规则进行存储，由计算机数据库管理软件进行管理。所以科学家首先希望从这些初步整理的数据库数据中，利用机器处理方法找出一些规律性的高级信息，帮助人们提高信息使用效率。甚至进一步能够获得一些“知识性的高级信息”。

对一个企业来说，数据挖掘可以按企业既定业务目标，对大量的企业数据进行探索和分析，揭示隐藏的、未知的或验证已知的规律性，并进一步以模型化的知识描述为企业业务开展提供帮助。比如通过收集、加工和处理涉及消费者消费行为的大量信息，确定特定消费群体或个体的兴趣、消费习惯、消费倾向和消费需求，进而推断出相应消费群体或个体下一步的消费行为。进而可以帮助企业进行产品生命周期策略分析，市场细分，合理的产品策略和定价策略，产品营销策略，优化促销活动等。以企业收集的直接生产数据为基础，经过数据挖掘处理可以得到一些高级信息，为企业的生产活动提供帮助。