随着无线通信技术、互联网技术、以及物联网技术的不断发展，智能终端也变得越来越普及，智能化和信息化的沟通、娱乐、办公方式促使了大数据时代的来临[1]。在这个信息为王的时代，电信运营商自身以其独特的天然优势，拥有着海量的用户数据，这些数据资源可以为运营商在市场营销、业务管理、需求分析等方面提供科学的判断依据。因此，谁能够在这个新环境下有效地利用这些数据，就能在市场中把握先机。电信数据虽然在质量上面还存在一些缺陷，但是相对于其他数据，电信大数据仍然具有其自身独特的优势和发展潜力[2]。电信大数据的优势可以体现在以下三个方面：（1）大体量：极高的用户覆盖率、大规模的用户量、以及全面的业务类型、日均数据量可达到T级别；（2）多样性：数据维度多样，以不同的事件参数或周期来记录用户行为，刻画更加立体和全面；（3）时效性：在很小的时间粒度下，快速处理、采集、记录用户行为，并实时进行统计运算和分析。因此，运营商可以通过对海量电信数据的全量采集、实时监测、安全管控、多元分析，打造新洞察能力，并融合现有的交通、电力、教育、旅游等行业数据，从而提供网络大数据公共服务。

本文的结构如下：第2节，描述大数据公共服务平台架构；第3节，在平台架构的基础上，介绍了大数据公共服务平台关键技术；第4节，给出了大数据公共服务平台应用举例；最后，总结全文。

1 大数据公共服务平台架构

本文以中国移动海南公司搭建的大数据公共服务平台为例，以功能模块的形式来分析该平台的主要架构。该大数据服务平台主要可以分为三个模块：数据管理模块、算法分析模块、以及公众服务模块，如图1所示。

1.1 数据管理模块

数据管理模块不但需要对移动通信领域的各类用户和业务数据进行采集、处理、以及整合，还需要提供各类数据的接入和分析的接口，为上层的算法分析模块做准备。此外，该模块还必须兼备数据存储、维护和管理的工作。

1.1.1 数据采集

数据采集的首要工作是根据大数据服务的需求来确定目标客户、数据范围、采集目标、以及调度安排[3]。其次，该模块需要负责将不同平台采集的各类数据进行提取、分解、转换等操作，并汇总到数据处理模块中。本平台数据采集主要分为两个方面，一是中国移动海南公司自身的平台优势，直接从集中性能平台接入和采集2/3/4G信令、MRO、GPRS、网管数据、交易数据等原始数据；二是根据不同的公众服务，与相关行业进行合作来获取用户和行业数据，例如交通、电力、教育、旅游、治安、海洋等业务数据。为了满足不同的数据需求，数据采集主要是通过DPI识别技术、智能爬虫技术、实时采集、人工测量等方式。

1.1.2 数据处理

经过不同接口机输入的数据，由于采集的海量数据具有不同的格式、特征、粒度、来源等，因此数据处理模块首先必须具有存储和处理不同类型数据的能力。首先，本服务平台使用Hadoop实现分布式的数据云计算和共享服务[4]。其次，使用HDFS、Hive、Zookeeper、HBase、Sqoop、Spark等数据库来处理和分析不同类型、规模和来源的用户数据，如LTE、MC、CSFB、Volte、DPI、GN等数据。最后，根据数据处理场景的特点，使用Kafka和Strom等组件实现数据的批处理和流处理。

图1 大数据公共服务架构图

图2 交通拥堵实时展示图

数据处理模块还需要根据具体的需求，进行不同维度的数据整合，如时间、业务场景、粒度等。数据整合主要的操作步骤可以分为：数据清洗、数据关联、数据计算、以及数据的标准化等操作。数据清洗可以滤除不完整和错误数据；数据关联可以将不同来源和种类的数据通过相同的标签进行捆绑分析；数据标准化可以实现多种数据之间的比较和计算，为数据挖掘做准备。

1.2 算法分析模块

算法分析模块主要是根据数据处理模块输入的数据从不同维度、层次、以及内容上进行挖掘，从而对客户行为进行分析，为上层应用提供科学的支撑和服务。

数据挖掘是依赖现有的用户数据，对用户的已有行为进行分析，从而预测用户下一步行为和隐藏的需求。本平台主要挖掘和分析用户属性数据、通信数据、位置信息数据、时间特征数据、以及频率统计、上网数据等来分析用户的通信行为、上网行为、用户偏好等[5]。基于基础数据，本平台利用聚类分析[6]、决策树、回归分析、统计分析[7]等数据分析方法来发现数据规律和现象，从而提供决策的量化依据。例如，本平台根据用户的小区信息以及接收的信号强度计算出用户位置，并持续观察和统计大量的用户位置信息。基于大数据信息，利用聚类分析算法得到人流的习惯路线，并结合数据库中的道路规划数据，实现智能交通管控。

文章来源：《电脑与电信》 网址: http://www.dnydxzz.cn/qikandaodu/2021/0622/1302.html