某中心用户上网详单管理平台案例介绍

1. 项目概述

某中心管辖全国31个省份的网络访问信息,随着数据量增长率越来越大,该中心处理用户访问信息的难度越来越大,如现有系统架无法实现系统规模的在线横向扩展、无法进行跨地域扩展部署、无法在千亿级规模下对网络访问记录进行高效检索等。该中心希望新建一套用户上网详单管理平台,对全国用户的网络访问信息进行统一管理和高效检索。要求该平台解决现有的业务痛点,能够实现全国31个省市跨地域部署和系统架构的横向可扩展性,并实现对全国网络访问信息进行高效检索和访问。

2. 需求分析

针对该中心对网络访问数据的管理现状及新建用户上网详单管理平台的要求,进行了如下详细的分析:

检索数据跨全国31个省份,现有系统无法实现跨地域部署。要求新建平台满足可针对地域要求构建跨地域的数据中心,实现全国各省份的网络访问数据的统一管理和检索访问。数据规模增长迅速,现有系统没有采用Share-nothing架构,缺乏横向扩展能力,要求新建平台具有灵活的横向扩展能力,可快捷实现平台规模的横向扩展。现有邮件系统无法实现对千亿级规模的网络访问记录的高效检索。要求新建平台能够实现千亿级规模网络访问记录的高效检索和访问。

3. 解决方案

3.1 解决思路

基于上述对该中心需求的分析,可通过部署赛思股份公司的分布式数据仓库(iDriller)来实现该中心对全国31个省份跨地域系统部署。由于系统设计采用Share-nothing架构,因此采用iDriller搭建该中心用户上网详单管理平台可以很好的实现灵活的横向扩展能力,和传统关系型数据库的垂直扩展能力相比,iDriller可支持数据节点在线横向扩展,甚至系统的存储能力、计算能力都会随着数据节点增加呈近线性增加。由于iDriller产品本身就是为解决用户在海量信息中实现高效检索查询而设计的,可针对用户在千亿级规模下网络访问记录的高效检索和访问实现秒级内响应。

3.2 拓扑架构

赛思股份为该单位设计的用户上网详单管理平台架构拓扑示意图如下:

上述拓扑图中主要体现了赛思股份公司的分布式数据仓库(iDriller)的分部署部署方式和数据中心系统的架构设计。iDriller上网详单管理平台实现了以北京为一级中心、31个省份为二级中心的跨地域数据中心管理平台,集群规模达上千个节点,且支持在一级中心对全部二级中心的数据进行统一管理和访问。北京数据中心对全国用户网络访问数据进行集中存储和管理,各个省份的数据中心对本省数据进行独立存储和管理并将数据上传到北京数据中心。北京数据中心和各个省份的数据传输方式是通过在公网架设虚拟专用网络VPN进行数据加密传输的。每个数据中心均是由iDriller元数据节点和数据节点构成的服务器集群以及用户访问的客户机组成。数据中心的网络访问数据存储在分布式存储平台或分布式文件系统中,其中分布式文件系统部署在存储计算虚拟资源池中的计算节点和存储节点构建的虚拟环境中。根据业务系统提交的的检索请求,将任务进行拆分与调度,然后通过流计算引擎、数据分析引擎、分布式分析引擎、数据检索引擎等对任务进行执行调度,之后将每个节点的计算结果进行汇聚与拼装,将最终任务查询的结果在业务系统UI界面上以适当的可视化方式展现。

3.3 逻辑架构

赛思股份为该单位设计的用户上网详单管理平台的逻辑架构图如下:

上述架构图中根据数据的流向分为数据采集、数据处理、数据存储、还是数据应用四部分。其中数据采集主要是对互联网网络访问数据进行分光、上报等操作;然后对采集的数据进行数据预处理,主要包括抽取、转换、加载等预处理操作;数据预处理完成后将存放到响应的赛思分布式数据仓库iDriller集群中,其中存储的数据主要有IP地址库、ICP/IP备案库、DNS域名解析等数据,还有一些业务数据、基础数据和中间数据;该中心基于这iDriller集群中存储的数据进行高效检索查询,从而实现如IP地址比对、用户上网历史快速溯源、互联网综合管控等业务功能。

4. 实施效果

该中心通过部署赛思分布式数据仓库iDriller的集群为该中心搭建了用户上网详单管理平台,不仅实现了平台跨地域分布式部署,而且实现了全国网络访问数据的统一存储管理和高效检索查询,彻底解决了该中心现有业务系统在部署和使用过程中的难点,尤其是在海量数据存储的能力和高效检索的性能远远超出用户的预期。

该平台设计原始文本数据按照规则进行数据清洗转换的频率为每天一次,平台数据存储容量可达5PB,可存储190000亿条记录,并且在万亿级规模下数据检索时实现了秒级响应。在业务层面上实现了上网历史快速溯源、互联网综合管控、IP地址比对等功能。

总部电话:86-010-82270056   传真:86-010-82075018

总部地址:北京市朝阳区霞光里8号承冀诚大厦二层

 

技术培训

大数据课程

工信部认证

人力资源服务

关于赛思信安

招贤纳士

联系我们