某单位情报管理与分析系统案例介绍

1. 项目概述

随着某单位业务信息的不断积累增加,该单位业务数据量越来越大,且业务系统建设相互独立,多个业务系统间数据相互隔离;系统数据种类多样,有传真、邮件、视频、图片等,由于现有业务系统不支持这些格式数据的抽取,也无法基于这些格式的数据进行内容分析,因此这些格式的数据无法得到进一步深层次的利用,无法满足业务系统情报分析的需求;业务系统间存在着数量达十亿规模的小文件,如传真、邮件等,现有系统无法对这些小文件进行统一管理,文件检索访问速度也非常慢,不利于该单位业务系统的正常运营和使用。

由于该单位组织结构跨越多个地市,单位间系统规模也比较庞大,上述问题也给单位运作带来了很多不便,耗费了大量的人力物力成本,因此该单位希望新建一套情报管理与分析系统,以解决面临的几大难题,并实现各系统间数据的统一存储和协同分析,同时减少现有业务系统数据的人工维护量,从而节省信息建设的投入成本,提高数据信息的综合管理能力。

2. 需求分析

针对该单位面临的业务问题和使用痛点,进行了如下分析:

该单位组织机构跨越多个地市,现有系统数据跨地域使用困难,因此新建情报管理与分析系统在系统架构部署方面应满足系统跨地域部署,且系统规模根据业务需要可实现灵活扩展。业务系统彼此独立建设,系统间数据相互隔离,无法实现系统间数据的检索分析,因此新建情报管理与分析系统需将各业务系统数据进行统一存储管理,并实现多业务系统间数据的协同分析。系统数据种类多样(如传真、邮件、视频、图片等),现有系统无法支持对某些数据格式的抽取和某些格式数据内容的检索导致该单位无法充分利用这些数据。因此新建情报管理与分析系统需支持所有系统数据格式的抽取,同时支持系统数据基于内容的检索。业务系统间存在着数量达十亿规模的小文件(如传真、邮件等),现有系统无法对这些小文件进行统一管理,且由于数量庞大导致文件检索访问速度很慢,因此新建情报管理与分析系统需满足大数据量的高效检索访问,且能够对小文件进行统一存储管理。综上分析,该单位新建情报管理与分析系统需要进行跨地域系统部署,且可灵活扩展;实现各业务系统间数据(包括小文件)统一存储管理,并实现基于文件内容的高效检索和访问。

3. 解决方案

3.1 解决思路

基于上述对该单位需求的分析,可通过部署赛思大数据管理平台(DataFusion)、赛思海量文件内容管理系统(fileFusion)、赛思智能分析系统(DataVision)来实现该单位的业务需求。其中赛思大数据管理平台(DataFusion)包含赛思分布式数据仓库(iDriller)、赛思企业级Hadoop系统(iHadoop)两个产品,iHadoop实现各业务系统数据的统一存储管理、iDriller实现海量存储数据的高效检索和访问,在千亿级规模下数据量的高效检索和访问时可实现秒级内响应;fileFusion实现十亿规模小文件(传真、邮件等)的文件内容的检索和访问、DataVision实现基于存储数据进行业务系统间数据的协同分析。该单位情报管理和分析系统的部署时可采用二级结构的跨地域分布式部署方式,建设一个一级中心和多个二级跨地域的二级中心,实现系统跨地域部署的同时,满足系统规模根据业务需要进行灵活的横向扩展。

3.2 拓扑架构

根据赛思股份公司大数据平台分布式部署经验和此项目的业务需求,为该单位设计的情报管理与分析系统设计的分布式架构拓扑示意图如下:

上述拓扑图主要包括数据接入子系统、数据存储子系统、智能检索分析子系统、数据应用子系统和系统运行管理子系统及网络连接所需交换机设备等构成。数据接入子系统实现接入数据源的加载和预处理等操作;数据存储子系统将经过预处理的数据进行统一存储;智能检索分析子系统对存储的数据进行实时流计算和基于各种算子的智能分析;数据应用子系统对外提供WEB应用服务;系统运行管理子系统对整个系统进行统一的运维管理。其中数据接入子系统包含采集服务器、预处理服务器、数据加载服务器、数据库服务器以及磁盘阵列、SAN交换机等组成,每台服务器2个千兆网卡;数据存储子系统包含管理节点集群、元数据节点集群、数据节点集群、数据仓库管理服务器、数据仓库服务器以及磁盘阵列、交换机等,每台服务器2个千兆网卡;智能检索分析子系统包含管理节点集群、元数据节点集群、计算节点集群等,每台服务器2个千兆网卡;数据应用子系统包含数据管理集群、计算节点集群,每台服务器2个千兆网卡;系统运维管理子系统包含管理服务器、监控服务器、配置服务器,每台服务器1个千兆网卡。网络连接方面,数据接入子系统内各服务器通过交换机连接到核心汇聚交换机和外网,数据库服务器通过SAN交换机连接磁盘阵列设备;数据存储子系统各服务器直接连接核心汇聚交换机,数据仓库服务器通过SAN交换机连接磁盘阵列;智能分析子系统、数据应用子系统、系统运维管理子系统中各服务器均直接连接核心汇聚交换机。另外,各子系统服务器均连接IPMI交换机,通过KVM实现服务器的远程连接管理。

3.3 逻辑架构

根据该单位具体业务需求及赛思股份公司产品的功能模块间的逻辑关系,为该单位情报管理与分析系统设计逻辑架构如下所示:

上述逻辑架构包含接入层、数据存储层、应用服务层、应用组件层、接口层、业务层组成。其中接入层对接入的数据源进行数据抽取、数据转换、数据清洗等数据预处理,通过工作流管理对数据流进行统一调度。数据存储层主要包含分布式数据仓库、海量文件内容管理系统、企业级分布式文件系统三部分:iDriller进行业务系统的高效查询检索,iHadoop进行离线复杂分析任务的处理,FileFusion负责海量文件内容的管理。应用服务层提供SOA服务中心,具体可提供数据服务、资源服务、分析服务和流程服务,主要用于应用组件层对数据存储层数据的调用。应用组件层由数据检索引擎、智能分析引擎、流程管理组件、数据操作组件、跨网交互组件、报表组件组成,主要实现数据的高效检索、智能分析、流程管理等功能。接口层主要对业务层提供各类接口,如统一身份认证接口、数据内容操作接口、应急处置管理接口、多语言编程接口等。业务层实现各个系统功能体系的页面展示,如业务支撑功能体系、系统管理功能体系、审计管理功能体系、安全管理功能体系。

4. 实施效果

通过部署赛思大数据管理平台(DataFusion)、赛思智能分析平台(DataVision)、赛思海量文件内容管理系统(FileFusion),并在部署平台的基础上进行定制开发工作,完全满足了该单位对情报管理与分析系统建设的各项要求。

该系统不仅实现了系统的跨地域分布式部署,解决了现有业务系统规模无法顺利扩展的问题;而且实现了各业务系统间数据(传真、邮件、视频、图片等)的统一存储管理和高效检索,以及跨业务系统间的数据协同分析,解决了业务系统彼此孤立,各系统数据无法进行更深入更有效利用的问题;甚至实现了十亿级规模小文件(邮件、传真等)的统一管理与基于小文件内容的全文检索,彻底解决了该该单位在小文件管理和使用方面的问题。该系统在海量数据存储的能力和高效检索的性能上实现了秒级内响应,远远超出了该单位的预期。

总部电话:86-010-82270056   传真:86-010-82075018

总部地址:北京市朝阳区霞光里8号承冀诚大厦二层

 

技术培训

大数据课程

工信部认证

人力资源服务

关于赛思信安

招贤纳士

联系我们