中石油旗下车辆运输企业大数据中心案例介绍

1. 项目概述

中石油旗下某车辆运输企业,在项目一期建设了基于传统架构宝石花车辆监控平台,平台中多个业务系统均以传统软件架构实现,随着车辆的增多及路线的不断扩展,受技术力量限制和随着服务范围的扩大,一期建成的 GPS 定位监控平台存在监控功能不全面、系统稳定性不够、服务能力差、海量 GPS 数据无法分析利用等问题。为了对多业务系统数据整合并再利用,该企业提出了数据中心建设的想法,通过对技术架构进行重新设计,对功能进行深入挖掘,实现对海量数据的存储管理、分析挖掘,为下一步危化品公路运输综合服务平台的建设打下坚实的基础。

2. 需求分析

基于对该车辆企业现存问题的深入调研,从大数据的角度,对项目的需求分析如下:

整合各个业务系统数据。集中访问分散在各个业务系统的数据,实现资源的统一存储与管理,通过统一规范化接口,实现数据共享。

优化利用海量数据。充分利用与日俱增的海量数据,对大数据平台与各业务系统的数据进行联动分析、和深度挖掘等,为企业的领导决策提供数据依据。

实时监管数据资源,异常事件即刻处理。通过对数据资源、权限管控的多方面管理与监控,及时对突发事件做出响应,提升应急调度能力。

3. 解决方案

3.1 解决思路

针对项目需求,建立车辆运输企业大数据中心,通过对数据的实时处理、及时检索、优化存储、智能分析等,实现车辆运输数据的统一存储管理和利用,保证数据的及时响应、全程监控。项目采用赛思核心产品DataFusion大数据存储与管理产品(包括大数据的集成引擎、iDriller分布式数据仓库等核心功能引擎及产品)、DataVision大数据智能分析平台等产品的结合实现车辆运输企业大数据中心的建成。

3.2 拓扑架构

针对项目需求,设计车辆运输企业大数据中心的逻辑拓扑图如下:

网络拓扑图

如上图,系统的网络拓扑图包括客户端集群、管理节点、元数据节点集群和数据节点集群:

· 客户端集群上包含了加载客户端和查询客户端。加载客户端负责将数据加载到系统中,查询客户端提供对外接口,供用户进行查询、检索等操作。加载客户端与业务系统可以部署到一起,完成数据抽取功能;

· 管理节点负责集群负载均衡、监控等功能;

· 元数据节点对元数据进行管理;

· 数据节点是数据真正存放的地方,主要负责数据存储、计算等。

3.3 逻辑架构

在华油二期建设过程中,充分遵从石油运输的业务特性,以“数据为导向” ,从数据的采、存、管、用四个方面入手,充分考虑平台的先进、稳定、安全、冗余等特性,在该项目中,中心的逻辑架构设计如下所示。

整体逻辑架构图

针对项目需求,将中心的整体逻辑分为如上多个部分,包括虚拟化层、数据层、核心服务层、软硬件一体化监控平台、外部服务层、接入层。在数据层实现对数据分类存储,包括关系型数据库、内存数据库、图像信息数据库等;在核心服务层主要实现对数据的计算及管理,包括车辆信息管理、报警计算服务、协议解析服务三方面的核心服务,及多维分析计算和并行计算;数据通过服务基础框架实现与外部服务层的对接,提供对外部服务集群、实时计算集群、视频接入、手机APP等外部服务的的支持;另外,系统可以实现数据的综合分析,包括车辆调度、日志审核等;在系统运维方面,采用软硬件一体化监控平台,实现包括对软件、硬件、服务三方面的运行状况的实时监控与管理。

系统采用赛思的多个大数据产品套件:赛思数据集成引擎、赛思大数据存储与管理产品DataFusion、赛思分布式数据仓库系统(iDriller)、赛思大数据智能分析平台DataVision。

4. 实施效果

通过车辆运输企业大数据中心的建立,为企业实现了如下效果:

1) 提升运输业务的管控能力

监控信息在系统的保存周期延长到 36 个月,集群初期容量可达350TB,支持横向扩展,支持在线扩展。运输公司业务部门可根据运输车辆的类型、车型、司机等信息实时查询其历史行为、进行行车轨迹回放。

2) 路线和运输公司、配送公司、车辆、驾驶人等信息统一管理

增强了运输公司调度部门对车辆的监管能力。运输公司业务人员可以从 100 亿条监管数据中轻松检索被监测运输车的行车轨迹,查询耗时仅为 10 秒左右;支持SQL-LIKE语法,提供精确检索、模糊检索、聚合统计、多表关联等功能。

3) 便捷利用关联车辆的分析数据

实现 100 亿条实际监管数据和相关业务系统(ERP)的整合,提供大数据管理平台与业务系统数据联动分析,进行车辆维修保养和车辆事故的复杂预测分析等。

4) 引入APP

通过移动APP的引入,在资源平台的共享的基础上,实现运输公司管控人员、调度人员、业务人员、司机等对象的实时交互能力。

总部电话:86-010-82270056   传真:86-010-82075018

总部地址:北京市朝阳区霞光里8号承冀诚大厦二层

 

技术培训

大数据课程

工信部认证

人力资源服务

关于赛思信安

招贤纳士

联系我们