智慧消防数据采集-智慧消防数据中心系统建设方案

通过消防大数据平台，为企业事业单位和个人提供火灾危险通报、火灾通报、业务处理、信息查询、知识技能学习等方便高效的服务。提供更强大的数据基础，破解信息化发展瓶颈，与大数据相关的物联网技术、云计算技术，能够迅速进行各种数据的全面收集和传输，不是单一的，而是基于完整的数据图谱分析。

1.1             数据中心设计

数据中心以浪潮、华为等国有自主核心技术为基础建设，包括机房装修、网络的部署、设施设备的安装调试等。有条件的地方，建议采用租用政府云计算中心的方式建设。

1.1.1       基础环境系统建设方案

本项目数据中心以浪潮、华为等国有自主核心技术为基础建设，包括机房装修、网络的部署、设施设备的安装调试等。有条件的地方也可租用政府云计算中心资源，机房基础环境及所需的网络安全、计算资源和存储资源由其负责。

1.1.2       数据库系统建设方案

“中心智慧消防”数据库（以下简称“数据库”）用于梳理消防相关各种数据资源，为消防业务提供基础数据服务。数据库设计是否合理，对本系统各个应用起极其重要作用，数据库的建设不是一朝一夕可以完成，是循序渐进的过程，涉及的数据不可能一次性获得，是分批分次的进行，本项目建设数据库过程将遵循“统筹规则、分期实施”的原则展开。

1.1.2.1              基础数据库建设

本项目主要完成机构（单位）信息基础数据库、人员信息基础数据库、物品信息基础数据库、事件信息基础数据库、地理信息基础数据库、其他信息基础数据库等六类。

（1）总体设计

本项目基于分布式存储技术建设基础数据库；

本项目提供统一的数据标准体系来构成基础数据库，各单位接入数据；

提供基于数据交换与共享系统之上的基础数据库建设，采用统一的用户登录、申请授权、安全认证，保证数据的规范性和安全性；

提供数据的权威性、正确性和可用性的基础数据库；

提供统一的数据管理规范，保证数据发布、共享、质量的可监控、可追溯；

提供基于消防基础数据库的GIS地图完美结合，对机构（单位）情况、人员情况、消防业务情况等统计分析等信息的展示；

提供相关的消防数据档案，有效的显示消防的相关基本信息内容。

（2）基础数据库管理

l  信息归集

数据编目：依托信息资源目录，提供对消防安全各管理部门有关消防相关信息，建立、发布和维护人员登记、许可审批信息资源目录结构，各单位编目、注册，相关使用部门检索使用。

数据交换：通过统一的消防资源目录分类从较高层次的系统架构于内容格局上解决信息兼容问题，从根本上消除“信息孤岛”。通过本项目建设的信息资源目录，为消防相关信息共享、数据交换、资源整合提供基础。

数据桥接：提供扩展性良好的数据抽取、清洗、关联模型，实现数据有序地加载到基础库数据库中，建立数据处理规范、外部数据源管理、元数据管理平台、数据处理系统、数据监控等服务。

l  数据查询与服务

归集数据查询：提供可通过多种方式进行消防相关信息归集数据的查询。可按不同的资源目录分类查询相关数据。通过不同的目录、组合条件查询数据项和相关详细信息。

综合查询：实现对消防相关信息数据的查询检索应用，利用综合查询为消防业务提供对基础数据的多种查询检索服务，包括组合查询、关联查询、主题库查询等。

接口服务：基于开放式标准规范体系，通过主流技术，在不需要平台供应商的支持下实现无障碍的数据接入。

l  数据共享与使用

提供按照统一的数据标准提供相应的数据共享；提供可根据数据交换与共享系统订阅相关数据的功能；提供通过相应服务接口获取相关数据的功能。

l  数据统计及决策

统计分析：建立统计分析功能，能够按照工作人员的要求将统计结果直观的提供出来，并可将统计结果生成各类图形，并重点提供对消防相关数据的“动态监测”功能。可以根据工作人员的要求快速、灵活地进行大数据量的查询处理和汇总统计。具备报表生成功能，可按一定规则生成报表。能够直观易懂将查询结果提供给工作人员，以便他们能准确掌握消防相关状况。支持各类统计图形的生成，如：可生成柱状图、曲线图、饼图等。提供对汇总数据的综合分析功能，能够多种复杂的分析操作。

决策支撑：利用消防相关信息进行多类型、多层面的分析研究，建立固定的分析模型。以表格、统计图和专题等表现形式为载体展现和分析数据。

l  数据安全与管理

提供统一用户和权限验证服务，实现统一和批量的授权操作；提供安全的用户登录，保证登录的安全性；提供共享和传输数据的统一加密，保证数据的安全性；提供统一日志记录、查询等服务，使管理员了解系统目前的状态。

1.1.2.2              业务数据库建设

消防业务数据库是基于消防基础数据库的业务性扩展数据库。消防业务数据由根据消防业务应用需要而扩展的各类指标项构成，是一种动态的、不断扩充的业务数据模式，是消防数据的“目”，指标项来自各类消防智慧应用的建设。

1.1.2.3              主题数据库建设

主题数据库由各类专题应用类数据库构成。主题数据是通过对基础数据、业务数据进行清洗、挖掘、分析后形成的有特定应用场景的服务型数据集，为各应用部门提供融合后的专题应用资源服务。

主题数据库主要是消防安全各管理部门的专属数据库，该数据库是共享的基础数据库的主要数据来源。对该数据库的存取必须拥有相关的权限，并通过用户认证。基于“智慧消防”云数据库，自定义分析主题，开展辅助决策功能。

1.1.3       数据接口及服务建设方案

（1）开发接口服务

本系统提供开发接口服务，支持开发者或应用开发商调用系统提供的服务和自己的业务应用进行集成，或是开发基于“智慧消防应用平台的应用系统。“智慧消防”应用平台提供二次开发包、webservices开发接口，以满足不同的开发用户需要。

（2）数据服务系统

数据服务系统的服务内容为基础数据、业务数据和主题数据。系统提供服务申请、审核、使用等管理功能和服务注册、上架、撤销等维护功能。通过建立数据服务系统，将达成以下目标：

建立严格的数据服务管理，数据的使用必须遵循申请～审核～使用的管理流程；

提供数据服务本身的注册、上架、撤销等服务维护功能，支持服务的动态配置；

数据服务须提供动态扩展能力，能支持大用户量并发访问。

（3）动态扩展服务

l  时空信息承载服务

实现具备时间、空间特性的公共数据库数据的可视化展示和管理，通过与3S 技术（GPS、GIS、RS）结合，可以构建各种时空可视化的信息系统。同时，基于业务数据的信息资源图层也可以通过服务的时空化接口功能来进行快速制作，从而大大降低了信息资源图层更新的成本和复杂度。

l  专题数据挖掘服务

功能主要分为多维数据透视和信息综合挖掘，系统的数据来源为基础数据库与业务数据库，系统产生的分析成果数据以主题数据形式存储于主题数据库。

1.2             监控中心设计

监控中心用于实现对辖区消防安全远程集中监督，管理坐席、监管电脑及网络构成。监控人员通过监管电脑浏览器远程登入数据中心系统，进行辖区消防安全监督管理，把控辖区消防安全态势。对发生异常的消防设施和未履行消防安全管理工作的单位和人员，立刻告之并敦促整改，促使各级部门和人员落实消防安全责任。

1.3             应用支撑系统设计

应用支撑系统是面向Java技术的开发平台，应无缝支持主流的商业中间件产品，包括Websphere、Weblogic、TongWeb、Apachi Tomcat、GIS等，这样将为用户选择合适的应用中间件提供自由的空间。

1.3.1       服务构件

服务构件层提供了若干个基础服务构件，包括SOA服务调度、物联应用服务、流程协同服务、移动应用服务、通用视频服务、通用数据服务、运维应用服务、管理应用服务、分析决策服务、数据治理服务等构件。其主要任务是为多应用系统开发、运行管理提供基础资源配置、组织机构及用户授权、数据接入与整合、数据应用以及面向服务架构的服务管理和调度。

（1）SOA服务调度：SOA本质强调“松耦合”的架构，以服务形式进行封装。从应用开发的层次看，一方面应用支撑平台的统一授权和认证、工作流、数据应用、数据交换等服务均可以Web服务的形式进行封装，然后提供给应用系统调用，另一方面，面向业务的应用软件开发过程中，可以将共性的业务形成服务注册到平台中，然后通过、问服务的方式进行调用。

（2）物联应用服务：提供面向异构物联网的协议解析及接入服务。

（3）流程协同服务：提供基于工作流的业务流程的自动化、智能化和整合化管理。

（4）移动应用服务：提供移动应用的注册、管理、同步等服务。

（5）通用视频服务：提供视频流的接入、分析、管理、点播和录制等服务。

（6）通用数据服务：提供数据检索、交换等通用服务。

（7）运维应用服务：提供系统运行数据及应用监控的服务。

（8）管理应用服务：提供基础资源配置、组织机构及用户授权等服务。

（9）分析决策服务：提供数据统计分析服务。

1.3.2       数据可视化工具

本项目数据可视化工具采用成熟的开源软件Echart。

数据可视化工具可以运行在 PC 和移动设备上，可提供各类数据可视化图表，包括常规的折线图，柱状图，散点图，饼图，K线图，用于统计的盒形图，用于地理数据可视化的地图，热力图，线图，用于关系数据可视化的关系图，树形图，多维数据可视化的平行坐标，用于 BI 的漏斗图，仪表盘等，并支持动态特效图表。

1.3.3       支撑软件

（1）操作系统

操作系统是位于硬件之上、所有其他系统软件之下的系统软件，使得管理系统中的各种软件和硬件资源得以充分利用，方便用户使用计算机系统。本项目建设操作系统与市级平台一致，配置5套操作系统，用于智慧消防5个应用系统。

（2）虚拟化软件

虚拟化软件可以让主体服务器建立与执行一至多个虚拟化环境，形成可以动态管理的“资源池”实现IT资源的动态分配、灵活调度、跨域共享，提高IT资源利用率。从而提高资源的利用率，简化系统管理，实现服务器整合，让IT对业务的变化更具适应力。本项目虚拟化软件由数据中心统一部署。

（3）数据库软件

根据建设需要，本项目需配置数据库软件1套，部署在智慧消防数据库服务器上，用于本项目结构化业务数据的读、写服务。

（4）中间件软件

中间件软件包括基于SOA的服务总线（ESB）中间件、消息中间件等。

（5）数据备份软件

数据备份是保护数据与数据恢复的重要前提，数据备份软件可使备份后的数据完整、快速、简捷、可靠地恢复原有系统。

1.4             数据库设计

智慧消防数据库（以下简称“数据库”）用于梳理消防相关各种数据资源，为消防业务提供基础数据服务。数据库设计是否合理，对智慧消防各应用平台起极其重要作用，数据库的建设不是一朝一夕可以完成，是循序渐进的过程，涉及的数据不可能一次性获得，是分批分次的进行，本项目建设数据库过程将遵循“统筹规则、分期实施”的原则展开。

1.4.1       基础数据库建设

本项目主要完成基础信息库和消防业务信息库。

（1）总体设计

l  本项目基于分布式存储技术建设基础数据库；

l  本项目提供统一的数据标准体系来构成基础数据库，单位接入数据；

l  提供基于资源共享交换的基础数据库建设，采用统一的用户登录、申请授权、安全认证，保证数据的规范性和安全性；

l  提供数据的权威性、正确性和可用性的基础数据库；

l  提供统一的数据管理规范，保证数据发布、共享、质量的可监控、可追溯；

l  提供基于消防基础数据库的GIS地图完美结合，对人员情况、单位（机构）情况、消防业务情况等统计分析等信息的展示；

l  提供相关的消防数据档案，有效的显示消防的相关基本信息内容。

（2）基础数据库管理

l  信息归集

数据编目：依托信息资源目录，提供对消防相关信息，建立、发布和维护人员登记、许可审批信息资源目录结构，各单位编目、注册，相关使用部门检索使用。

数据交换：通过统一的消防资源目录分类从较高层次的系统架构于内容格局上解决信息兼容问题，从根本上消除“信息孤岛”。通过本项目建设的信息资源目录，为消防相关信息共享、数据交换、资源整合提供基础。

数据桥接：提供扩展性良好的数据抽取、清洗、关联模型，实现数据有序地加载到基础库数据库中，建立数据处理规范、外部数据源管理、元数据管理平台、数据处理系统、数据监控等服务。

l  数据查询与服务

归集数据查询：提供可通过多种方式进行消防相关信息归集数据的查询。可按不同的资源目录分类查询相关数据。通过不同的目录、组合条件查询数据项和相关详细信息。

综合查询：实现对消防相关信息数据的查询检索应用，利用综合查询为消防业务提供对基础数据的多种查询检索服务，包括组合查询、关联查询、主题库查询等。

接口服务：基于开放式标准规范体系，通过主流技术，在不需要平台供应商的支持下实现无障碍的数据接入。

l  数据共享与使用

数据质量：对于各系统提供的数据进行质量核查，并有相应的处理流程和结果反馈，最后形成各系统提供数据的质量报告，并进行统计排名和分析。

数据共享使用：提供按照统一的数据标准提供相应的数据共享；提供通过相应服务接口获取相关数据的功能。

l  数据统计及决策

统计分析：建立统计分析功能，能够按照工作人员的要求将统计结果直观的提供出来，并可将统计结果生成各类图形，并重点提供对消防相关数据的“动态监测”功能。可以根据工作人员的要求快速、灵活地进行大数据量的查询处理和汇总统计。具备报表生成功能，可按一定规则生成报表。能够直观易懂将查询结果提供给工作人员，以便他们能准确掌握消防相关状况。支持各类统计图形的生成，如：可生成柱状图、曲线图、饼图等。提供对汇总数据的综合分析功能，能够多种复杂的分析操作）。

决策支撑：利用消防相关信息进行多类型、多层面的分析研究，建立固定的分析模型。以表格、统计图和专题三种表现形式为载体展现和分析数据。

l  数据安全与管理

提供统一用户和权限验证服务，实现统一和批量的授权操作；提供安全的用户登录，保证登录的安全性；提供共享和传输数据的统一加密，保证数据的安全性；提供统一日志记录、查询等服务，使管理员了解系统目前的状态。     

（3）基础信息数据库管理门户

l  信息管理门户

建立基础信息数据库管理门户，为消防基础信息建立相应信息栏目，并将消防相关数据与统计分析信息在管理门户中进行展现。系统界面简洁美观，能够展现主要数据信息。

l  档案信息公示

提供消防相关信息资源数据档案，进行后台配置，前台展示的效果。

l  数据归集排名

对消防相关接入数据进行统计汇总，并对数据进行排名和问题显示。

1.4.2       业务数据库建设

消防业务数据库是基于消防基础数据库的业务性扩展数据库。消防业务数据由根据消防业务应用需要而扩展的各类指标项构成，是一种动态的、不断扩充的业务数据模式，是消防数据的“目”，指标项来自各类消防智慧应用的建设。

1.4.3       主题数据库建设

主题数据库由各类专题应用类数据库构成。主题数据是通过对基础数据、业务数据进行清洗、挖掘、分析后形成的有特定应用场景的服务型数据集，为各应用部门提供融合后的专题应用资源服务。

主题数据库主要是消防各部门的专属数据库，该数据库是共享的基础数据库的主要数据来源。对该数据库的存取必须拥有相关的权限，并通过用户认证。基于消防大数据实战应用平台信息共享库，自定义分析主题，开展辅助决策功能。

1.5             数据处理和存储系统设计

1.5.1       存储系统建设

本项目的存储系统建设采用“虚拟化分布式存储+集中存储”方式进行建设。

（1）虚拟化分布式存储

在虚拟化分布式存储架构中，每台服务器同时也是一个存储节点。除了安装平台软件的系统盘外，每个节点上的其他所有磁盘空间（包括系统盘的剩余分区）都能被用于虚拟化存储。虚拟化存储会使整个LUN尽量均匀分布在所管理的全部节点和物理磁盘上，这样的设计使得对LUN的I/O操作能利用整个系统中全部节点和磁盘的性能。当管理员创建一个LUN时，虚拟化存储并不会马上为该LUN分配实际的物理存储空间，而是采用精简模式，在有数据写入的时候才分配存储空间。精简模式使用户在存储空间有限时，能按未来的业务发展需要提前规划LUN的容量。本期项目配置1套分布式存储软件。

（2）集中存储

本项目配置1台光纤存储虚拟化控制器（双节点）完成存储虚拟化的控制和管理。光纤存储虚拟化控制器具备冗余结构设计，实现链路层的冗余和故障容错。

配置2台磁盘阵列，数据容量不少于200TB，对两台磁盘阵列进行虚拟化整合，构建光纤存储资源池，以虚拟化的逻辑磁盘方式对外提供存储服务。FC存储柜采用高速光纤磁盘，并配置RAID+HotSpare策略，保证存储系统的高可用性。光纤存储设备采用的是光纤链路上的SCSI传输，计算机和存储间的光纤接口采用底层的块协议。通过云管理平台中的数据备份策略进行备份事务调度。在对需要备份的数据、数据库等根据预先配置定义好备份策略后，备份系统将自动地按照预先设置的时间、方式将需要备份的数据备份到备份资源池中。

1.5.2       数据整合与交换系统建设

1.5.2.1              数据整合处理系统

数据整合处理系统的作用体现在两个方面，一方面通过数据加工、数据整合、数据关联等功能，能够动态配置实现各类不同主题的信息处理，在城市公共基础信息、管理对象信息和消防业务信息等基础数据库的基础上，通过进行清洗、转换、集成，构建业务应用所需的业务数据库，丰富主题数据库，提升数据的价值，实现数据向信息的转变；另一方面，在消防应用的建设中，支撑业务数据库及主题数据库的指标项扩展，这些指标项的扩展也会充实基础数据库的指标项及数据内容。数据整合模型如下图所示：

数据整合模型

（1）整合配置

以图形操作模式配置数据整合参数，实现进行清洗、转换、比对、数据导出、数据拆分等数据整合规则的动态配置。

（2）整合组件管理

数据整合服务系统以组件形式对清洗、转换、比对、导出、拆分等数据处理过程进行封装，同时提供这些整合组件的注册、发布、撤销、查询等整合组件管理功能。

（3）整合流程管理

实现对整合实施过程的申请、配置、审核、执行等过程的流程化管理，并允 许在流程过程中进行回退、修改等操作。

（4）整合结果信息查询

提供整合结果信息的查询统计功能，无需定制开发，可动态根据不同的整合主题进行相应结果信息的查询。

（5）整合结果订阅

可针对整合结果，按需进行结果集数据的订阅，在订阅审核通过后，系统按预设的规则将接入部门要求的数据交换到指定位置。

（6）整合过程信息统计分析

动态设定统计口径，对数据整合过程进行统计与分析，如清洗数据量、处理过程失败记录、处理成功数等。

1.5.2.2              数据交换系统

数据交换系统的作用在于实现信息资源的统一交换，通过交换实现城市公共基础信息、管理对象信息和消防业务信息及其他等信息资源的同步更新，以及数据比对、清洗、转换、异常处理等交换服务所需的基本功能。 通过建立数据交换系统将达成以下目标：

通过使用统一的技术手段与标准，提高交换的效率，降低维护复杂度；

同步优化信息存储结构，采用松散耦合的方式，确保数据与应用适当隔离，保证数据的安全；

使数据交换始终处于被有序管理的状态，避免了乱交换、重复交换等问题的出现，保证系统的稳定性。

数据交换系统模型如下图所示：

数据交换服务模型

（1）交换能力要求

l  数据交换服务系统交换能力要求如下：

l  需要提供信息整合功能，可按主题要求整合形成共享资源库(人员、机构（单位）、物品等)数据集合，支持动态组件形式的数据清洗等处理功能；

l  自动编码转换，统一编码标准；

l  支持主动与被动两种数据交换方式，实现按需交换；

l  支持增量与全量数据同步；

l  基于 web 图形化平台配置，简单易操作；

l  统一管理元数据，提供统一标准化字段，规范系统；

l  为用户提供个性定制处理组件接口，方便用户自由拓展；

l  自定义数据交换格式，保证在无需代码开发的情况下，完成新交换节点的接入，实现交换元素及交换规则的调整等；

l  支持信息资源申请、调度流程化，支持目录驱动交换；

l  支持非侵入业务式的前置交换服务。

（2）资源管理

提供交换中心和前置交换节点之间各种交换表资源、组件和数据库的管理功能，主要包括交换表管理、控制表管理、组件信息维护、字段转化维护和数据库进程管理。

（3）交换管理

交换管理提供交换队列管理、交换规则定义等功能，主要包括交换队列查询、交换队列管理（添加、删除、查看、修改）、交换规则定义等。

（4）资源监控

资源监控主要提供各种信息资源的监控功能，主要包括对各种交换队列的状态监控，订阅服务的状态监控。

（5）查询统计

提供交换与整合信息资源的查询和统计功能，主要包括交换数据查询、整合数据查询、系统信息查询和交换数据统计。

（6）订阅信息管理

提供信息订阅服务功能，主要以表订阅和整合信息订阅的方式为主，主要包 括表订阅查询、表订阅管理、表订阅审批、表订阅启动、整合订阅查询、整合订阅管理、整合订阅审批和整合订阅启动。

（7）目录互动

提供目录驱动交换功能，资源使用方通过目录方式获取资源信息后，通过申请流程向平台管理者与资源拥有方进行申请，得到管理者与资源拥有方同意后，由平台自动开始按配置的规则进行信息资源的交换与共享。

信息资源交换需提供对目录系统的相关接口，实现目录系统与交换系统的互 联互通，从目录系统中读取相应的资源信息，并能启动流程实现相应的交换配置，最终实现自动交换。

（8）日志维护

日志维护提供交换系统的各种日志管理功能，主要包括系统日志、交换日志 和导入日志等，为系统提供全面的日志管理功能。