随着计算机和信息技术的迅猛发展和普及应用,行业应用系统的规模迅速扩大,行业应用所产生的数据呈爆炸性增长。企业或政府大数据已远远超出了现有传统的计算技术和信息系统的处理能力,因此,寻求更有效的大数据处理技术、方法和手段已经成为现实的迫切需求。
统计业务大数据服务平台就是围绕统计核心业务,综合运用现代统计学和信息学的有关原理,利用计算机、网络以及大数据处理技术等信息技术手段,建立的对统计信息的采集、传输、处理、发布和使用全过程的实现数字化,高效化和智能化,可视化的信息管理系统。它有效解决了统计工作中看不到,管不过来,数据处理不及时的工作难题。
产品功能结构图
1、统计元数据库管理系统
统计元数据库管理系统是统计调查制度的在线设计、存储和管理系统,也是统计业务平台信息化的基础和核心。它采用基于J2EE平台的B/S体系结构,结合统计调查业务流程,对统计指标、统计分组、填报目录等统计元数据进行在线设计和编辑;对统计分类标准、统计制度方法等内容进行编辑和装载。它还具有报表设计的功能,即时设计各种符合统计元数据标准的统计报表。
2、动态报表
统计业务大数据服务平台采用MVC设计开发模式,将报表信息的展现和存储分离,不同单位从数据库读取本单位对应的报表配置,从而实现不同单位值班报表界面的个性化定制及其要素的灵活扩展。
动态报表是以元数据为基础,可以自动加载统计指标、统计分组和填报目录等元数据,定义指标间的逻辑审核关系和计算关系。报表设计完成后,报表的描述作为元数据存储到元数据库中,自动生成报表存储结构。用户在填写报表时,程序会读取元数据库中定义的报表描述,然后根据描述来生成表样。
3、数据采集子系统
统计数据采集系统以Excel导入和手工录入相结合的方式进行。支持相关系统的数据回流功能。登录系统后,可进行数据采集、数据同步、进度监测、检查更新等功能操作。
4、数据更新子系统
用户可以新增、修改和删除数据。这三种功能都实现既可以逐条处理,也可以通过excel批量处理,以实现外部数据与本系统数据的对接。数据变化时,自动生成通知内容,通过站内、短信或微信的方式通知给关注人。
5、数据分析子系统
统计业务大数据服务平台大数据可视化分析处理的是抽象数据结构。图表包括折线图、面积图、柱图、双轴图、散点图、饼图、漏斗图和地图等。每一个表格都可以通过自行设置必要的参数来创建不同的图形,还可以对图的显示属性如线色、线型等做设置。各种图形的设置参数由该图形的特点来决定。当数据源发生变化时,相关图表应同时更新。
6、手机应用系统平台(ios与Android)
移动终端查询系统实现在移动终端对数据的查询和应用,可在线访问移动服务器端提供的数据,主要有:指标查询、专题查询、分析报告查看、我的收藏等功能。平台内所有上传的资料分为公开与非公开。按照用户角色权限分配,所有用户均可查看公开内容;私有内容,单独存放,使用对称加密算法加密,确保上传的内容只有指定权限的人员可以查看,保证了非公开统计内容的安全性、私密性。
7、消息管理系统
消息管理是成员间相互协作、及时沟通、了解进展的重要途径。设置两种通知方式:一是站内通知,二是短信通知。
8、信息发布系统
信息发布系统针对当前平台信息发布的需求,采取集中控制、统一管理的方式,将视音频信号、图片和文档等信息通过网络平台传输到显示终端。对于公开统计数据和新闻信息做到即时发布。系统具备不同信息发布模式以满足长期信息发布、定时信息发布和即时插播信息的需求。
9、信息安全校验系统
提供专用的登录模块对用户身份进行识别和标志,集中管理权限对访问进行控制,具有对重要资源设置敏感标记的功能。
1、具有良好的扩展性
统计业务大数据服务平台能够与相关系统协同,建立与其他系统的接口及数据回流机制,实现与其他部门统计数据的融合、处理、分析。
2、丰富的数据采集手段
综合运用csv导入、excel导入、单条录入的方法,丰富采集手段,实现大批量数据的导入和处理,减少人工录入,提高输入效率,降低失误可能。支持表格、文档、图片、视频、音频等多种属性文件上传保存。
3、统一的数据加工、处理
系统以标准化和规范化的要求,从各个业务系统采集数据,汇总到统一的数据平台中,形成统一的数据视图,为未来业务的发展提供了一个集成的、安全的、稳定、丰富的数据查询与分析平台,可以满足业务人员按不同角度如时间、机构、业务品种等进行查询统计需求。
4、数据可视化展示
采用多种成熟可视化技术手段,多层次、多维度进行数据展示,及时反映运营情况及趋势。对于系统产生的各种查询分析结果,都可以用直观、形象、良好的可视化图形及数据表格展示,提供多种标准化图形分析功能。
5、历史数据存储
现存的历史统计数据纸质档案及永久性数据,全部转化成电子档,并进行整理、管理及加载,进入系统统一管理。系统提供分类存储功能。