空间信息大数据平台(Sichuan Spatial Information BIG Data Platform 简称 SSIBDP)基于云计算、大数据、数据挖掘等技术实现数据的分布式存储、计算、分析,并在保证数据安全情况下按照标准化规范化进行数据共享交换,使数据作为无形资产流动起来,提高数据对业务的支撑能力和决策能力,并且通过数据关联促进数据资产增值。
一、平台组成:
1)基础设施层
基于云计算虚拟化技术为平台提供基本的计算、存储、网络等基础设施环境,包括物理机、虚拟机的管理和监控能力。
2)数据平台层
实现企业内部、外部、互联网数据的采集、清洗、转换、加载、汇总。应用Storm源、消息队列、Hdfs、利用Spark处理关键在于当文件到达时,将文件转换为Spark的Spout数据源MQ消息中间件来完成各个数据处理模块的通信与解耦。使用文本文件、关系型数据库、MPP数据库或HDFS(分布式文件)等方式进行数据的存储。
3)统一服务平台层
基于元模型管理,实现对数据的采集源、数据库表、字段、共享、应用的全过程管理。
基于开发IDE平台,对底层技术能力的封装,通过图形化、标准化应用开发工具,提供拖拽式、组件化的能力,实现基于IDE的快速开发,也可以支持采用脚本进行更为复杂的类型开发。
基于运营中心,实现对基础平台的组件、作业状态、租户、告警的可视化监控,并实现对计算、存储、I/O等资源的动态实时监控,同时,提供对平台安全和数据安全保护能力。基于统一服务接口对外提供标准化服务。
4)业务应用层
基于大数据云平台提供的运行环境,与大数据云平台进行前后台集成,运行华北空管局各部门使用的业务应用系统。
基于大数据基础平台提供的可视化、标准化、规范化的IDE开发环境,实现业务系统的自助式开发和快速集成。
二、关键技术:
三、产品优势:
1).隔离大数据底层技术与业务逻辑。通过对开发环境、开发语言、数据库结构、通信接口等进行封装和标准化,实现大数据平台和各业务系统逻辑的松耦合,提高数据产品开发效率。
2 ).高可用的在线自助开发平台。基于可视化的开发管理界面,统一封装的函数库,对开发环境、资源分配、开发过程、开发模型、脚本、测试、上线、运维进行按需分配,实现自助开发。
3).实现对每个租户的计算,存储,I0等资源的精细化控制。
4).与数据治理,数据目录,以及元数据管理能够实现互通。实现对数据采集、加工、入库、共享、交换、稽核、运维的全生命周期管理。
5).提供系统级别,业务级别异常情况的报警和智能恢复机制。
6).引进成熟作业调度系统,实现作业调度与大数据计算、存储组件的无缝整合,支持多组件、多类型作业的可视化配置、调度和管理功能。
7).引入成熟的数据开发IDE,屏蔽大数据专业技术,通过开发者门户可以自助实现数据接入、存储、查询、计算、输出的核心功能。
8).实现存储资源配额和计算资源隔离等功能;实现HBase,HDFS,Hive,Impala,Kafka等数据的安全访问授权,实现Hadoop相关组件用户统一管理。