数据中台是商业模式从IT时代进入DT时代的必然产物,是从流程驱动转向数据驱动的必然结果。云计算的三种服务模式分别是SaaS:Software-as-a-Service(软件即服务),PaaS:Platform-as-a-Service(平台即服务), IaaS: Infrastructure-as-a-Service(基础设施即服务)。现在比较流行的数据中台,可以理解为PaaS,即数据平台提供数据服务能力支撑。在过去的10多年里,像Google,微软等知名企业研发了很多平台框架,但是都没有能以公共服务的方式发展成一个很强的中台支撑业务应用,主要原因是传统IT业务系统是以流程驱动,以业务为核心,提供类似SOA的服务设计框架,实现的是服务复用,由于这些SOA服务框架,都是个性化业务需求,只能实现以组件模块的形式做编写复制,无法形成正在意义的PaaS平台。
今天,随着大数据,人工智能新技术的发展,带来的一个新的窗口机遇,主要几个核心技术组件都发生根本性的变化。例如:第一传统IOE体系架构上的优化,像虚拟化超融合等技术,这些是延续性创新,是围绕IOE体系架构下各种协议标准做资源调度的优化;第二IOE大架构出现断崖式迁移,出现了像分布式计算,容器化,机器学习人工智能等技术框架,这是当前最主流的体系框架。这种变化使PaaS层开始出现以数据驱动为核心,充分利用数据价值,提供服务应用,最终形成数据中台。
数据中台作用
数据中台帮忙用户快速“找到”数据,明确数据在哪里。通过数据中台相关工具,自动化抽取现在运行数据库的库表定义,字段属性和关联关系,利用图的高维展示技术,实现快速数据位置定位。分析数据使用频度和调用关系,挖掘数据血缘关系,构建网络图谱,实现数据关系高维展示,分析系统搬迁上云,容灾备份和字段变更等影响范围。
数据中台帮忙用户快速“应用”数据,明确数据如何用。通过数据中台相关工具,可以实现一份数据同时支撑TP应用和AP分析,不需要数据搬家,直接对数据进行处理应用,实现即席的数据分析服务应用,异构数据探查服务,高并发,低延时的数据服务应用。
数据中台帮忙用户快速“用好”数据,明确数据有价值。应用数据,发挥数据价值,不但采用传统BI思路实现数据报告服务,还有采用AI建模思路。更好的用好数据。采用智能算法配合规模化数据,充分挖掘数据,实现数据价值。以数据为驱动,形成数据闭环,不断优化模型算法,动态调整模型,提高模型效率和准确度,更好挖掘数据价值。
数据中台的总体框架体系
数据中台体系架构主要分三层,分别是数据融合层,技术支撑层和数据服务层。
数据融合层主要实现数据采集汇聚融合服务,支撑异构数据融合,数据管理,实时批量数据采集等功能。
技术支撑层主要是采用hadoop生态体系架构组件和相关自主研发产品来支撑数据服务应用,是数据统一管理,数据融合应用和数据建模应用。
数据服务层主要是采用微服务架构实现数据BI服务应用和模型智能服务应用,用来支撑智能业务应用。