汽车智造大数据框架图
{能
力
层
,数据管控,各工厂,园区结构化数据,非结构化数据采集
(File)
,元
数
据
管
理
,主题分析,获
据
层
,检核方法管理,设备安全,分布式文件系统HDFS,问题统计报表,机器学习服务,数据检索服务(ES),数据运维安全,MR,实时数据,成本节约,
dd
,其他,专题分析,
,批量采集,数据仓库(实时),HBase,Hive,ES实时处理存储(
至少6台),kafka,应
用
层
,MES,半/非结构化数据,数据可视化服务(帆软),数
据
标
准
管
理
,实时采集,ODS层,ERP,数据仓库标准检查,物联网应用,问题查询分析,数据仓库标准维护,管理平台,大数据库(HADOOP )15台,数
据
安
全
,智能运营,报表应用,数据全景地图,检核规矩管理,JSON日志文件,Kudu集群,监控平台,DM层,问题溯源,内存数据库
Redis,mysql(2台)
,数
据
质
量
管
理
,数据模型管理,获
取
层
,指标应用,元数据采集,数据使用安全,数据仓库(Hive),数据分析服务,影响分析,数
据
源
,数据处理流调度框架(spark streaming),结构化数据采集
(ETL+ESB)
,多维分析服务(kylin),检核任务调度,数据仓库标准落地,模型一致性检查,数据共享服务,实时数据采集
(Kafka集群)至少3台
,DWD,DWS层,LES}