大数据平台技术架构
{App,Nginx,系统监控,移动,注册服务信息,Sping,服务层,数仓:Hive,数据规则校验,元数据管理,客户端日志,文件采集,调用服务,Android/IOS,配置管理与服务注册中心,信用元数据管理,数据智能标签,API 服务,通信接口,实时计算:Flink,Thrift,数据结构管理,MQ,日志收集,离线计算:Spark,Flume,数据抽取,Logstash,信用业务中台,数据转移,Alibaba Sentinel,数据血缘追溯,数仓:Kafka,WEB,数据归集清洗,信用服务门户,消息队列,日志采集,信息资源目录,Hbase,AJAX,数据维护管理,RPC,……,grafana
prometheus
,服务间通信,Kafka,前端,服务器日志,HTTP/WebSocket REST JSON,信用数据治理,数据质量监控,数据生命周期,gRPC,大数据计算,接口,Elasticsearch,RDBMS,信用智慧大脑,JavaScript,生态:Hadoop,数据源,WS,前置机,API Gateway,CSS,Alibaba Nacos,结构化数据,SSE,离线计算:hive-sql,服务限流降级,信用三清单,平板,HDFS,数据体系、
数据资产管理体系
,非结构化数据,Log4J/Self4J,查找服务信息,注册API接口,RabbitMQ,采集与交换,REST,媒体文件,HTML5,微信,日志数据管理,API,
AI: Alink/Skleam/Tens orflow
,持久化存储}