扎心了,老铁,程序出了小差,请重新再试
重新再试

首页> 网络架构> 网络图

新版BI系统架构图

热门
新版BI系统架构图
BI系统数据流架构,包括实时和离线计算流程 {flume 双机轮询,实时计算集群,Kafka,flume 日志合并,java定时计算,Hdfs,flume 日志采集,
日志接收
server
,Game Server,日志汇总,BI报表系统,客户端sdk
ios/安卓
,日志接口集群,Impala,Redis ,公网,关系数据库,架构说明:
1. 要求合作方必须按照约定的日志格式打点。
2. 与合作方约定一种实时日志采集方式:rsync定时文件同步或者flume文件采集。
3. 离线日志同步,需要确定合作方是否提供日志汇总服务器。有,则从日志汇总服同步文件到BI的日志接收服。无,则从每台server服上同步文件。
4. 存当天数据的hive事实表为json格式。全量数据的hive事实表为parquet格式,节约存储空间。维度表保存在Kudu里。所有表都用Impala查询。
5. CDH采用6.0+版本,开启纠删码,以节约数据备份所需存储空间。
6. Kafka默认保留7天数据,partitions为3。
7. redis中除用户、角色、设备存档永久保留,其他key只保留8天,也就是留存最多算到+7日留。
8. 报表结果数据表按天分区。
,rsync,Flink on Yarn,Hive,负载均衡,Kudu,消息队列,离线计算,http,日志汇总
server
,接口server,Hadoop集群,用户

}

文件简介

编号:12916

名称:新版BI系统架构图

浏览数:81

收藏数:0

克隆数:2

作者:0

价格:5元

更新时间:2021-07-01 12:15:19

文件很好用,分享文件:

只需一步极速注册

63,195+文件在线编辑

云端同步我的设计

一键高清无水印下载

微信扫码立即登录
二维码失效
请点击刷新

微信和QQ是两个独立账号,账号信息不互通

距离今天活动结束仅剩
000000000毫秒
距离今天活动结束仅剩
000000000毫秒
距离今天活动结束仅剩
000000000毫秒
会员促销今天活动仅剩
000000000毫秒
距离今天活动结束仅剩
000000000毫秒