# 数仓分层
ADS(application data servic)->DWS(data warehouse service)->DWM(data warehouse middle)->DWD(data warehouse detail)->ODS(operation data store)
ODS层(原始数据层) Operation Data Store 数据准备区,贴源层,原始数据层,直接接入源数据的:业务库、埋点日志、消息队列等,是数据仓库的准备区。
DWD层(数据明细层)
Data Warehouse Details,数据明细层,业务层和数据仓库层的隔离层,保持和ODS层相同颗粒度;进行数据清洗和规范化操作:去空/脏数据、离群值等。存储数据一般就是维护表,事实表,实体表等数据
- 维度表:Dimension Table,也叫查找表,分为两部分:高基数维度数据和低基数维护数据。与事实表相对应的一种表,保存了维度的属性值,可以跟事实表做关联,相当于将事实表上经常重复出现的属性抽取、规范出来用一些表进行管理。
- 事实表:Fact Table,就是表述有事实记录的表,如系统日志、销售记录,添加购物车等信息,如电商的商品订单表,所以事实表数据一般远大于其它表。
- 实体表:类似javabean,用来描述信息的,如优惠券表,促销表,内容就是一些描述信息,这种一般看数据量和变化程度,大部分都是全量导入,导入周期则看具体需求而定。
DWM(数据中间层) Data Warehouse Middle,数据中间层,在DWD的基础上进行轻微地聚合操作,算出相应的统计指标;聚合之后生成中间表。
DWS层(数据服务层) Data Warehouse Service,数据服务层,在DWM的基础上,整合汇总成一个主题的数据服务层;汇总结果通常是【宽表】,用于OLAP、数据分发等。
ADS层(数据应用层) Application Data Service,数据应用层,存放在ES、Redis、PG等系统中,供数据分析和挖掘使用者;【数据报表】通常在这层。