Dataphin入门笔记——记于20190720

1. 基本概念

   • 业务板块

     定义数据仓库的名称和业务空间，以企业内一个相对独立的业务为分配单元。

   • 公共定义

     定义企业构建数据所需的全局概念或参数，以保证全局概念统一。

   • 物理数据源

     存储数据的物理数据库。

   • 维度

     进行统计的对象即系维度。

   • 业务过程

     业务活动中的所有事件即系业务过程。创建业务过程即从顶层规范业务中事务内容的类型及唯一性。

   • 维度逻辑表

     维度逻辑表与维度一一对应嘅，系通过丰富维度中的属性信息构建形成的。创建维度逻辑表即系完成公共对象明细数据设计及加工处理，从而方便提取业务中对象的明细数据。

   • 事实逻辑表

     事实逻辑表与业务过程对应，是通过丰富业务过程的属性及度量信息构建形成的。创建事实逻辑表即系完成公共事务明细数据设计及加工处理，从而方便提取业务中事务的明细数据。

   • 业务限定

     统计的业务范围，筛选出符合业务规则的记录（类似SQL中Where后的条件，不包括时间区间）。

   • 指标

     指标分为原子指标和派生指标。

     • 原子指标：对指标统计口径（即计算逻辑）、具体算法的一个抽象。例如支付金额。
     • 派生指标：业务中常用的统计指标。派生指标=原子指标+业务限定+统计周期+统计粒度。例如：自然周、会员、采用优惠券支持的订单。

   • 统计粒度

     统计分析的对象或视角，定义数据需要汇总的程度，可以理解为聚合运算时的分组条件（类似于group by的对象）。粒度系维度的组合，指明统计范围。例如：某个指标是某个卖家在某个省份的成交额，则粒度就是卖家、省份两个维度的组合。

2. Dataphin的定义

   ​ Dataphin(智能数据构建与管理)：智能的大数据平台建设引擎。集产品、技术、方法论于一体，一站式提供集数据引入、规范定义、数据建模研发、数据资产管理、数据服务等的全链路智能数据构建及管理服务。

3. 功能模块

   • 平台管理

     Dataphin的基础功能，主要包括全局化功能设置（即计算设置和成员管理）、首页引导。

   • 全局设计

     全局设计是基于业务全局自上而下规划设计业务数据总线。包括：划分命名空间、定义主题域及相关名词、划分项目（即管理单元）、定义数据源及计算引擎源。

   • 数据引入

     数据引入是基于全局设计定义的项目空间与物理数据源，将各业务系统、各类型的数据抽取加载至目标数据库。以实现数据同步和集成，完成各业务数据集成后的基础数据中心建设，为数据加工奠定基础。

   • 规范定义

     规范定义是基于全局设计定义的业务数据总线、数据引入构建的基础数据中心，根据业务数据需求，结构化地定义数据元素（维护、统计指标等），保障数据标准化、规范化生产。

   • 建模研发

     建模研发是基于规范定义的数据元素来设计与构建可视化的数据模型。数据模型提交发布后，系统智能自动生成代码与调试任务，完成公共数据中心的全托管建设。

   • 编码研发

     编码研发是基于通用的代码编辑页面，灵活地进行个性化的数据编码研发，完成任务研发。

   • 资源及函数管理

     • 支持管理各种资源包（例如Jar、文本文件），以满足部分数据处理需求。
     • 支持查找与使用内置的系统函数。
     • 支持用户自定义函数，以满足数据研发的特殊加工需求。

   • 调试运维

     对建模研发、编码研发生成的代码任务进行基于策略的调试与运维，确保所有任务正常有序咁进行。调试运维包括：

     • 部署数据生产任务
     • 查看任务运行情况
     • 管理和维护任务之间的依赖关系

   • 元数据中心

     元数据中心支持采集、解析和管理基础数据中心、公共数据中心、萃取数据中心的元数据。

   • 资产分析

     • 基于元数据中心深度分析元数据、实现数据资产化管理。
     • 可视化呈现资产分布、元数据详情等，方便快速查找和了解数据资产。

   • 即席查询

     即席查询支持用户通过自定义SQL等方式查询数据资产中的数据。同时通过查询分析引擎快速获取物理表、逻辑表（数据模型或逻辑模型）的数据查询结果。

4. Dataphin图解

https://help.aliyun.com/document_detail/110214.html?spm=a2c4g.11186623.2.16.6de44be88yIAf9

https://dataphin.console.aliyun.com/workingArea