1,ETL未来发展趋势
ETL是一个大概念,不能单纯的认为只有打着ETL工具标签的产品才叫ETL。我们可以从ETL的定位上来探索这个问题,ETL的后端是数据库,前端是数据分析、数据展现工具。那从数据源到数据展现中间的过程,我们都可以称之为ETL过程。
一路疯驰(沪ICP备15037456号-1)
1,ETL未来发展趋势
ETL是一个大概念,不能单纯的认为只有打着ETL工具标签的产品才叫ETL。我们可以从ETL的定位上来探索这个问题,ETL的后端是数据库,前端是数据分析、数据展现工具。那从数据源到数据展现中间的过程,我们都可以称之为ETL过程。
无论哪家公司,只要自开发的系统有一定的数量,都会有一套或简或繁的建模规范。通常,大家遵从就行了,也不去深究,但也有很多人对此不以为然。
这次正好仔细聊聊,这些为什么一些数据模型中的一些规范要求后面的原因。
数据治理范围很广,阐述起来也很复杂。好吧,是我讲不清。。。
在数据治理过程中,不断的会被问到:你这个有什么指导意义么?几百年不变的东西,有必要花代价去做吗?
今天一起来看一个实际的案例,需要害羞的请尽情脸红,觉得自己数据维护得不做的,也可以自查一下。
01. 部门具有十分清晰的使命和业务策略02. 业务目标能有效地落实到每位员工03. 管理层级是简明而有效的04. 设立部门定期沟通机制,传达公司和部门主要事件和信息05. 鼓励团队成员间通过开诚布公的交流,来处理意见分歧和矛盾06. 面对和其他部门的冲突时,坦诚沟通,以合适的方式予以应对07. 各级主管带头主动承担责任,敢于面对挑战和问题08. 各级主管能定期与员工沟通,反馈工作中优势和
个人思路,不管对错。
基于关系型数据库
1,敏感字段识别
根据梳理找出敏感字段。
2,脱敏列表生成
根据敏感字段名称到数据库中找出物理字段名,通过表间主外键关系找出所有相关字段。
脱敏字段1,物理字段1
脱敏字段1,物理字段2
要开发ARIS脚本必然需要一定量的测试数据,如何交付安全的测试数据呢?
1,全库导出
主数据A在传递过程,和其他主数据进行关联而扩展出来的数据,是否纳入到主数据A的分布图中。
举例:
数据元素:一种类型的元数据,它的质量有高低之分
常用数据类型