数据治理|分析数据质量管理

由于数据清洗（DataCleaning）工具通常简单地被称为数据质量（DataQuality）工具，因此很多人认为数据质量管理，就是修改数据中的错误、是对错误数据和垃圾数据进行清理。这个理解是片面的，其实数据清洗只是数据质量管理中的一步。数据质量管理（DQM），不仅包含了对数据质量的改善，同时还包含了对组织的改善。针对数据的改善和管理，主要包括数据分析、数据评估、数据清洗、数据监控、错误预警等内容；针对组织的改善和管理，主要包括确立组织数据质量改进目标、评估组织流程、制定组织流程改善计划、制定组织监督审核机制、实施改进、评估改善效果等多个环节。

任何改善都是建立在评估的基础上，知道问题在哪才能实施改进。通常数据质量评估和管理评估需通过以下几个维度衡量。

数据质量评估

完整性Completeness：完整性用于度量哪些数据丢失了或者哪些数据不可用。

规范性Conformity：规范性用于度量哪些数据未按统一格式存储。

一致性Consistency：一致性用于度量哪些数据的值在信息含义上是冲突的。

准确性Accuracy：准确性用于度量哪些数据和信息是不正确的，或者数据是超期的。

唯一性Uniqueness：唯一性用于度量哪些数据是重复数据或者数据的哪些属性是重复的。

关联性Integration：关联性用于度量哪些关联的数据缺失或者未建立索引。

评估维度

配置管理ConfigManagement：此维度用于度量数据在其生命周期内的一切资源是否得到了控制和规范，即数据的计划、产生、变更直至消亡的过程中，与数据相关的计划、规范、描述是否收到控制。评估指标包括：评估配置项的细化粒度、评估基线准确度和频度以及变更流程是否合理完善等。

培训Training：此维度用于度量数据的生产和使用者在数据生命周期内的一切活动中是否经过了知识和技能的培训、培训效果是否满足岗位需要；受训的知识和技能是否经过审核和确认，受训的内容是否与企业文化和价值观一致；培训流程是否合理完善等；

验证和确认Verify&Validation：此维度用于度量数据在其生命周期内是否得到验证和确认。评估内容包括是否通过验证流程确保工作产品（数据）满足指定的要求、是否通过“确认”流程保证工作产品（数据）在计划的环境中满足使用的要求；“验证”和“确认”的流程是否完善；

监督和监控Monitoring：此维度用于度量产生和使用数据的流程在数据的整个生命周期内是否真正受控。脱离监控的信息、技术、计划、流程、制度，会导致数据质量低下。监督和监控的流程是否完善。

（编辑：上饶站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!