数据质量管理工作要关口前移(工作随笔)

最新资料

  笔者从事的工作是当下比较热的大数据应用与管理工作，数据要想应用出成效，高质量的数据是前提保障。如果采集的数据质量低下，就会垃圾进垃圾出，应用也毫无成果可言，因此数据质量管理工作是一项非常重要的基础性工作。
    数据质量管理工作涉及整个数据生命周期，也涉及整个数据链条。在数据链条的末端应用端发现的数据质量问题解决起来会很困难，需要跨越更多的数据链条，需要消耗更多的协调成本与管理成本。要有效提升数据质量须在数据采集端下足功夫，组织相关业务部门定义各数据项的数据质量规则，包括数据格式、取值范围、编码规则、校验规则等；提出数据质量过程控制和监测需求，包括控制环节、控制措施，以及监测频率、监测措施和监测报表等方面的需求，形成《数据质量规则和采集规范》。
    在数据链条的最上游就把好质量管，这样整个数据链上就相对容易做到海晏河清。