2024面向人工智能的数据治理(DG4AI)实践指南
《面向人工智能的数据治理(DG4AI)实践指南1.0》由大数据技术标准推进委员会(CCSA TC601)组织编写,旨在推动面向人工智能的数据治理(DG4AI)理念的广泛应用。主要内容包括以下几个方面:
- 数据治理的发展:介绍了数据治理的概念起源、发展阶段以及大模型时代数据治理的难题。
- 面向人工智能的数据治理的定义:明确了DG4AI的定义,即在人工智能应用中管理和控制数据的过程与实践,用以确保数据的质量、可靠性、安全性与合规性。
- 面向人工智能开展数据治理的主要阶段与对象:包括顶层设计阶段、数据治理组织保障体系搭建阶段、数据治理工程建设阶段和数据治理运营优化与AI应用融合阶段,以及面向人工智能场景下所需的数据和工程建设阶段。
- 面向人工智能的数据治理价值:提升人工智能应用效果、提升人工智能应用的规模与性能、加强人工智能数据安全与隐私保护水平、完善数据治理体系。
- 面向人工智能的数据治理原则:标准化原则、透明性原则、合规性原则、安全性原则、负责任原则、公正性原则、可审计原则。
- 数据质量治理:包括治理方法和治理技术,治理方法涵盖需求分析与质量目标设定、制定数据质量管理体系、数据源评估及采集、数据预处理、特征工程、数据偏见检测与矫正、常态化数据质量监控、持续改进等方面;治理技术包括数据清洗、自动化与智能标注、特征工程、数据增强、多模态数据处理和分析等。
- 数据安全与隐私治理:包括治理方法和治理技术,治理方法包括建立数据全生命周期安全监督机制、制定数据集安全风险分类管理体系、数据加密、风险评估、教育与培训、监管与合规审计等;治理技术包括异常数据检测、数据增强、鲁棒训练、数字水印、安全对抗、加密与脱敏、差分隐私、同态加密、安全多方计算、匿名化、概念擦除等。
- 数据伦理治理:包括治理方法和治理技术,治理方法包括制定数据伦理政策、提升透明度和可解释性、规范数据收集和标注、开展风险评估和缓解措施、定期审查和更新等;治理技术包括偏差检测和纠正、反歧视性算法设计、责任与可追溯性技术等。
- 明确应用目标与需求:确定应用目标与效果、明确应用场景、澄清数据需求、评估数据获取难度。
- 设计数据集治理要求与规范:制定数据标注流程、明确数据质量标准、考虑合规和隐私要求、管理规范持续更新。
- 开展数据集处理与研发:数据清洗和标注、特征工程和数据增强、沟通与验收。
- 进行数据集洞察与交付:数据集持续维护、洞察数据集构成与分布、版本管理与权限管控。
- 人工智能数据产业分工更加明确:未来,供给人工智能数据集的产业在采集、加工、交易、消费等环节将更加清晰和成熟,通过市场化的调节机制可以合理分配产业的人才、资金与资源,更高效地推进人工智能应用发展。
- 数据治理或成为大模型的胜负手:通过有效的数据治理,企业将有可能获得竞争优势。
- 服务化:随着DG4AI技术、实践和理论的成熟,DG4AI将更加标准化与流程化,进而发展为服务化,能够高效、高质量、安全可控地提供标准的数据产品(数据集、语料库)。
此外,还在附录中对比了中美在DG4AI在国家战略、法律类法规以及标准建设上的现状。9游体育 官方网站