Lesson 03: 数据伦理 (Data Ethics)

本章主要讨论了机器学习模型可能带来的负面社会影响，以及作为开发者应该如何识别和应对这些问题。这不仅仅是哲学探讨，更关乎产品的实际质量和安全性。

1. 为什么数据伦理很重要？

深度学习是一个强大的工具，但如果使用不当（无论是无意的 Bug 还是有意的滥用），都会产生严重的后果。

不仅仅是管理层的责任：作为模型构建者，你最了解数据和模型的局限性，因此处于防线的“最前沿”。
历史教训：技术本身可能是中立的，但使用技术的人和目的不是。例如，IBM 曾为纳粹德国提供打孔卡技术，用于追踪大屠杀受害者。这是一个极端的例子，但也提醒我们不能只关注技术实现，而忽视其用途。

通过以下四个主要案例，展示了数据伦理中常见的问题：

案例：YouTube 的推荐算法为了优化“观看时长”，倾向于推荐极端和阴谋论视频（甚至不仅是人类行为，算法本身也可能产生循环，例如将某种相机拍摄的视频都归类为同一主题）。
问题：模型不仅在预测用户的喜好，实际上也在塑造用户的喜好，形成不断强化的闭环。
启示：在设计推荐系统时，必须警惕这种自我强化的循环，不仅要看优化指标，还要看系统对生态的长期影响。

案例：
- Google 搜索 “Latanya Sweeney”（非裔名字）出现逮捕记录广告，而搜索 “Kirsten Lindquist”（白人名字）则显示其成就。
- Google Photos 将黑人照片标记为 “Gorillas”。
- Amazon 面部识别系统将美国国会议员（不成比例地是有色人种）误识别为罪犯。
问题：现实世界的偏见会渗透到数据中，进而被模型学习甚至放大。

偏见（Bias）在数据伦理中不仅指统计学上的偏差，更指社会偏见。MIT 的研究者归纳了多种偏见类型：

偏见类型	解释	例子
历史偏见 (Historical Bias)	数据反映了现实世界中已存在的偏见。即使数据采样完美，如果世界本身是不公平的，数据也会包含这种不公平。	医生对不同种族患者的治疗建议不同；历史上某种族被逮捕率更高。
表示偏见 (Representation Bias)	训练数据未能涵盖所有群体，主要集中在某些特定群体。	ImageNet 数据集主要包含西方国家的图片；面部识别系统训练数据中缺乏深色皮肤样本。
测量偏见 (Measurement Bias)	我们测量的数据并不是我们真正想要预测的目标，而是一个有偏差的代理变量。	预测“中风”风险时，使用的是“因中风症状去看医生”的数据。这忽略了那些因为贫穷或歧视而没有去看医生的人。
聚合偏见 (Aggregation Bias)	用单一模型处理所有人群，忽略了不同亚群体的特性。	糖尿病治疗方案在不同种族有不同效果，如果模型不区分种族，可能导致部分人群治疗不当。

误区：算法是客观的。
- 澄清：算法由人设计，数据来自人。算法往往会编码甚至放大人类的偏见。
误区：只要优化指标（Metrics）就好。
- 澄清：过度关注单一指标（如点击率、观看时长）往往会导致忽视副作用（如推荐极端内容）。这也被称为“古德哈特定律”（Goodhart’s Law）：当一个指标变成目标时，它就不再是一个好的指标。
误区：去偏见就是删除敏感属性（如种族、性别）。
- 澄清：这通常不起作用，因为其他特征（如邮编、教育背景）往往与敏感属性高度相关（代理变量）。简单的“色盲”策略反而可能掩盖问题。

在模型开发过程中，不仅仅要问技术问题，不仅要问“能不能做”，还要问“该不该做”：

我们应该做这个吗？ (Should we even be doing this?)
数据中有什么偏见？ (What bias is in the data?)
代码和数据可以审计吗？ (Can the code and data be audited?)
不同子群体的错误率是多少？ (What are the error rates for different sub-groups?)
简单的基于规则的替代方案准确率如何？ (What is the accuracy of a simple rule-based alternative?)
有什么处理申诉或错误的机制？ (What processes are in place to handle appeals or mistakes?)
构建它的团队有多多样化？ (How diverse is the team that built it?)

(这也是你在构建产品时需要时刻反问自己的问题)