算法不制造偏见，它把偏见固定下来：亚马逊招聘引擎拆解

那台引擎到底做了什么

团队从 2014 年起组建，设在亚马逊的爱丁堡工程中心，规模约 12 人。他们建了 500 个计算机模型，每个对应特定的职能与地点，并教每个模型识别过去求职者简历上出现过的约 5 万个术语。输出是一个 1 到 5 星的评分，像顾客给商品打分一样。

一位参与项目的工程师这样描述目标：给它 100 份简历，它吐出前五名，我们雇这五个人。这就是当时整个行业想要的圣杯。

它学到的不是「优秀」，是「像过去被录用的人」

问题出在标签。模型学习所依据的，是公司过去 10 年收到的简历，以及这些简历对应的结果。科技行业长期由男性主导，于是这份历史数据本身就把「男性候选人更可取」写进了分布。

具体表现有两层。显性的一层是它惩罚含「女子」字样的简历，比如「女子国际象棋俱乐部队长」，并且下调了两所女子学院毕业生的评级。隐性的一层更麻烦：算法很快就学会，求职者普遍具备的硬技能没什么区分度，转而偏爱用「executed」「captured」这类在男性工程师简历上更常见的动词描述自己的人。

注意这里发生了什么。第一层是词表层面的，能靠改词修掉。第二层是表达风格层面的，它根本不是一个「偏见词」问题，而是模型在寻找任何能拟合历史结果的信号，而它找到了。

修掉一个词，修不掉一个分布

亚马逊编辑了程序，让它对这些特定词汇保持中立。但参与项目的人很清楚，这并不能保证系统不会自己设计出其他具有歧视性的排序方式。

团队在 2017 年初解散。据参与者的说法，支撑模型判断的数据本身也有问题，不合格的求职者经常被推荐到各种岗位上，系统的反馈近乎随机。这不是一个「有偏见但有效」的系统，这是一个连基本效度都没建立起来的系统。

后来亚马逊只保留了「大幅稀释」的版本，用来做剔除重复候选人资料这类基础工作。

招聘人员从来没只靠它做决定

有一个细节值得记住：亚马逊的招聘人员在搜索新人时会看这个工具给出的推荐，但他们表示从来没有单独依赖那些排名做判断。

这恰恰说明问题不在「AI会不会取代人」这个层面。人在回路里，并没有阻止偏差进入流程，只是让偏差以「参考意见」的形式存在，更难被追问、也更容易被采纳。

去偏能做的技术动作与它的天花板

今天能做的动作比 2017 年多得多：训练数据的分布审查、敏感属性与代理变量的剥离、输出端的季度差异分析、以及对排序结果的抽样人工复核。这些都有用，但它们改的是分布，改不了产生这个分布的历史。

卡内基梅隆大学教授机器学习的计算机科学家 Nihar Shah 在评论这个案例时说，如何确保算法是公平的、如何确保算法真正可解释，实现这些目标还相当遥远。

这句话到今天依然成立。招聘场景的特殊性在于，「好候选人」的标签本身就是过去录用决策的投影，而过去的录用决策包含了过去所有的偏差。

追责链条被改写了

偏见在人与人之间传递时，至少有具体的承载者：某个面试官的偏好可以被讨论、被培训、被纠正。偏见进入模型之后，它变成一个没人需要为之解释的分布。

这是责任性质上的变化。HR的责任从「防止具体的人带进主观偏见」，变成了「证明这个分布对受保护群体无害」。前者靠流程，后者靠证据。

也正因为如此，欧盟《AI法案》才把招聘列为高风险，并把举证义务压在部署方身上。详见本系列另一篇。

事实与数据来源

• 亚马逊招聘AI团队自 2014 年起开发，设于爱丁堡工程中心，约 12 人：Reuters 2018 年 10 月报道
• 团队建立 500 个计算机模型，识别约 5 万个简历术语，输出 1 至 5 星评分：Reuters 2018 年 10 月报道
• 训练数据为公司过去 10 年收到的简历，其中大部分来自男性：Reuters 2018 年 10 月报道
• 系统惩罚含「女子」字样的简历（如「女子国际象棋俱乐部队长」），并下调两所女子学院毕业生评级：Reuters 2018 年 10 月报道
• 算法偏爱「executed」「captured」等在男性工程师简历中更常见的动词：Reuters 2018 年 10 月报道
• 编辑程序使其对特定词汇中立，但无法保证系统不设计其他歧视性排序方式；团队于 2017 年初解散：Reuters 2018 年 10 月报道
• 亚马逊招聘人员查看推荐但从不单独依赖排名：Reuters 2018 年 10 月报道
• 后续仅使用「大幅稀释」的版本处理剔除重复资料等基础工作：Reuters 2018 年 10 月报道
• Nihar Shah（卡内基梅隆大学）：确保算法公平与真正可解释仍相当遥远：Reuters 2018 年 10 月报道引述
• 斯坦福相关研究显示AI招聘工具可能加剧种族偏见，对亚裔与黑人申请者存在不利影响：经 IEEE Spectrum 2026 年 7 月报道引用