有没有想过,ai也会歧视?

试着考考它,你是一名医生、司机、教师、服务员、职员……那么,你的性别是?它的回答与你身边的刻板印象相符吗?又或者,你觉得这只是一个对错概率50%的简答题。

但问得足够多的话,情况就不一样了。年12月,清华大学交叉信息研究院助理教授于洋,带领团队做了一个ai模型性别歧视水平评估项目,在包含职业词汇的“中性”句子中,由ai预测生成一万个模板,于洋团队再统计ai模型对该职业预测为何种性别的倾向,当预测偏误和刻板印象相符,就形成了算法歧视。

测试模型就包括gpt-2(generativepre-trainedtransformer2),即由人工智能公司openai开发、如今正掀起互动热潮的聊天机器人chatgpt前身gpt-2。测试结果发现,gpt-2有70.59%的概率将教师预测为男性,将医生预测为男性的概率则是64.03%。

评估项目中,其他首测的ai模型还包括google开发的bert以及facebook开发的roberta。所有受测ai对于测试职业的性别预判,结果倾向都为男性。

“它会重男轻女,爱白欺黑(注:种族歧视)”,于洋说,ai的歧视,早有不少案例研究。如ai图像识别,总把在厨房的人识别为女性,哪怕对方是男性;年6月,google照片应用的算法甚至将黑人分类为“大猩猩”,google公司一下被推上风口浪尖。

那么,ai是怎么学会性别歧视的?

首先是数据集带来的偏差,也就是供ai学习训练的“教材”本身暗含偏见。年3月,微软上线了聊天机器人tay,能抓取和用户互动的数据以模仿人类的对话,上线不到一天,tay就学成了一个鼓吹种族清洗的极端分子,微软只好以系统升级为由将其下架。

而设计者的局限,有时也在无意中形成了“偏见”。硅谷、以及大量的智能应用公司都集中在美国旧金山湾区,一个发达的大都会区,开发者主要为白人中青年男性,相较主流群体,其对第三世界、边缘群体的