亚马逊AI惹众怒:竟然自己学会了“重男轻女”

2018-10-11 14:22:27 来源: 创事记

亚马逊栽了个大跟头。

长期以来,这家电商巨头一直应用AI提升效率,但万万没想到的是,原本应该公平公正、没有意识的AI,也会“作死”了……

好的不学,非要学别人重男轻女、歧视女性。

而这个内部秘密,刚刚被路透社曝光于天下。

事件一出,掀起了轩然大波。

国外的网友们纷纷开始吐槽,讲述自己曾经经历过的不公平事件,以及奇葩的计算机系统等等。还有一堆网友开始分析问题原因。

亚马逊也喜提了一波嘲讽:

“可以说这个人工智能很成功,因为它模仿了亚马逊当前的招聘状态。”

一个戴有色眼镜的AI

筛简历是很多HR的核心工作之一,对于亚马逊这样的大公司来讲,不仅岗位多,投递同一个岗位的求职者可能也非常多,于是,无穷无尽的浏览简历就成了HR的日常。

而且,同一个岗位收到的简历里,总有一些达不到用人标准的、“文不对题”的简历,即使是适合的人,也会分出三六九等,有人很优秀,也有人比优秀的人更优秀。从求职者之中挑选最合适的人,也是让HR们头疼的一件事。

那能不能找一个AI,来自动帮HR们筛简历呢?

于是,作为一家电商公司,亚马逊把日常的用户给商品标星打分的功能,挪到了AI给求职者简历打分上。这样,HR们就可以美滋滋的说:“我,只看五星简历,AI快给我挑出来。”

2014年,这个项目就开始了,亚马逊的机器学习团队开始开发筛简历AI。

但是到2015年,亚马逊发现:糟了,这个AI不学好,学会了人类性别歧视那一套。

如果把投递“软件开发工程师”或者其他技术岗位的求职者简历扔给这个AI来打分,它就会给包含“女”这个关键词的简历打低星,而“男”则不受影响。

另外,如果简历上写着求职者毕业于某两所女子大学,这个AI也会给求职者降星。路透社的线人并没有说是哪两所学校。

人类能不能找到一份工作,竟然要看“AI的脸色”,作为女性求职者,凭什么让AI对我说三道四?在美国,这种涉嫌歧视的事情稍不注意就会招来一大波反对的声音,引发大负面。亚马逊赶紧修改这个AI,让它对“男”、“女”这些词保持中立。

但是,改是改不完的,今天教AI不要歧视女性,明天它会不会歧视黑人?后天它会不会歧视LGBT人群?大后天它会不会开地图炮?这些都说不准。

后来,亚马逊放弃了这个项目。

都是你们人类的锅!

一个好好的AI,怎么成长过程中就自动学会了性别歧视这种坏毛病?

这得看它是“吃”什么长大的,也就是用什么数据来训练的AI。

很不幸,锅还是得亚马逊自己来背,因为这个AI“吃”的都是亚马逊自家的招聘数据,来自亚马逊过去10年来收到的简历,依据这些简历,亚马逊的AI学会了挑出男性求职者。

男性本身就多?

这些数据有什么问题呢?路透社分析,可能是因为科技行业中的大部分技术岗位都是男性在做。

△美国知名科技公司全球员工性别比

△美国知名科技公司全球员工性别比

△美国知名科技公司技术岗员工性别比

△美国知名科技公司技术岗员工性别比

路透社整理了自2017年起这些公司公布的数据,从中可以看出,像谷歌、苹果、微软、Facebook这些公司,整体上男性占了2/3,而单独挑出技术岗位,男性比例则达到了将近4/5。

AI学会了人类的歧视

不过,数据量大小并不意味着少数数据就会被歧视,相信亚马逊的AI也不会傻到只选取简历数据中大多数人的共同特点,那样岂不是错过了少数天才?

在Hacker News和Reddit的评论区,一些更懂技术的网友把矛头对准了数据体现的亚马逊在招聘中现存的性别歧视问题。

从技术上讲,可以说这个人工智能是成功的,因为它模仿了亚马逊当前的招聘状态。

并给出了背后的逻辑。

机器学习过程不会引入任何偏差,但训练数据中存在的任何偏差都将在算法中忠实地展现出来。

也就是说,AI自己本身是一个天真无邪的“幼儿”,它不会自主的学会偏见和歧视,但如果给“幼儿”上课的“老师”亚马逊的招聘数据自身带了偏见,那么这些偏见就会“言传身教”给无辜的AI。

或者说,AI是从人类社会中,学会了人类的偏见和歧视。

我们不想让AI歧视女性,但这绝非易事,因为AI无法忽视它所学习的人类社会对女性的歧视。这绝对是一个难题,不仅仅是技术上的难题,更是哲学层面上的难题。

AI在无意中学会人类之恶,这并不是第一次发生。

此前的微软的聊天机器人Tay,就曾经学会了人类的那些极端言论,在Twitter上咒骂女权主义者和犹太人。

而招聘AI这一次,人类的错误让AI重蹈覆辙了。

“很显然,我们没有吸取微软Tay的任何教训。”有网友评论道。

这个AI靠抓关键词?

不只是训练数据的问题。路透社的报道中还披露了亚马逊训练AI的细节。

•开发了500个针对特定工作职能及岗位的模型。

•训练每个模型去识别过去求职者简历中出现的近5万个关键词。

•模型算法按照重要程度给求职者的技能进行优先级排序。

所以这个AI,很大一部分工作是在抓关键词嘛。比如它偏好的“执行”、“抓取”这种词,在男性求职者的简历中出现次数更多,也从另一个维度造成了女性候选人的劣势。

因此,这也是导致性别歧视的一个原因。甚至,还可能会给人“钻空子”的机会。

Reddit上的一名网友评论称:

“亚马逊阅读简历的AI从一开始就注定了要失败,因为任何人都可以去学习怎样写好一份简历。让我写一份医生的简历,我打赌我会比真医生写的要好。”

想一想那些“简历写作技巧”的培训,是不是都告诉你HR看一份简历只要二三十秒,简历里有某些关键词、重要数据就能吸引HR的注意?

因此,这种抓关键词的机制,就得以让很多人通过强行往简历里塞关键词,而获得更高的星级,造成了另一种不公平。

AI招聘,道阻且长

根据招聘公司CareerBuilder 2017年在美国进行的一项调查,55%的人力资源经理表示,将会在未来五年中采用AI,并将其作为日常工作中的工具。

一些“激进”或者说有大量招聘需求的公司,已经将AI应用到招聘环节中去了。比如希尔顿酒店,就在招聘的时候,会先利用聊天机器人面试,并为求职者匹配合适的岗位,之后再进入下一轮面试。

在接受采访时,希尔顿招聘副主管Sarah Smart表示,“人工智能会分析求职者的语调、眼神和回答的表情,来判断求职者是否对工作富有热情,从而来帮助我们筛选求职者。”

具体体验怎么样呢?体验过聊天机器人面试官的Japser Rey说,“和聊天机器人对话时,我不用担心自己会分神,而且机器人不会戴有色眼镜看人,相对更公平公正一些。”

相对来说,大部分公司并没有将AI放到具体的招聘决策环节之中,只是作为一个辅助工具。

•百度:将AI应用到了招聘上,在今年的校园招聘中,采用AI分析简历、推荐岗位。

•高盛:开发了简历分析工具,会将求职者与“最适合”的部门进行匹配。

•LinkedIn:根据网站上发布的岗位消息,利用算法为雇主提供求职者的排名。

尽管人们对AI招聘并不十分待见,但却无法阻挡这样一个趋势:AI终将左右你找工作这件事。

它只会迟到,但不会缺席。

来源:量子位(QbitAI)

精选 导读

外媒:韩国政府加大对加密货币交易的管控力度引公愤

据华尔街日报中文网16日消息,韩国政府试图加大对加密货币交易的管控力度,这一做法引起了韩国民众的强烈反对。周一晚间,已有近20万韩国民

发布时间: 2018-01-17 15:07
评论   2018-01-17

"24条"新规:夫妻一方以个人名义所负债务不再定共同债务

随着社会经济和文化的飞速发展,个体的独立性不断增强,夫妻之间对彼此的隐私也越来越尊重,婚姻家庭关系出现了一些新的趋势和变化。夫妻双

发布时间: 2018-01-17 14:43
(废弃)行情   2018-01-17

数字货币市场和区块链一夜间暴跌

在过去的24小时里,数字货币市场和区块链遭遇了一场浩劫。受多国政府将对数字货币进行严打消息的影响,比特币一度跌破10000美元,瑞波币跌

发布时间: 2018-01-17 14:39
(废弃)行情   2018-01-17

监管层整顿有关数字代币“出海”及“场外交易”

1月16日,21世纪经济报道记者从多家代币交易平台人士处获悉,监管层日前在一份互联网金融风险专项整治工作简报中,释放了将对比特币、以太坊等

发布时间: 2018-01-17 14:32
(废弃)行情   2018-01-17

工信部:进一步推动稀土行业秩序整顿工作,加强部门间协

中国证券网讯 1月17日从工信部获悉,为进一步推动稀土行业秩序整顿工作,加强部门间协同,2018年1月16日,稀有金属部际协调机制在京组织召

发布时间: 2018-01-17 12:00
国内   2018-01-17

国家海洋局:“十个一律”和“三个强化”

经济日报记者17日从国家海洋局了解到,2013年以来,国家海洋局与沿海地方各级人民政府按照习近平总书记把海洋生态文明建设纳入海洋开发总体

发布时间: 2018-01-17 11:48
国内   2018-01-17

数字货币继续暴跌,区块链概念股股价重挫。

截至最近一次更新,Coinbase平台显示,北京时间6点30分左右,比特币交易价一度跌破10000美元,日内跌28%。以太币24小时内一度跌去30%。

发布时间: 2018-01-17 11:21
财经   2018-01-17

近20个城市引进人才的新政策,核心是放宽购房资格

最近3个月,全国有近20个城市与地区发布了引进人才的新政策——政策的核心内容之一,就是放宽购房资格。甘肃省会城市兰州1月5日发布重磅消

发布时间: 2018-01-17 11:17
财经   2018-01-17

人民币汇率上涨1.2%,专家称全年将呈微笑曲线走势

在人民币春季上涨攻势升破6 4后,人民币汇率会处于基本稳定态势,二季度、三季度有调整压力,四季度升值预期会再起专家称全年将呈微笑曲线

发布时间: 2018-01-17 11:13
财经   2018-01-17

2017年中国GDP预计增长6.9%超过目标,企业杠杆率稳中有降

近日,媒体报道称国务院总理李克强透露,2017全年中国国内生产总值(GDP)预计增长6 9%左右。这意味着去年中国经济增长率已超过年初政府工作

发布时间: 2018-01-17 10:57
财经   2018-01-17