您现在的位置是:首页 > 互联网 >

使用AI根据姓名识别性别的服务看起来异常偏颇

2020-07-30 10:23:14

一些科技公司在成立之初就引起了轰动,而另一些公司似乎则大跌眼镜。

Genderify是一项新服务,承诺通过帮助AI通过分析某人的姓名,电子邮件地址或用户名来识别某人的性别,该服务肯定会进入后者。该公司上周在Product Hunt上启动,但由于用户发现其算法中存在偏见和不准确之处,因此在社交媒体上引起了很多关注。

例如,在Genderify中输入名称“ Meghan Smith”,该服务将提供评估:“男性:39.60%,女性:60.40%。” 将该名称更改为“ Dr. 但是,梅根·史密斯(Meghan Smith)的评估改为:“男性:75.90%,女性:24.10%。” 以“ Dr”开头的其他名称也会产生相似的结果,而输入似乎通常会使男性倾斜。例如,“ Test@test.com”是男性的96.90%,而“ Joan smith太太”是男性的94.10%。

对该服务的强烈抗议令Genderify告诉The Verge它已完全关闭。“如果社区不想要它,也许这很公平,”一位代表通过电子邮件说。Genderify.com已脱机,其免费API不再可用。

行动中的AI偏见:https: //t.co/vRM53tEUMs pic.twitter.com/YgLON4vpT8

-迈克尔(@mpchlets)2020年7月28日

尽管这类偏见经常出现在机器学习系统中,但是Genderify的轻率性似乎使该领域的许多专家感到惊讶。AI Now Institute的联合创始人梅雷迪思·惠特克(Meredith Whittaker)的回应有些典型,它研究了人工智能对社会的影响。“我们被巨魔了吗?” 她问。“这是一种意念,旨在分散技术+正义世界的注意力吗?现在是愚蠢的高科技愚人节吗?”

对人们的性别进行大规模假设可能有害

问题不在于Genderify根据某人的名字对某人的性别做出假设。人们一直在这样做,有时会在过程中犯错。这就是为什么礼貌地找出人们如何自我识别以及如何应对他们的原因。Genderify的问题在于它会自动执行这些假设。在将个体分类为男性/女性二进制数(从而忽略识别为非二进制数的个体)的同时大规模应用它们,同时在此过程中加强性别定型观念(例如:如果您是医生,您可能是男人)。

也许

和/或它只是垃圾整体pic.twitter.com/YMySNyVT1a

-乔恩·多恩(@jpdoane)2020年7月29日

这样做的潜在危害取决于使用Genderify的方式和位置。例如,如果将服务集成到医疗聊天机器人中,则其关于用户性别的假设可能导致聊天机器人发布误导性的医疗建议。

值得庆幸的是,Genderify似乎并非旨在实现这种系统的自动化,而是主要被设计为一种营销工具。正如Genderify的创建者Arevik Gasparyan在Product Hunt上所说:“ Genderify可以获得的数据将有助于您进行分析,增强客户数据,细分营销数据库,人口统计数据等。”

在同一评论节中,Gasparyan承认一些用户对偏见和无双数个人的关注,但未提供任何具体答案。

一位用户问:“假设我选择不识别男性还是女性,您如何处理?您如何避免性别歧视?您如何应对性别偏见?” Gasparyan回答说,该服务基于“已经存在的二进制名称/性别数据库”做出决定,并且该公司正在“通过分离“概念”来“积极寻找改善跨性别和非二进制访问者体验的方法”。性别身份的姓名/用户名/电子邮件。” 鉴于Genderify的整个前提是该数据是性别身份的可靠代表,所以这是一个令人困惑的答案。

该公司告诉The Verge,该服务与使用名称数据库猜测一个人的性别的现有公司非常相似,尽管它们都没有使用AI。

一位代表通过电子邮件表示:“我们知道我们的模型永远无法提供理想的结果,并且算法需要进行重大改进,但我们的目标是构建一种不会像任何现有解决方案一样受到偏见的自学习AI。” “并且要使其发挥作用,我们非常依赖跨性别和非二进制访问者的反馈,以帮助我们为LGBTQ +社区尽最大可能改善我们的性别检测算法。”

美国东部时间7月29日,星期三,12: 42PM更新:故事已更新,以确认Genderify已关闭,并添加了公司代表的其他评论。

郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时间联系我们修改或删除,多谢。

热点推荐

点击排行

  • · “电商导购第一股”光环不香么?

    “电商导购第一股”光环不香么?在值得买的早期网站中,数码、高性价比、个人网站、海淘、时效是关键词,还没有形成如今完善的内容体系,但值得买的严肃测评调性已略有显现

  • · 好未来公布了截至2019年11月30日的...

    好未来公布了截至2019年11月30日的2020财年第三季度未经审计财报北京时间1月21日下午消息,好未来(NYSE:TAL)今日公布了截至2019年11月30日的2020财年第三季度未经审计财报,净营收为8 624亿美元,与上年

  • · 苹果正在修复iOS漏洞 让孩子们轻...

    苹果正在修复iOS漏洞 让孩子们轻松绕过屏幕时间限制苹果本周向公众发布了iOS13 3,其中包括屏幕时间的新通信限制功能。然而,CNBC的一篇新报道解释说,该功能并不完全像它设计的那样工作。 根据设计,屏幕时间的沟通限制是为了让父母

  • · 美国今年的预算赤字预计将超过1万...

    美国今年的预算赤字预计将超过1万亿美元根据一份新的报告,美国预算赤字预计将在2020年超过1万亿美元,尽管经济稳步增长,但政府的支出仍将超过其增长。 无党派的国会预算办公室星期二估计,从10月1号开始的这个财政年度的

  • · 微软泄密称Surface Hub 2X可能已经被取消

    微软泄密称Surface Hub 2X可能已经被取消微软可能会取消即将推出的其先前宣布的Surface Hub2X产品,一个新的泄漏声称。微软悄悄删除了与该模式相关的公告材料,似乎证实了这一报告,尽管该公司尚未完全解释其目的何在。在宣

  • · 可视推出打折的家庭计划 家庭是可选的

    可视推出打折的家庭计划 家庭是可选的抓住任何三个人-朋友、家庭成员、室友、偶然的熟人-从可见中获得巨大的储蓄。 可见是一家Verizon的预付费运营商,提供无限的移动电话服务,每月40美元非常合理。但这是每个人的,如果