In 2016, 世界经济论坛声称，我们正在经历工业革命的第四次浪潮:使用网络物理系统的自动化. 这波浪潮的关键要素包括机器智能, 基于区块链的去中心化治理, 基因组编辑. 就像前几波一样, 这些技术减少了对人力的需求，但也带来了新的伦理挑战, 特别是对于 人工智能开发公司 以及他们的客户.
本文的目的是回顾最近关于机器学习模型中检测和减轻不必要偏见的想法. 我们将讨论最近制定的关于可信赖人工智能的指导方针, 回顾人工智能中由模型选择和潜在社会偏见引起的偏见的例子, 建议商业和技术实践，以检测和减少人工智能模型中的偏见, 并讨论GDPR下目前存在的法律义务以及未来可能发展的方向.
所有的模型都是由人类制作的，反映了人类的偏见. 机器学习模型可以反映组织团队的偏见, 这些团队的设计师, 实现模型的数据科学家, 数据工程师 收集数据. 当然，它们也反映了数据本身固有的偏见. 就像我们期望人类决策者有一定程度的可信度一样, 我们应该期望并从我们的模型中提供一定程度的可信度.
一个值得信赖的模型仍然会包含许多偏见，因为偏见(在最广泛的意义上)是机器学习的支柱. 乳腺癌预测模型将正确预测有乳腺癌病史的患者偏向阳性结果. 根据设计，它可能会了解到女性倾向于积极的结果. 最终的模型可能对女性和男性有不同的准确性，并且在这方面存在偏见. 要问的关键问题不是 我的模型有偏差吗??，因为答案永远是 是的.
寻找更好的问题, 欧盟人工智能高级别专家组制定了适用于模型构建的指导方针. 一般来说，机器学习模型 应该是:
- 遵守所有适用的法律法规
- 道德-尊重道德原则和价值观
- 稳健——既从技术角度考虑，又考虑其社会环境
这些简短的需求，以及 它们的较长形式，包括并超越偏见问题，作为工程师和团队的检查清单. 我们可以通过检查模型中可能不合法的偏见来开发更值得信赖的人工智能系统, 不道德的, 或un-robust, 在问题陈述和领域的上下文中.
以下是可信度存疑的三个历史模型, 由于人工智能的偏见，这是非法的, 不道德的, 或un-robust. 第一个也是最著名的案例, 节奏模型, 显示了即使是最简单的模型也可以根据种族进行不道德的歧视. 第二个例子说明了大多数自然语言处理(NLP)模型的一个缺陷:它们对种族的鲁棒性不够, 性别和其他偏见. 最后一个案例, 阿勒格尼家庭筛查工具, 显示了一个模型因有偏见的数据而存在根本缺陷的例子, 以及一些减轻这些缺陷的最佳实践.
有偏见的典型例子, 不可信的人工智能是节奏系统, 在佛罗里达和美国其他州使用. 节奏系统使用回归模型来预测犯罪者是否有可能再犯. 虽然优化了整体的准确性, 该模型预测非裔美国人再犯的假阳性数是白人种族的两倍.
节奏的例子表明，无论我们的方法多么舒适，不必要的偏见都可能潜入我们的模型. 从技术角度来看, 对节奏数据采取的方法非常普通, 尽管基础调查数据包含的问题相关性值得怀疑. 在具有少量特征的数据集上训练一个小型监督模型. 在我的实践中, 我已经按照类似的技术步骤做了几十次了, 就像任何数据科学家或机器学习工程师一样.)但, 普通的设计选择产生了一个包含不必要的模型, 种族歧视偏见.
最大的问题是 节奏案 不是因为简单的模型选择，还是因为数据有缺陷. 而, 节奏团队没有考虑到这个领域(量刑), 问题(发现累犯), 众所周知，答案(累犯得分)涉及种族差异, 性, 和其他坐标轴，即使不涉及算法. 如果研究小组寻找偏见，他们会发现吗. 有了这种意识, 节奏团队可能已经能够测试不同的方法，并在调整偏差的同时重建模型. 这将有助于减少对非裔美国人的不公平监禁, 而不是加剧它.
大型的预训练模型构成了大多数NLP任务的基础. 除非这些基本模型是专门设计来避免沿特定轴的偏差， 他们肯定会被他们所接受的训练所固有的偏见所灌输这和这些模型能起作用的原因是一样的. 这种偏见的结果，不分种族和性别， 已显示在Word2Vec和GloVe模型上 分别接受Common Crawl和Google News的训练. 而像伯特这样的上下文模型是当前最先进的(而不是Word2Vec和GloVe), 没有证据表明训练这些模型的语料库具有更少的歧视性.
尽管任何NLP问题的最佳模型架构都充满了歧视情绪, 解决方案不是放弃预训练模型，而是考虑有问题的特定领域, 问题陈述, 和整个团队的数据. 如果一个应用程序是一个由人类的歧视偏见已知发挥重要作用, 开发人员应该意识到，模型可能会延续这种歧视.
在最后一个例子中, 我们讨论了一个基于不公平歧视数据的模型, 但这种不必要的偏见可以通过几种方式得到缓解. 阿勒格尼家庭筛选工具是一个模型，旨在帮助人们决定是否应该将一个孩子从他们的家庭中带走，因为虐待的情况. 该工具的设计是公开透明的，有公共论坛和机会来发现软件中的缺陷和不公平.
模型中不必要的偏见源于反映更广泛社会偏见的公共数据集. 中产阶级和上层阶级家庭通过使用私人医疗服务提供者来“隐藏”虐待的能力更高. 转介到阿勒格尼县的非裔美国人和混血儿家庭是白人家庭的三倍多. 评论家们喜欢 维吉尼亚尤班克斯 和 艾伦广泛 声称只有社会得到修复，这样的数据问题才能得到解决, 一个工程师无法完成的任务.
在生产中, 该县通过仅将其作为一线工人的咨询工具来打击其模式中的不公平现象, 并设计培训项目，让一线员工在做决定时意识到咨询模式的缺陷. 随着去偏算法的新发展, 阿勒格尼县有新的机会来减少人工智能模型中的偏见.
阿勒格尼工具的发展让工程师们了解了算法在克服数据中潜在歧视和数据背后的社会歧视方面的局限性. 它为工程师和设计师提供了一个协商模型构建的例子，可以减轻模型中潜在歧视性偏见对现实世界的影响.
幸运的是, 有一些消除偏见的方法和方法，其中许多使用节奏数据集作为基准.
维持多元化的团队, 无论是在人口统计方面还是在技能方面, 对于避免和减轻不必要的人工智能偏见很重要. 尽管科技高管们一直口头上支持多元化， 女性 和 有色人种 仍未完全.
各种ML模型在人工智能行业本身的统计少数群体中表现较差, 最先注意到这些问题的是女性和/或有色人种用户. 人工智能团队更加多样化, 围绕不必要的偏见的问题可以在发布到生产环境之前得到注意和缓解.
一个共同的, Naïve从数据中消除与受保护类别(如性别或种族)相关的偏见的方法是从模型中删除标记种族或性别的标签. 在很多情况下, 这行不通, 因为该模型可以建立对这些受保护类的理解，使其不受其他标签的影响, 比如邮政编码. 通常的做法包括去掉这些标签, 既要提高模型在生产中的效果，又要符合法律要求. 去偏算法的最新发展, 我们将在下面讨论, 代表了一种在不移除标签的情况下减轻人工智能算法偏见的方法.
即使是产品设计和模型构建中的最佳实践也不足以消除不必要的偏见风险, 特别是在数据有偏差的情况下. 认识到我们数据的局限性是很重要的, 模型, 以及偏见的技术解决方案, 都是为了觉知, 这就是人类的极限方法 机器学习 可以考虑诸如“人在环路”之类的偏见.
数据科学家拥有越来越多的技术意识和消除偏见的工具, 补充团队避免和减轻人工智能偏见的能力. 目前, 意识工具更为复杂，涵盖了广泛的模型选择和偏差测量, 虽然消除偏见的工具是新生的，只能在特定情况下减轻模型中的偏见.
IBM已经发布了一套用于二进制分类器的感知和去偏见工具 AI公平 项目. 为了检测人工智能偏差并减轻它，所有方法都需要一个类标签(e).g.、种族、性取向). 针对这个类标签，可以运行一系列指标(例如.g., 不同的影响和平等机会差异)，量化模型对班级特定成员的偏见. 我们在文章的底部包含了对这些指标的解释.
一旦检测到偏差, AI公平 360库(AIF360)有10种去偏方法(和计数)，可以应用于从简单分类器到深度神经网络的各种模型. 有些是预处理算法，目的是平衡数据本身. 另一些是在处理算法，在构建模型时惩罚不必要的偏见. 然而，其他人在预测后采用后处理步骤来平衡有利的结果. 具体的最佳选择取决于你的问题.
AIF360有很大的实际局限性，因为偏差检测和缓解算法是针对二值分类问题设计的, 并且需要扩展到多类和回归问题. 其他库，如 Aequitas 和石灰，对一些更复杂的模型有很好的衡量标准，但它们只能检测偏差. 他们没有能力解决这个问题. 但即使只是知道模型在投入生产之前是有偏差的，也是非常有用的, 因为它应该导致在发布之前测试替代方法.
局部可解释模型不可知论解释(石灰)工具包 可以用来衡量特征的重要性和解释大多数模型的局部行为-多类分类, 回归, 包括深度学习应用. 一般的想法是将一个高度可解释的线性或基于树的模型拟合到正在测试偏差的模型的预测中.
例如，用于图像识别的深度cnn非常强大，但可解释性不强. 通过训练一个线性模型来模拟网络的行为, 我们可以深入了解它是如何工作的. (可选), 人类决策者可以通过石灰在特定情况下审查模型决策背后的原因，并在此基础上做出最终决策. 下图展示了在医学背景下的这一过程.
前面，我们讨论了用于训练NLP模型的大多数语料库中的潜在偏差. 如果一个给定的问题可能存在不必要的偏见，我建议 随时可用的去偏见词嵌入. 从学术界的兴趣来看，较新的NLP模型很可能像 伯特 不久会有去偏见的词嵌入吗.
尽管石灰可以解释单个特征的重要性，并提供特定图像输入行为的局部解释, 石灰不能解释CNN的整体行为，也不能允许数据科学家搜索不必要的偏见.
在一些著名的CNN偏见被发现的案例中，公众(比如 快乐Buolamwini)注意到由于他们属于弱势群体而产生的偏见. 因此，缓解的最佳方法是将技术和业务方法结合起来:经常测试, 并建立多元化的团队，通过生产前的测试来发现人工智能中不必要的偏见.
在本节中，我们将重点介绍欧盟的通用数据保护条例(GDPR)。. GDPR是 全球事实上的标准 在资料保障法例方面. (但这并不是唯一的立法——中国还有《欧博体育app下载》, 例如.GDPR的范围和意义是非常有争议的, 所以我们在这篇文章中不提供法律建议, 无论如何. 尽管如此, 据说这符合全球组织的利益 遵从，如 GDPR适用 不仅针对欧洲组织，还针对任何处理属于欧洲公民或居民数据的组织.
GDPR分为约束性两部分 文章 和不具约束力 演出. 虽然这些条款给使用个人数据的工程师和组织带来了一些负担, 关于减轻偏见的最严格规定载于序言71, 没有约束力. Recital 71是最有可能的未来法规之一，因为它已经被立法者考虑过了. 评论 探索 GDPR义务的进一步细节.
我们将放大两个关键需求以及它们对模型构建者的意义.
GDPR对个人数据建模的技术方法提出了要求. 处理敏感个人数据的数据科学家将需要阅读第9条的文本, 禁止使用许多特别敏感的个人数据(如种族标识). 更多的一般要求可以在序言71中找到:
[. . .)使用 适当的数学或统计程序, [. . .]确保 错误的风险被最小化 [. . .),而 防止歧视性影响 以种族或民族出身为基础的, 政治观点, 宗教或信仰, 工会会员资格, 基因或健康状况, 或者性取向.
GDPR (强调我的)
这部分内容被认为是良好模型构建的基础:减少错误风险是第一原则. 然而, 在这篇文章中, 数据科学家不仅有义务创建准确的模型，而且有义务创建没有歧视的模型! 如上所述，并非在所有情况下都能做到这一点. 关键仍然是对当前问题及其领域可能产生的歧视性影响保持敏感, 利用商业和技术资源来检测和减轻人工智能模型中不必要的偏见.
在自动决策过程中获得“有关相关逻辑的有意义信息”的权利 可以在GDPR第13-15条中找到.. 序言第71段明确呼吁“权利[. . .]获得 解释(强调我的)自动决策. (然而，关于任何约束的程度的争论仍在继续 获得解释的权利.)
正如我们讨论过的, 为模型行为提供解释的一些工具确实存在, 但复杂的模型(比如那些涉及计算机视觉或自然语言处理的模型)不可能在不失去准确性的情况下轻易地被解释. 关于如何解释的争论仍在继续. 作为最低限度的最佳实践, 对于可能使用到2020年的模型, 应该开发石灰或其他解释方法，并对其进行生产测试.
在这篇文章中, 我们已经审查了模型中不必要的偏见问题, 讨论了一些历史例子, 为企业提供一些指导方针，为技术人员提供一些工具, 并讨论了与不必要的偏见有关的关键法规.
因为机器学习模型的智能超过了人类的智能, 它们也超越了人类的理解. 但, 只要模型是由人类设计的，并根据人类收集的数据进行训练, 他们将继承人类的偏见.
管理这些人类偏见需要仔细关注数据, 在必要时使用人工智能来帮助检测和打击不必要的偏见, 建立足够多样化的团队, 对给定问题空间的用户和目标有共同的同理心. 确保人工智能是公平的是自动化的一个基本挑战. 作为自动化背后的人类和工程师, 确保人工智能作为一种公平的力量是我们的道德和法律义务.
差异性影响被定义为“非特权群体和特权群体之间有利结果的概率之比”.例如:, 如果女性获得完美信用评级的可能性是男性的70%, 这代表了不同的影响. 不同的影响可能同时存在于训练数据和模型的预测中:在这些情况下, 更深入地研究底层训练数据并决定是否可以接受或应该减轻不同的影响是很重要的.
平等机会差异被定义为“非特权群体和特权群体之间真实阳性率(回忆)的差异”.“论文中讨论的高机会均等差异的著名例子是节奏案例. 如上所述, 与白人罪犯相比，非裔美国人被错误地评估为高风险罪犯的比例更高. 这种差异构成了机会均等的差异.
特别感谢Jonas Schuett为GDPR部分提供了一些有用的提示.
人工智能伦理学家与人工智能研究人员和数据科学团队合作，确保算法的安全性. AI伦理学家的具体角色取决于环境. 一些人工智能伦理学家发现了算法偏见或不道德的行为，并努力减轻它. 研究伦理学家经常关注人工智能带来的长期存在风险.
在哲学和计算机科学中，机器的道德地位备受争议. 一般来说，人工智能系统的道德反映了它的数据和设计. 目前使用的人工智能系统通常具有歧视性影响或推理，这是可以减轻的. 由此产生的缓和系统通常被视为更公平.
人工智能是否道德，在哲学和计算机科学领域存在激烈争论. 可以肯定地说，人工智能系统的道德反映了它的数据和设计. 目前使用的人工智能系统通常具有歧视性效果或推理. 设计能减轻这些影响的系统通常被认为更安全.
人工智能中不必要的偏见可以根据上下文以不同的方式衡量. 高偏倚有时以差异影响得分低于0来衡量.8或大于1.2.
有一些复杂的方法可以减少机器学习中不必要的偏见. AIF360工具包中实现了最先进的方法，如不同的影响去除器或对抗性去偏.
人工智能偏见是指人工智能工具产生不公平结果的倾向, 比如赋予一个用户组高于其他用户组的特权. 它通常源于用于训练人工智能模型的数据中存在的偏见. 人工智能偏见可能导致歧视性的决定和做法, 可能影响医疗保健, 贷款, 公共安全, 和招聘.
世界级的文章，每周发一次.
世界级的文章，每周发一次.
作者都是各自领域经过审查的专家，并撰写他们有经验的主题. 我们所有的内容都经过同行评审，并由同一领域的Toptal专家验证.