5月21日报道（编译：商纣）
编者注：LizzieO’Shea是一名律师、作家和博客。她经常在美国国家电视节目和电台上发表文章，评论法律、数字技术、企业责任和人权，她的文章也出现在《纽约时报》、《卫报》和《悉尼先驱晨报》等杂志上。
从引爆FordPintos到种族主义算法，所有的有害技术都是不道德设计的产物。然而，同70年代的汽车公司一模一样，今天的科技公司宁愿责怪用户。
年春末，LilyGray在洛杉矶的一条高速公路上驾驶着她的新福特Pinto，她年仅13岁的邻居RichardGrimshaw坐在副驾驶上。然后汽车抛锚了，被从尾部以时速50公里的速度撞了出去。Pinto被熊熊大火包围，Gray在车祸中丧身，Grimshaw受了重伤。他的脸和身体受到了永久性的毁容性烧伤，失去了几根手指，即使经历了多次手术也回不到当初了。
六年后，在印第安纳州，三个十几岁的女孩死在一辆被货车从后面追尾撞击的福特Pinto里。据报道，汽车的车身“像手风琴一样”倒塌，把他们困在里面。随后，燃料箱破裂并将整个汽车燃烧成一个火球。
上述两起悲伤地事故都是法律诉讼的主题，现在已经成为美国消费史上最大的丑闻之一。在这些案件中，最著名的指控是年迈克·道伊（MikeDowie）在《琼斯母亲（MotherJones）》一书中披露的，福特对其客户的生命表现出了冷酷无情的鲁莽。该公司明明知道Pinto的设计存在的缺陷使其容易受到燃油泄漏和火灾的影响，从而引发火灾。当然，这不是一个无法被解决的问题，方案包括一些可能的设计改变，其中之一是在保险杠和燃油箱之间插入一个塑料缓冲垫，花费大约一美元。然而由于各种原因，类似于相关的成本和缺乏严格的安全法规，福特批量生产的Pinto没有缓冲液。
最让人恼火的是，道伊通过内部备忘录记录了福特公司在某一时刻对设计过程进行成本效益分析的全过程，烧伤和烧伤死亡被分配了一个价格（分别为美元和美元），这些价格是根据实施各种可能提高Pinto安全性的选择的成本来衡量的。事实证明这是一个巨大的误判，但是，撇开这一点，这种做法的道德性引发了公众的讨论。“福特知道Pinto是个陷阱，”道伊写道，“但它已经在庭外支付了数百万美元，以了结损害赔偿诉讼，并准备再花数百万美元游说反对安全标准。”
我们现在很难想象，但在半个世纪以前，车祸通常完全归咎于司机，尽管汽车在制造过程中很少纳入安全标准。每一个问题都归因于驾驶汽车的那个人。汽车行业竭力游说，要求限制其对道路交通事故的责任，并将安全视为与汽车销售完全不相容的一个命题。年，约翰·F·戈登（JohnF.Gordon）警告说：“自称是专家的一些人提出了激进而欠考虑的建议，他们认为提高汽车设计安全性的唯一可行途径就是联邦法规。”当时，戈登是通用汽车公司的总裁，他在全国安全大会上发表了这样的言论。
他毫不掩饰自己的怀疑，他说:“有人建议，我们应该放弃教导司机避免交通事故的希望，转而专注于设计能够让碰撞变得无害的汽车，这是失败主义和一厢情愿的令人费解的结合。”他的讲话赢得了热烈的掌声。强大的商业委员会，和美国资本主义的许多其他领导人一样，都支持这个行业。坎贝尔汤公司（CampbellSoupCompany）总裁墨菲（W.B.Murphy）公开表示了自己的不屑：“这和呼啦圈是一回事。”他谈到汽车安全问题时说。“六个月后，我们可能会迎来另一波反弹。”
这种态度在一定程度上是监管环境松懈的产物。国家监管机构人手不足，资金不足。在尼克松总统任期内，各机构的关键职位仍然空缺。20世纪60年代末，美国国家机动车安全咨询委员会（NationalMotorVehicleSafetyAdvisoryCouncil）主席ThomasMalone博士就资金不足的问题致函美国国家公路交通安全管理局（NationalHighwayTrafficSafetyAdministration）秘书长：“联邦资金与问题的规模不相称，授权和拨款之间的严重差距阻碍了该方案的向前推进。“但是，作为推动战后美国经济繁荣的最大产业之一，美国*界对向其施加太大压力并不感兴趣。接受道路安全是个人责任的观点，要比直面行业问题容易得多。”
由于这些原因，人们继续在道路上死亡，尽管已知的技术完全有可能使汽车和道路更加安全。年，美国国家科学院（NationalAcademyofSciences）将汽车旅行的危险描述为“现代社会被忽视的流行病”和“国家最重要的环境健康问题”。目前还不确定有多少人是因为Pinto油箱着火而丧生或受伤：估计数字从数百到数千不等。但这起丑闻就像一根避雷针，促使监管者重新思考汽车行业公开宣扬的所谓常识，并开始考虑他们对于制造商的要求是否足够。
福特工程师们用以衡量死亡、重伤与成本及市场价值的计算系统是冷酷无情的，且这种衡量永远无法得到正确的答案。也就是说，这本是一场可以预防的灾难。且这场福特有意识引发的灾难并不是单一的企业个例。
在20世纪60年代，通用汽车的Corvair也出现了类似的设计问题，影响了汽车的转向，导致了一百多起诉讼案件。这场悲剧不是从汽车的制造开始的，甚至也不是在测试引发的失败。律师兼消费者维权人士RalphNader认为，这场悲剧“始于通用汽车的主要工程师们对Corvair的构想和开发”，“这是一种全行业的文化，没有考虑到设计最终会对用户产生的影响，将道德责任推卸给了消费者。就像Pinto一样，Corvair也是一个在最初设计上就已经被默许的问题。”
当然了，这不是要把责任归咎于工程师或设计师的邪恶。制造这些汽车的人在特定的公司环境中工作，他们所处的组织由冷酷无情的主管领导。福特和通用等公司的领导层在与其他公司竞争时忽视了安全问题，这甚至不仅仅是汽车行业所特有的问题。还有许多类似的丑闻，涉及到企业对设计不当的消费品造成的人类后果漠不关心。这些丑闻并非单一的个例，它们发生在一定的背景下，为了避免再次发生，需要一种*治策略来打破产生这些丑闻的可恶逻辑。
哈佛大学的LatanyaSweeney教授在谷歌上输入了她的名字；很快她就找到了自己之前发表的一篇旧论文。然后她又看到一则标题为“LatanyaSweeney”的广告弹出，她很震惊。因为她明确地知道自己没有过犯罪记录。她点击了那条广告链接，然后被导流到一家公司的网站上，该网站出售对公共记录的访问权。她付了那笔钱以获取自己的“犯罪”材料，然而材料证实她并没有犯罪记录。当她的同事AdamTanner进行类似的搜索时，来自同一家公共记录搜索公司的广告也映入眼帘，不一样的是这条广告没有煽动性的标题。他二人唯一的区别是，Tanner是白人，Sweeney是非裔美国人。
Sweeney决定对这些类型的广告展开研究，看看是否有规律。她不希望她的研究结果是令人失望的。但不幸的是，她的研究得出了一个明确的结果：“暗示逮捕的广告往往会出现与黑人有关的名字，而中性广告或无广告往往会出现与白人有关的名字，无论该公司是否有与该名字有关的逮捕记录。”
换言之，在文字有出现过“逮捕”一词的广告中，与黑人相关的名字所占比例要高于“白人”的名字。实际犯罪记录的存在似乎并不是决定因素。
这是怎么回事呢？要解释清楚这一点，需要对在线广告业务进行一些拆解。每次你点击一个网站，一个即时的广告空间拍卖就会发生在竞争你的注意力的公司之间。正如我们所知，监控资本主义有各种各样的方法来确定你对市场营销人员的价值，让平台对你的眼球时间做出准确的出价。这些公司比我们更了解我们的习惯，他们对我们的抽象身份有一个详细的描述——我们自我意识的历史，由消费定义和为消费定义——他们利用这些信息在最佳时刻向我们发送营销信息。如果任其自生自弃，就会造成一种新技术重现现实世界形式的压迫的局面。
围绕广告空间的选项有多种定制方式。谷歌不仅允许公司定制哪些受众看到广告，还允许公司定制广告本身的内容。
Sweeney解释说：谷歌知道广告客户可能并不明确哪一个广告副本工作的最有效，因此广告客户可以为同一个搜索字符串提供多个模板，“谷歌算法”会随着时间的推移从广告的浏览者那里了解到哪一个广告文本点击次数最多。它通过根据每个广告的点击历史分配权重（或概率）来实现这一点。起初，所有可能的广告副本都是相同的权重，它们产生点击的可能性都是相同的。然后随着时间的推移，当人们倾向于点击某个版本的广告文本而不是其他版本时，权重会发生变化，因此点击最多的广告文本最终会显示得更频繁。这种方法将谷歌作为广告交付者的财务利益与广告客户联系起来。
由于算法的设计方法，机器学会了将非裔美国人的名字与犯罪联系起来。即使用户个人不点击广告，他也会从其他用户点击的内容中体验到机器学习的后果，这会限制显示给所有后续用户的选择。
对此，一个可能的回答是，算法是中立的，它只是广告的载体，自动响应人们如何使用它；算法不是种族主义，而人类却是种族主义者。但该算法的构建方式也证实了现实世界中存在的隐含偏见，而且这种情况一而再、再而三地发生。认为非裔美国人不如白人可信的假设是一种普遍存在的隐性偏见，从求职者的成功概率到警察在枪口对准人时做出的分秒决定，它在很多方面都具有现实意义。在斯韦尼的研究中，我们看到这种态度在数字技术世界中被有意或无意地复制。这不是一个谜，也不是一个深不可测的结果。谷歌对影响自动广告的种族主义并不完全负责，但它不能逃避责任。成百上千的人被活活烧死在Pinto汽车里，福特并不是唯一的责任方，但公众舆论的法庭正确地认为，如果福特的汽车设计不同，很容易就能阻止这些悲惨事故的发生。
这则广告之所以带有种族主义色彩，部分原因在于，设计算法并根据真实数据训练算法的过程基本上是零透明度的。这些输入是秘密的，并且没有正式的规则可以适当地适应这些过程。像斯韦尼这样的用户在销售广告空间时，其糟糕的体验不会出现在这些公司的成本效益分析中。他们甚至没有正式的渠道和方式来投诉这种种族歧视，不想管的人几乎没有办法知道这件事。有偏见的算法对我们生活的许多方面产生了相当大的影响，而且影响越来越大。只要它们一直保持隐藏或未经检查，我们就会不断允许各种危险和压迫的做法嵌入到新技术中，因为机器会不断学会吸收现实世界中存在的隐含偏见。
当我们认为掌握并根据这些信息采取行动的权力就在谷歌手中时，谷歌没有任何责任的观点就失去了说服力。谷歌的决策者知道广告客户，也就是他们的付费客户，计划使用的内容。因为他们设计了这个系统，所以他们处于最有利的位置来了解潜在的问题以及它可能如何显现。目前，他们计算出发现和解决这些问题的成本要高于忽视这些问题的成本，而忽略这些问题的成本是由其他人承担的。我们必须找到改变这种计算的方法。
谷歌的高管们应该为他们的技术所产生的结果承担责任。在这种情况下，谷歌提供了一种服务，它所做的正是其设计初衷：最有效地将广告货币化。换句话说，将种族主义引入数字技术，并没有在设计过程中考虑隐性偏见，这并不是一个缺陷，而是技术资本主义的一个特征。
基于这个原因，也许最可鄙的情况是，这种设计歧视的发生是没有实际理由的。网络是一个可以在结构上最小化、承认和消除压迫态度的空间。我们不仅可以制定*策防止种族主义广告的投放，我们还可以设计出更好的多样性表现形式，积极地将偏见最小化。我们可以预见隐性偏见，并提前找到抵消其影响的方法，我们甚至可以阻止公司利用它的存在。我们可以设计和建造数字基础设施，帮助人们社会化，避免歧视性的隐性偏见。这样的前景引发了各种有趣的问题，关于它在实践中是如何工作的，我们可以共同着手解决这项任务。
我们可以宣传并起草有关设计和工程流程的法律法规，就像消费者权益倡导者要求联邦*府实施汽车安全法规一样。我们需要建立规则，优先考虑消除压迫的目标，而不是将网络货币化的目标。这是一个难得的机会。如果我们只是等待这些问题自己出现，或者在它们出现时零敲碎打地加以解决，那我们的视线只会拘泥于冰山一角。如果这样的话，我们就是在鼓励一个行业固步自封，集中力量反对透明度和问责制，同时在出现问题时将责任归咎于用户。目前，我们依靠像Sweeney这样的人来发现这些问题的存在，而她只是偶然发现了这些问题。
数据科学家CathyONeil观察到，粗心的逻辑、缺乏反馈和不规范的数据输入（这也是许多算法的共同特点）结合在一起，这种结合被她称为“毁灭数学的武器”。她写道，这些算法共有一种倾向，会“随意地生成自己的实相”。“数字化过程的感知中立性为草率和分裂的人们提供了借口，同时再将一系列活动的管理进行外包，种种行为唤醒了潜在的恶。”
她写道：“管理者们认为这些分数是真实的，足够有用，而且这种算法使艰难的决策变得容易。他们可以解雇员工，削减成本，并将他们的决定归咎于一个客观的数字，不管这个数字是准确的还是不准确的。”在大数据时代，用于确定复杂问题答案的计算机程序创造了令人兴奋和变革的可能性，但它们也给糟糕的治理和管理带来了准确性和中立性的过度粉饰。
透过Sweeney打开的那扇小小的令人不安的舷窗，我们瞥见了一片风起云涌的汪洋大海。算法正在以各种各样的方式被使用，这些方法可能对人们产生深远的影响。一个例子是依靠自动化程序筛选求职者，这可能会对有精神病史的人或英语为第二语言的人产生偏见。另一个例子是大学入学标准化考试。招生过程，尤其是在不需要标准化考试的情况下，可能会根据申请人的人口统计学特征，使用预测的分数作为代理，而不清楚替代数据的准确性。
算法也用于决定假释申请，假释申请依赖于案件工作者填写的表格，而没有任何指示这些答复如何影响算法的输出。在一个令人深恶痛绝的例子中，谷歌照片应用程序曾将一些黑人的照片贴上大猩猩的标签，该应用程序自动按主题对照片进行排序。秘密的、专有的算法往往会以科学逻辑的形式产生几乎不加掩饰的偏见。这些问题不仅仅是失误，更像是Corvair转向不良或Pinto燃油箱缓冲不足一样，不仅仅是不幸的错误。它们是有缺陷的设计过程产生的恶劣后果。
这些算法决策过程对处于不同社会阶层的人们有着不同的影响。正如O’Neil指出的那样，机器既便宜又高效，它们的决策更容易强加给穷人。“特权阶层，”她观察到，“更多的是由人来处理，而穷人则更多的是由机器来处理。”而且，面对这些机器的人们，几乎不可能质疑或挑战他们的决定，就算他们知道自己在被如何区别对待也没有什么办法。
例如，沃尔玛为低收入人群创建了商品目录，相对于更健康的选择，这些人被推销的垃圾食品数量占比更高。当与其他数据集交叉引用时，有关逮捕的数据也可以以压制性的方式使用。逮捕的证据可能意味着，自动简历分类软件可能会先发制人地将候选人排除在求职考虑之外，或者拒绝让一个人获得消费金融服务，有时甚至在逮捕已经从公共记录中删除之后也是如此。机器学习经常被用于穷人身上并对他们进行测试，而社会上最容易受到伤害的人最终要应对这些后果。
不可否认，类别的动态性受到了压制性算法的影响。技术，尤其是在精英阶层的管理下，反映了支撑社会分裂的价值体系。我们目前关于人工智能危险的许多讨论，都被此类技术可能导致第三次世界大战的可能性所主导。无论这些担忧多么有效，其框架揭示了一些更深层次的东西。许多推动这些对话的人都是富有的白人男性，正如研究人员KateCrawford所指出的那样，“对他们来说，最大的威胁可能是一种人工智能顶端捕食者的崛起。但对于那些已经面临边缘化或偏见的人来说，威胁就在这里。”
越来越多复杂的算法网络产生了各种各样的社会、经济和文化后果。抽象识别总是依赖于基于数据的分析，或者与抽象身份相关的识别。这是一种数据歧视的做法。也就是说，为了营销的目的，社区和个人被分割成不同的受众，往往是基于对具体和不完整的数据的肤浅假设，这种假设具有高度分裂效应和加速影响。正如AdamGreenfield所言：“当代技术从来就不是独立、独立、独立的产物。网络收集和交换数据，这些数据由于路径依赖而流向不同的方向，而市场功能和社会偏见放大了这一点。机器的决策功能不仅具有再现传统社会断层的能力，而且还具有加剧阶级断层的能力。”
到了年，在声讨者和监管机构的双重压力下，福特同意自愿召回年至年间生产的所有Pinto。就在几个月前，陪审团裁定RichardGrimshaw损失1.26亿美元，虽然该裁决被初审法官减少了一些，但仍然数额可观。Grimshaw的决定在上诉中得到了确认，法院指出，“福特管理层的行为应该受到极端的谴责。”调查发现，管理层“为了最大化公司利润，故意漠视公共安全……危及成千上万名平托购买者的生命”。几个月后，福特因印第安纳州两名少女的死亡而被提起刑事诉讼。福特在这起案件中被判无罪。但它最终支付了随后针对它提出的与Pinto有关的索赔。到年，这款车就停产了。
Pinto丑闻不应被视为福特工程师们的偶发性德道失误，他们在设计过程中未能正确地评价人类的生命。尽管对参与设计过程的每个人来说，深思熟虑和了解他们的工作是很重要的，但也必须承认这些工程师和设计师是在业务驱动的环境中工作的。福特公司的执行领导做出了关键决定，忽略了提供给他们的重要信息。福特还在一个竞争激烈的市场中运作，在这个市场上，监管机构要么坐视不管，要么更糟，被行业所俘获。改变这种情况需要记者、活动家和律师的共同努力，还需要当局制定新的规章制度，以预测危险设计的风险，并创造条件，使工程师能够在不危及其就业的情况下进行符合道德标准的工作。在资本主义制度下，保护人类的生命和尊严不受底线的影响是一场永无止境的战斗。
计算机代码本身就是一种法律形式。它由人类书写，像其他权力分配系统一样，它控制着人类的行为。它不是一个客观的过程或自然的力量，它表达了编码器和用户之间的一种权力关系，反映了编码器工作的系统。“代码永远找不到，”劳伦斯·莱斯格（LawrenceLessig）提醒我们：“这是唯一的办法，也是我们唯一的办法。”“让自由市场来决定这些事情意味着，数字技术有可能在一个不可思议的过程的掩护下，重现歧视。”JoyBuolamwini是算法公正联盟（AlgorithmicJusticeLeague）的创始人之一，该组织旨在宣传和挑战算法中的偏见。在她看来，只有围绕一个特定的目标和意图组织起来，我们才能做到这一点。
目前已经存在了一些关于歧视的法律禁令，这些禁令将捕捉到其中一些例子，因为它们体现在有偏见的代码中。但这些限制还远远不够，执行这些限制也需要监管机构不断更新权力。要发现这些问题，还需要对科技公司征收更高的关税。我们需要要求立法者和公共机构，在民主权威的名义下，介入这些市场，并对行业发布和执行设计要求。Nader在年对汽车工业进行评述时写道：“一个民主*府在解决相互竞争的利益和决定（改善交通安全）时所需的一切方面，远比那些追求越来越高利润的公司更有能力。”今天的科技公司和*府也是如此。
重要的是，开发这种技术的人们在改变设计文化方面也扮演着重要的角色。伦理设计考虑可以作为一种工业和*治组织工具，充当抵御掠夺性商业实践的壁垒。世界上最大的计算机科学家和工程师组织，计算机械协会（theAssociationforComputingMachinery）主席CherriM.Pancake写道：“技术专家是第一道也是最后一道防御技术滥用的防线。”
年，该组织发布了一份最新的道德规范，要求开发者识别可能的有害副作用或误用其工作的可能性，考虑不同用户群体的需求，并特别注意避免对特殊群体的权利剥夺。在ACM收到的关于代码的反馈中，有一位年轻的程序员这样评论：“现在我知道如果老板要求我再做类似的事情，我该怎么告诉他。”解决设计中涉及的伦理问题不是一项简单的任务，但也不是不可能，为技术人员创造空间，让他们考虑各种选择，并充分利用它们，是其中的一个重要组成部分。
随着越来越多的大型科技公司员工以道德为理由与老板展开较量，我们已经可以看到这种做法在实践中是什么样子了。微软员工组织起来要求他们的公司取消与移民和海关执法部门以及其他直接帮助他们的客户的合同。他们写道：“作为微软从中获利的技术研发人员，我们拒绝与之串通一气。我们是一个不断壮大的运动的一部分，这个运动包括了整个行业的许多人，他们认识到，那些创造强大技术的人必须承担重大责任，确保他们所创造的东西是用于造福，而不是有害。拒绝开发有害技术的道德和最终*治决定不是基于个人，而是基于集体和工业。”
谷歌也发生了类似的员工运动，名工人代表*方和高级工程师签署了一份反对某个项目的请愿书，拒绝从事特定项目的工作，该工作将使谷歌赢得一份另多方敏感的*事合同。这种集体组织具有通过自组织改变技术生产文化的巨大潜力，比任何自上而下的纪律或服从形式更能够有效地提出并解决伦理问题。
数字时代的设计过程需要让工程师更容易地考虑用户的兴趣。但是，我们如何理解用户的兴趣可能是一个复杂的问题，将这些兴趣纳入设计过程需要时间和精力。当我们开发技术并发掘其潜力时，如果我们要避免造成伤害，我们可能还必须限制我们的技术能力。
这是一个特别重要的考虑因素，因为我们见证了物联网的飞速发展。越来越多的日常设备都安装了网络连接，你可以买一个冰箱、烤箱或者一个连接到互联网的家庭气候系统，从而可以在物体和人之间传输数据。正在开发的产品范围（必须说，通常从过度到无用）也揭示了这种技术的潜在积极性，例如它可以为家庭中有流动性问题的人提供帮助，为帮助治疗各种形式的残疾而建造的技术正在取得惊人的进展。厂商还有更加方便的承诺：如果你的智能手提箱丢了，你立马可以上网追踪它的位置。
但智能设备也有一个令人不安的方面。当我们把更多的智能家居设备带到我们的家里，以我们无法控制的方式与外界交流时，物联网可以说正在变成一个巨大的监视装置。这是弱势群体面临的一个特殊问题。正如EliseThomas的观点，他讨论了关于技术和家庭暴力的话题：技术的进步对家庭暴力的目标来说是福也是祸。新的“智能”技术可以让他们更容易地获得帮助并记录下虐待行为，但同样，它也可能被滥用，监控他们的活动、窃听他们的对话、甚至实时跟踪他们的位置……
从前，一个电话号码就足以让人丧命。那么，当我们进入一个有权使用智能设备跟踪每一个动作、听到每一次呼吸、读取屏幕上每一个心跳的世界时，对于家庭暴力的目标来说，这意味着什么呢？
物联网对家庭暴力幸存者的影响是深远的。随着越来越多的生活设备连接到网络，且我们无法控制这些数据流，其他人更容易访问我们的大量信息。可穿戴技术可以被黑客攻击，汽车和电话可以被跟踪，来自恒温器的数据可以显示是否有人在家。
这种深度和广度的数据对于任何经历过虐待关系的人来说都是可怕的，也就是说，很多很多的人被再一次放置在危险之中。在美国，超过三分之一的女性和四分之一以上的男性一生中经历过强奸、身体暴力或亲密伴侣的跟踪。
技术滥用现在是选择使用暴力的人的标准做法。在年一项针对家庭暴力幸存者的服务提供商的调查中，97%的人报告说，他们的用户因滥用技术而遭受虐待者的骚扰、监控和威胁。这通常是电话骚扰和滥用，如短信和社交媒体发帖。但60%的服务提供商也报告说，滥用者通过技术手段对儿童和幸存者进行了监视或窃听。滥用者通过给孩子送礼物或在孩子的物品上安装装置来达到这一目的，甚至有11%的人报告说，有隐藏的“间谍”技术的玩具。
调查还发现，45%的项目报告了滥用者试图通过技术找到幸存者的案例。这些发现得到了另一项研究的支持，该研究发现85%的受访庇护所与施虐者使用GPS跟踪他们的幸存者一起工作，75%的受访幸存者使用隐藏的智能手机应用程序远程窃听他们的谈话。近一半接受调查的收容所禁止使用Facebook，因为他们担心会向跟踪者透露位置信息。
这些社会问题不是科技公司有义务必须去解决的，但它们是科技公司所塑造的社会中不可否认的一个特征。它们应该在开发的早期阶段被考虑，并在设计过程中被适应。我们经常被告知，将越来越多的个人设备连接到互联网是多么方便和未来主义。但不是每个人都有这种感觉，大量个人数据的生成，以及我们无法控制这些数据的收集和存储方式，都会产生严重的后果，尤其是对某些群体而言。然而，社会大部门的经验，特别是那些易受伤害的部门的经验，通常似乎不在设计过程中。
这种方法最终会影响到每个人，而不仅仅是那些有特定弱点的人：随着技术资本主义找到了了解我们个人生活的新方法，我们可以预测未来*府的间谍能够找到他们自己的方式进入这个信息宝库。在年2月提交给美国参议院的证词中，时任国家情报局局长的詹姆斯·克拉珀（JamesClapper）很好地表达了这一点。克拉珀说：“未来，情报部门可能会利用物联网进行识别、监视、监测、定位跟踪，并瞄准招聘，或获取网络或用户证书。”美国经常利用产业创新为自己的利益重新调整用途。作家埃夫根尼·莫罗佐夫（EvgenyMorozov）简明扼要地说：“如果你想知道‘智慧城市’或‘智慧家庭’中的‘智慧’意味着什么，那么我可以告诉你是作为革命性技术营销的监视之眼。”
公司对用户体验的漠不关心部分源于对可用性和实用性的特定理解，Pinto丑闻爆发时，汽车行业也处于类似的心态。RalphNader在《任何速度驾驶都是不安全的（safeatAnySpeed）》一书中指出，福特公司基本上对花钱提高安全性不感兴趣，大约美元用于研究每一起交通事故，其中四分之一来自工业。
相比之下，航空业和*府在每名乘客死亡后的安全工作上共投入了5.3万美元。尽管汽车公司乐于投资于制造更快或更具未来感的汽车，但当安全特性威胁到美学设计原则时，汽车行业却抵制了它们。科技公司坚持把所有东西都连接到物联网上，并在设计产品时考虑到某种特定的用户，它们也采用了类似的模式。他们喜欢谈论服务客户，但是这个目的是通过一个特定的和狭窄的框架来理解的。
其中一个最明显的原因是，设计我们数字技术的人来自特定的人群。硅谷白人男性比例过高是众所周知的。据调查报道中心透露，年硅谷10家大型科技公司没有雇佣一名黑人女性。其中3家公司根本没有黑人员工，6家公司没有一位女性高管。
也有一些公司做得比其他公司好，许多大公司都发布了多样性报告，这是与过去几年相比的一个明显变化。但是白人，尤其是男性，无论是相对于人口还是相对于整个私营部门而言，在科技行业中的比例仍然过高。这种趋势在行*领导层中更为极端。正因为如此，我们看到网络设备的设计方法对家庭暴力等威胁漠不关心，尽管它是社区中普遍存在的问题。考虑到在座的特定人群，这些公司做出的决定不可避免地会显示出特定的偏见，而且任何人想要纠正这些偏见的可能性都更低。
这也有一个类动态。AdamGreenfield指出，物联网是由一群特定的人来设计的，他们将Uber、Airbnb和Venmo等服务完全融入了自己的生活，尽管这并不能反映一种普遍的体验。他们拥抱了数字化、个性化、最优化和商品化的世界:“这些主张对他们来说变得正常，因此对其他人来说也变得正常。然而事实上，有相当一部分人从未使用过这些服务，甚至从未听说过它们。但他们并不是由技术发展服务的群体。
一位记者注意到，年的消费电子展似乎“更多的是为1%的富人提供更好的生活条件，而不是解决未满足需求的真正的创新突破。”另一位评论人士则更为直率:“旧金山的科技文化专注于解决一个问题：我母亲不再为我做什么？参与设计过程的人往往来自富裕的经历，以及特定的性别，这更普遍地影响着技术的发展，对我们所有人都产生了影响。”
程序员队伍中的多样性对于改变这种文化至关重要。这不仅仅是渠道问题，也是技术公司内部的问题，需要改变招聘实践、问责流程和与工作条件相关的*策。年谷歌罢工事件中，该公司2万名员工停止工作，抗议该公司如何处理不当性行为案件，并强调其对职场女性的影响。工人们几乎立刻就赢得了一些权利，但还有更多的工作要做。它是一个鼓舞人心的例子，说明了培养多样化劳动力存在的复杂障碍，以及如何通过组织来消除这些障碍。如果科技公司忽视这一点，他们将面临危险。目前，该行业缺乏多样性，这是一个亟待改变的问题，为实现这一点而提出的建议引起了广泛和主流的
