AI审查政府福利曝风险：效率承诺或重演“机器人追债”悲剧？

一封来自算法的催债信

一封冰冷的信件，没有人类的笔迹，却带着不容置疑的权威，通知你欠下政府数千美元的福利金，要求立即偿还。你反复核查自己的收入记录，确信这是一个错误，但申诉渠道却是一堵由代码砌成的高墙。这不是科幻小说的情节，而是几年前在澳大利亚真实上演的“机器人追债”（Robodebt）计划的一幕。这个旨在利用自动化系统追讨所谓“超额支付”福利金的项目，最终因其错误的算法和冷酷的执行，被法院裁定为非法，并被证实与至少三起自杀悲剧有关。这场由代码引发的人间悲剧，如同一道深刻的伤疤，警示着每一个试图将公共服务完全交由算法裁决的尝试。

如今，随着人工智能（AI）技术的飞速发展，相似的雄心正在硅谷重新燃起。这一次，它披上了更智能、更高效的外衣，承诺要解决一个长期困扰政府的顽疾：福利欺诈与资源浪费。

硅谷的新承诺：AI能否根治福利欺诈？

旧金山的一家AI独角兽公司Checkr，正将目光投向美国政府。这家以为Uber和Lyft等共享经济巨头提供司机背景调查而闻名的公司，年收入已超过8亿美元。其首席执行官丹尼尔·亚尼斯（Daniel Yanisse）公开表示，公司的下一个宏伟目标是利用AI技术，帮助政府进行福利资格的身份验证，特别是像联邦医疗保险（Medicare）和社会保障金这类核心项目。

亚尼斯描绘了一个“无摩擦”的政府援助体系蓝图。他指出，政府在核实申请人的就业状况和真实收入方面面临巨大困难，这导致了惊人的资金浪费。以Medicare为例，仅2025年，其“不当支付”金额就高达288.3亿美元，支付错误率达到6.55%。这些“不当支付”并非都源于蓄意欺诈，很多是由于文件不足或收入水平无法核实造成的。Checkr相信，其强大的AI数据处理和验证能力，可以精准识别出这些问题，确保纳税人的钱真正流向最需要帮助的人。

然而，亚尼斯也坦诚地指出了一个悖论：“不幸的是，有了AI，欺诈、身份盗窃和骗局可能会变得更多。”深度伪造（Deepfakes）等新技术的出现，让身份验证的战场变得更加复杂。Checkr的设想，是在用AI这把“利剑”斩断欺诈的同时，也必须铸造一面能抵御AI自身风险的“坚盾”。

历史的警钟：当算法成为审判者

在对AI的乐观憧憬之外，历史的教训显得尤为沉重。除了澳大利亚的“机器人追债”悲剧，美国本土也曾有过惨痛的经历。

• 澳大利亚的“机器人追债”计划：该系统通过一个简单的平均算法来比对税务数据和福利领取记录，这种“一刀切”的计算方式完全忽略了临时工、零工经济从业者收入的不稳定性。结果，成千上万的公民被错误地判定为负债者，他们不仅要面对追债的压力，还要承受被当作“骗子”的羞辱。皇家委员会的调查报告直指该计划是“粗暴而残酷的机制”，其造成的心理创伤和社会撕裂至今难以愈合。

• 美国印第安纳州的IBM合同纠纷：2010年，印第安纳州试图通过外包给IBM来自动化其福利资格审查系统。然而，这个耗资13亿美元的项目最终以失败告终。法庭记录显示，IBM系统频繁出错，导致大量符合条件的贫困家庭被错误地拒绝了福利申请，给他们的生活带来了直接的伤害。最终，州政府起诉IBM，项目宣告废弃。

这两个案例如同两座墓碑，标记着自动化公共服务曾经走过的弯路。它们的核心教训是：当系统面对的是复杂多变、充满人性因素的现实生活时，任何过于简化的算法都可能变成一把伤人的利器，而首当其冲的，永远是那些最缺乏资源和话语权的弱势群体。

“黑箱”审判：技术与法律的迷宫

专家们对Checkr的计划持谨慎态度，其担忧主要集中在技术、法律和伦理三个层面。

加州大学伯克利分校的计算机科学教授、AI先驱斯图尔特·拉塞尔（Stuart Russell）对此“并不乐观”。他指出，当前类似大型语言模型（LLM）的AI系统，“无法为其决策提供可验证的真实解释”。这意味着，如果一个AI系统拒绝了你的福利申请，你可能永远无法得知其背后的确切原因。这种“黑箱”操作使得挑战错误决定变得几乎不可能，从根本上剥夺了个人的申诉权。

拉塞尔还引用了欧盟的《通用数据保护条例》（GDPR），该法规明确禁止完全由自动化系统做出对个人具有重大法律影响的决定。这道“防火墙”的核心思想是，关系到公民基本权利的决策，必须保留人类的干预和监督。

雪城大学研究AI政治的副教授张宝宝（Baobao Zhang）则强调，任何试图将福利系统自动化的政府合同，都**“必须在部署前进行严肃的现实世界评估”**。她警告说，历史已经证明，这里的风险极高，一旦出错，代价将是普通民众的生活。

伦理的天平：在效率与人性之间

在追求效率和精确度的背后，一个更深层次的伦理问题浮出水面：我们是否愿意将关乎民生的最终裁决权，交给一个没有同情心、无法理解个体困境的算法？

埃默里大学AI与未来工作项目创始主任伊费奥玛·阿琼瓦（Ifeoma Ajunwa）提出了一个建设性的方案。她认为，任何采用AI的政府机构，都应设立一个由技术专家、社会科学家以及受影响群体代表组成的咨询委员会。“我们必须谨慎地将政府职能委托给AI技术，” 她说，“在吹捧这些工具能提高效率、降低成本的同时，我们也需要为它们的使用建立护栏，以保护公民。”

让那些政策的直接承受者——福利申请人，参与到系统的设计和监督中，这不仅是对他们权利的尊重，也是避免重蹈覆辙的关键一步。否则，技术开发者在办公室里设想的“理想用户”，可能与现实世界中挣扎求生的个体截然不同。

结语：科技向善的未竟之路

AI自动化身份核查，无疑为解决政府福利系统中的效率低下和欺诈问题提供了一个充满诱惑力的解决方案。它承诺了一个更公平、更高效的未来，每一分钱都能精准地用于刀刃上。

然而，从澳大利亚的悲剧到印第安纳州的混乱，历史反复告诫我们，通往地狱的道路往往是由善意铺成的。当技术被应用于社会最脆弱的环节时，任何未经审慎评估的“效率提升”都可能演变成一场灾难。算法的冰冷逻辑，无法替代人类社会的复杂纹理和对个体尊严的关怀。

未来，AI与公共服务的结合不可避免。但真正的考验不在于技术能做什么，而在于我们为它设定了怎样的边界。在冰冷的服务器和温暖的人心之间，我们需要建立的不仅仅是防火墙和护栏，更是一种以人为本的价值准则。否则，我们追求的那个“无摩擦”的完美系统，最终可能会以牺牲人性的方式，带来最深刻的摩擦。