如何评估AI供应商: 完整的尽职调查指南
快速答案:评估AI供应商意味着要求提供证据而不是承诺。在签署前,您需要以书面形式获得四样东西: 您可以检查的独立测试结果、关于数据如何使用和保存的明确条款、关于在上线后监控系统的承诺,以及在无需相信供应商之言的情况下验证供应商所有安全声明的方式。本指南的其余部分将其转化为一个可操作的流程、一份可以发送给供应商的问题清单,以及使答案有法律约束力的合同条款。
AI尽职调查与普通软件审查的不同之处在于,AI系统可能会自信地给出错误答案、被诱使违反自己的规则、泄露数据,或在供应商在周二推送的模型更新后改变行为。您通过测试行为来发现这些风险,并通过说明行为偏差时会发生什么的合同条款来控制它们。
为什么AI供应商尽职调查现在是正式期望
购买AI过去被视为软件购买,只加上关于数据的额外条款。公共采购方和大西洋两岸的立法者已经改变了这一点。
美国联邦采购方: OMB备忘录M-25-22
2025年4月3日,白宫管理和预算办公室发布了备忘录M-25-22,《政府人工智能采购的高效推进》。它适用于在备忘录发布后180天或更长时间内发出的征集招标下授予的合同,以及在该日期之后行使的续约选项。第4(d)节说明机构"必须包括解决"清单中主题的条款,这些条款用于AI系统和服务的合同。其中包括:
- 持续性能监控。合同必须允许机构定期监控和评估系统的性能、风险和有效性,以季度或两年一次的审查为例。
- 独立测试。机构应使用供应商无法访问的自己的数据集进行测试,供应商必须提供"机构完成独立评估所需的访问和时间",测试结果应"详细到可以独立验证或复现测试,如果可行的话"。
- 防止锁定。条款可包括知识转移、"数据和模型可移植性",以及关于许可和定价的透明度。
- 限制使用您的数据进行训练。第3(e)节要求合同"永久禁止使用非公开输入的机构数据和输出结果"来进一步训练公开或商业可用的AI,除非机构明确同意。
- 变更前通知。政府机构应考虑要求供应商在集成新的AI增强功能前向其通知,并鼓励要求供应商在部署新版本前符合性能标准,并在需要时进行回滚。
第二份备忘录是2025年12月11日的OMB M-26-04,称其"补充"了M-25-22。对于大语言模型合同,它列出了政府机构应向供应商请求的信息:可接受的使用政策、模型、系统或数据卡片、最终用户资源以及最终用户反馈机制。它还允许政府机构请求更多信息,例如评估结果。
这些备忘录对联邦政府机构具有约束力,而非对私营公司。它们仍然是关于精明AI采购方所要求内容的最详细的公开声明,私营采购团队可以直接借鉴其结构。
欧盟部署方:《AI法案》对采购方的要求
《欧盟AI法案》,即法规(EU) 2024/1689,将在自身权威下使用AI系统的组织称为"部署方"。如果您购买高风险AI系统并将其投入使用,第26条对您规定了职责,与对供应商的职责分开。在欧盟委员会AI法案服务台发布的合并文本中,第26条规定:
- 部署方"应采取适当的技术和组织措施,确保其按照随系统附带的使用说明使用该系统"(第26条第(1)款)。
- 部署方"应将人员监督分配给具有必要能力、培训和权限的自然人"(第26条第(2)款)。
- 部署方"应根据使用说明监测高风险AI系统的运行",如果他们有理由认为该系统存在风险,则必须通知提供者或分销商和相关市场监督部门并暂停使用(第26条第(5)款)。
- 部署方"应保留该高风险AI系统自动生成的日志",在其控制范围内,至少保留六个月,除非其他法律另有规定(第26条第(6)款)。
- 《附件III》系统的部署方进行或协助做出关于人员的决定时,"应告知自然人他们受到该高风险AI系统使用的约束"(第26条第(11)款)。
这些职责中的每一项都取决于您只能从供应商那里获得的内容。您无法遵循从未收到的使用说明,无法保留系统不导出的日志,也无法监测无法测量的行为。第13条是同一协议的供应商方面:高风险系统必须附带使用说明,其中包括其他事项中"准确度水平,包括其指标、稳健性和网络安全"(第13条第(3)款(b)(ii))。尽职调查是您确认这些资料存在且足以让您履行职责的地方。
时间很重要。根据《数字综合法案》修正案,第113条现在对《附件III》中列出的独立系统自2027年12月2日起适用高风险规则,对《附件I》涵盖的产品中嵌入的AI自2028年8月2日起适用。您今天签署的合同通常仍在这些日期前后运行,所以现在将这些义务写入合同很有意义。另外,第4条要求AI系统的提供者和部署方一般而言(不仅限于高风险系统)"采取措施支持操作和使用这些系统的员工的AI素养发展"。如需更全面的法律情况,请参阅我们的《欧盟AI法案和美国AI法律完整指南》。
自愿框架指向同一方向
NIST AI RMF核心为第三方AI提供了自己的类别。GOVERN 6.1规定"存在解决与第三方实体相关的AI风险的政策和程序",GOVERN 6.2规定"存在处理被认为高风险的第三方数据或AI系统故障或事件的应急程序",MANAGE 3.1说第三方资源的风险应"定期监测,并应用和记录风险控制"。如果贵组织已与NIST AI RMF相协调或运行ISO/IEC 42001管理系统,供应商尽职调查是您满足所购买AI这些期望的方式。我们的《NIST AI RMF、ISO/IEC 42001及相关标准完整指南》涵盖了这些框架如何配合在一起。
六个评估领域
每个AI供应商评审都归结为六个领域。
1. 系统是什么及其用途
从范围开始。产品底层有哪些模型,供应商是其开发者还是将他人产品重新包装的转销商?供应商记录的预期用途是什么,您的计划使用是否在其范围内?根据《EU AI Act》,预期用途是使用说明必须说明的第一项,在其范围之外使用系统意味着承担供应商从未测试过的风险。
2. 安全行为证据
这是大多数采购方处理得最差的领域,因为在问卷中询问这个问题最困难。"您测试偏见吗?"会从每个人那里得到肯定答复。更好的问题要求提供方法和结果:测试了什么,针对哪些情景,通过率如何,由谁进行,何时进行。值得涵盖的行为风险与A.E.G.I.S.™框架的七个支柱相符:
- Hallucination Integrity:系统是否将谎言陈述为事实,特别是在压力、模糊或特定领域提问下?
- Guardrail Resistance:它是否可以通过越狱尝试或提示注入被操纵成不安全行为?
- Data Handling & Privacy:它收集、保留和泄露什么,包括个人数据?
- Ethical Alignment:它对易受伤害的用户和敏感话题的行为是否恰当?
- Autonomy & Control:它能自行行动到什么程度,人类能否阻止它?
- Adversarial Robustness:在面对有动机的攻击者时表现如何?
- Explainability & Transparency:其行为是否可以被理解和事后审计?
若要了解这些方面的具体测试方式,请参阅AI系统如何进行安全测试。对采购方而言,关键区别在于厂商对自身进行的测试结果,与独立第三方进行的测试结果。内部测试有其价值,但这相当于厂商给自己的作业打分。M-25-22从采购方的角度指出了同样的观点,它要求测试须足够详细,以便"独立验证或复现"。
3. 数据处理
应要求了解您的数据流向何处、保留多久、谁可以访问,以及是否用于训练任何系统。M-25-22中的联邦标准是一个有用的参考标准:厂商只能在"合理必要"的情况下收集和保留机构信息,非公开输入和输出不得在未经同意的情况下用于训练公开或商业模型。还应询问系统日志是否提供给您访问,因为欧盟高风险系统部署方必须将日志保持在其控制之下。
4. 监督与控制
了解当系统出错时人类可以做什么。操作员能否审查或覆盖输出,或暂停系统?第26(2)条假设您将指派有能力的人员进行监督;厂商必须为他们提供必要的工具。
5. 变更管理与监控
AI产品会在您不知情的情况下发生变化:新的基础模型或重新训练,您批准的行为已不再是生产环境中的行为。应了解厂商如何告知您重大变更,您是否可以在新版本到达用户前进行测试,以及版本是否可以回滚。M-25-22要求机构考虑或要求这三个方面。然后了解上线后存在什么样的监控,以及结果是否会与您共享。
6. 事件与问责
了解厂商对AI特定故障(如有害输出或越狱成功)的事件响应流程。欧盟高风险系统部署方在认为系统存在风险时必须通知供应商和市场监督部门,因此您的合同应确保厂商在发生此类情况时愿意与您配合。我们的指南已记录的AI事件和测试能捕获的内容展示了值得规划的故障模式。
可发送给AI厂商的问卷清单
将这些内容复制到您的采购请求中。每一项都要求提供可供您验证的内容。
范围与用途
- 产品采用哪些模型,各模型由谁开发,当前生产中运行的是哪些版本?
- 有哪些文件化的既定用途,是否有您建议反对的用途?请分享使用说明或等效文档。
- 您是否发布该产品的模型卡、系统卡或数据卡?请附上。
- 最终用户的可接受使用政策是什么?
测试与证据
- 您对该产品进行了哪些安全风险测试(例如Hallucination、越狱和提示注入、隐私泄露、易受伤害用户的行为、Autonomy限制、对抗性攻击、Explainability)?对于每一项,测试方法和结果是什么?
- 这些测试中有任何是由独立第三方进行的吗?由谁进行、何时进行、针对哪个版本进行的,我们能否自行验证结果?
- 您是否会给我们访问权限和时间来运行我们自己的评估,使用您看不到的测试数据?
- 文件化的准确性、鲁棒性和网络安全水平是多少,它们是如何测量的?
数据
- 您从我们的使用中收集和保留哪些数据,保留多长时间,为什么需要每一项?
- 我们的输入或输出是否会被用于训练或改进任何模型(您的或第三方的)?是否可以通过合同禁止这一行为?
- 哪些子处理方(包括模型提供商)会接收我们的数据?
- 系统会生成哪些日志,我们能否导出并保留这些日志?
控制、变更和事件
- 我们的操作人员可以使用哪些人工监督和覆盖控制?
- 您将如何以及何时在模型或其行为发生重大变更前通知我们?我们能否在新版本到达用户前进行测试,以及能否回滚?
- 您在部署后如何监控该产品,是否会与我们分享监控结果?
- 您针对AI特定故障的事件响应流程是什么,对我们有哪些通知承诺?
- 如果我们离开,如何获取我们的数据和任何定制内容,格式是什么?
将答案转化为合同条款
问卷答案是陈述。合同是使其成为义务的地方。M-25-22提供了相关主题的模板,私营采购方可以进行较少改动的调整。
- 性能和安全承诺。将经过测试的行为写入协议:已记录的准确性和安全水平、定期审查计划,以及结果低于这些水平时会发生什么。
- 评估权。保留进行自己的测试权利,或由独立第三方进行测试,供应商需提供访问权和时间。
- 数据使用限制。禁止在未获得书面同意的情况下对您的输入和输出进行训练,将保留限制在必要范围内,并明确命名子处理方。
- 变更通知。要求事先通知重大模型变更,并在其到达生产环境前提供测试窗口,同时提供回滚选项。
- 日志记录和记录。要求系统生成和导出您需要的日志,并设定供应商保留其自身日志的期限。
- 事件协作。为AI事件设定通知时间表,以及协助您履行任何报告义务的承诺。
- 可迁移性。涵盖数据和模型可迁移性、知识转移和透明许可,以便您在需要时可以离开。
M-26-04增加了一项有用的起草技巧:它要求机构将某些要求确定为"合同下资格和付款的关键因素"。将安全和透明度条款作为关键因素使其更具约束力,因为违反这些条款成为寻求救济的基础,而不是附注。
尽职调查通常在哪里出现问题
大多数失败的AI供应商审查在几种可预测的方式之一中出现失败。
问卷是一份附加了AI问题的安全表格。根据AICPA自身的描述,SOC 2报告是对服务组织控制的审查,与安全性、可用性、处理完整性、保密性或隐私相关。这是有价值的,它回答了一个与模型是否可能被越狱或多久会编造事实不同的问题。将信息安全和AI行为保持为单独的部分,各有单独的证据。
每项答案都是自我报告的。审查员无法对表格或附加政策进行检查,因此采购方要么接受它无法验证的声明,要么自行委托测试。
批准被视为永久性的。购买后六个月,供应商改变了模型,却没有人重新检查。M-25-22和NIST AI RMF都将监控视为持续进行,正是基于这个原因。
证据在供应商间无法比较。三个供应商以三种不同的方式描述其测试,因此价格和功能最终决定选择。
为什么独立可验证的评级能加快流程
最后两个问题是成本最高的。当一个AI系统已经由独立第三方根据标准框架进行过评估时,购买方会经历三方面的变化。
首先,证据是独立的。RateAI在系统评级中没有利益关系,其费用与评估里程碑挂钩,而非评估结果。一个系统可能无法通过认证;当这种情况发生时,开发者会收到详细的发现报告和修复路径,问题解决后可以重新进入评估流程。
其次,证据是可比较的。每个A.E.G.I.S.™评估都对同样的七个支柱进行评分,评分参数由评分周期固定,以确保评估随时间推移保持可比性。通过认证的系统会收到一份A.E.G.I.S.™计分卡,其中包含从A(最高安全性)到F(危险)的整体安全评级、每个支柱的等级,以及从A-5 Guardian到A-1 Unrestricted的认证标章。您的审查人员可以在一个地方看到系统的优势在哪里、需要谨慎的地方在哪里,并且可以在同一标尺上比较两个供应商。
第三,证据是可验证且最新的。每个提示案例、验证人投票和认证决定都通过SHA-256哈希链接在一份一次性写入的审计日志中,因此记录无法被修改或后补日期。任何人都可以在公开的Safety Registry中查询RateAI认证,无需登录,并确认其是最新的且未被降级。认证还附带重新认证周期,系统的重大变更会触发重新评估,这直接解决了上面提到的变更管理问题。
评级并不能替代您的尽职调查。您仍然需要获得关于范围、合同条款、数据流和您的具体使用场景适配性的答案,RateAI认证不是法律裁定:它支持您的合规工作,监管决定仍由相关部门做出。RateAI的Pro和Enterprise层级包括到EU AI Act、NIST AI RMF和ISO 42001的合规性映射。可验证评级的作用是用您的团队可以核实而不是只能相信的内容来回答上面列表中第5到8项的证据问题。要更深入了解第三方认证的工作原理,请阅读什么是AI安全认证以及它如何工作。
一个实用的尽职调查工作流程
- 分类用例。系统影响谁,它能否自主行动,根据EU AI Act它是否可能属于高风险?风险越高,审查需要越深入。
- 尽早发送问题清单。将其纳入RFP,以便无法回答的供应商在您投入演示时间之前就会被淘汰。
- 检查独立证据。在其声称列出的任何独立注册表中查找供应商的产品,并确认评级、日期和版本与您购买的内容相符。
- 测试剩余部分。如果缺少独立证据或其不涵盖您的用例,对供应商未见过的数据运行自己的评估,或委托进行评估。
- 协商条款。将答案转化为合同义务:性能、测试权利、数据使用、变更通知、日志记录、事件处理和可移植性。
- 设定监控频率。同意您将多久审查一次性能,以及什么会触发重新审查,如模型变更或报告的事件。
- 记录决定。保存证据、您的评分和批准的理由。
如果您在这个流程的供应商一方,同样的清单会告诉您买家会问什么。在问卷到达之前准备好独立证据会缩短随之而来的每个销售周期。RateAI的认证和监控层级描述了如何确定业务的范围,一个免费的AI代理安全基准可作为起点。
常见问题
什么是AI供应商尽职调查?
这是在购买前检查AI供应商的系统、数据实践和控制的流程,并在之后保持这些检查的最新状态。与普通软件审查相比,它增加了对系统行为的测试,如幻觉、越狱抵抗和隐私泄露。
SOC 2报告足以批准AI供应商吗?
通常单独不够。SOC 2报告检查服务组织与安全性、可用性、处理完整性、保密性或隐私相关的控制措施,因此您仍然需要关于AI模型行为的单独证据,如虚假答案、操纵和通过输出的数据泄露。
EU AI Act对购买AI的公司有什么要求?
使用高风险AI系统的组织根据第26条是"部署者",必须按照其说明使用系统、分配合格的人工监督、监控其操作、将日志保存在其控制下,并在某些情况下向受影响的人通知。这些高风险规则从2027年12月2日对附件III系统生效,2028年8月2日对附件I涵盖的产品中嵌入的AI生效。
AI采购应包括哪些合同条款?
至少包括:性能和安全承诺、独立测试权利、限制将您的数据用于培训、提前通知和测试模型变更、日志访问、事件协作和可移植性。OMB备忘录M-25-22将其中大多数列为美国联邦AI合同的必需主题。
独立AI安全评级如何帮助采购?
它用第三方制作的标准化结果取代自我声明的主张,您可以验证这些结果。A.E.G.I.S.™ 评级根据与其他所有评级系统相同的七个支柱对系统进行评分,因此您可以比较供应商并在公共安全注册表中确认认证是否为最新。
RateAI 认证会使 AI 系统在法律上合规吗?
没有任何认证可以做出该判断;正式监管决定仍由相关主管部门做出。RateAI 认证支持合规工作,其 Pro 和 Enterprise 层级包括与 EU AI Act、NIST AI RMF 和 ISO 42001 的合规性映射。
在签署前检查供应商的评级
最快的尽职调查问题是该系统是否已进行过独立评估。搜索 RateAI 安全注册表以查看经过认证的 AI 系统的列表、其 A.E.G.I.S.™ 评级和认证状态,并询问您的供应商其产品是否在其中。
