每个高影响动作都需要两份彼此独立的证明:系统为何选择它,以及系统为何有权执行它。
从一个场景开始
一张不该发送的账单
采购团队让智能体核对一张供应商账单,并明确要求“只检查,不发送”。系统先确认操作者身份,再读取账单,随后调用邮件工具,把文件发了出去。前三步都有合法凭证,最后一步仍然越过了任务边界。
现在按动作顺序检查:谁提出任务?账单中的文字有没有被当成新指令?读取权限为何能够触发发送?发送之前,系统是否重新核对了人的原始要求?每一步单独看都像合理操作,连接起来却得到错误结果。
因此,这一页不从抽象的“可信 AI”谈起,而从一次可以复盘的操作进入系统。先分清身份、权限与委托,再追踪选择工具的过程,最后要求行动同时通过决策与授权两道核验。
动手探索
审计一次智能行动
沿四层拆解账单场景,把决策证明与权限证明分开检查。
系统看见了什么?
区分用户请求与文档、邮件等任务环境中的其他影响。
查看所有视角
系统看见了什么?
区分用户请求与文档、邮件等任务环境中的其他影响。
系统为何选择这个动作?
追踪数据、记忆、检索与推断如何共同推动操作选择。
系统为何有权执行?
核对授权主体、委托、范围、时效与撤销条件。
两份证明是否同时成立?
只有决策链与权限链都经得起检查,才允许高影响动作继续。
可交互的示意场景
核心问题
你的系统在无意中信任了谁,或信任了什么?
第一步:分开身份、权限与委托
身份认证回答“你是谁”,授权回答“你可以做什么”,委托还要继续追问:权力由谁交出、用于什么任务、能否再次转交。智能系统让这些长期存在的计算机科学问题进入更广泛的公共视野。
比起笼统的角色标签,更有用的是观察一条具体关系:主体、任务、资源、时间与动作。允许助手查看空闲时段,并不等于允许它阅读全部附件,更不等于可以在未经确认时发送任何内容。
第二步:还原动作是怎样被选中的
设想一个助手负责安排会议。它查看日历、寻找参与者、调用邮件,并在某份文件中看到一句看似指令的文字。关键不在制造惊险的攻击故事,而在还原决策链:系统为何把文档内容当成命令?调用了什么工具?本可在哪一步停下来?
由此,网络安全与身份管理、应用架构、软件供应链和系统韧性连在一起。好的防护既约束不合适的行动,也让有价值的服务在某个组件失效或情境变化时仍能继续。
关键检验:行动的两份证明
“行动的两份证明”(Two Proofs of Action)是这场演讲提出的编辑框架。第一份解释选择:哪些数据、检索、记忆、推断与语境把系统带到这个动作。第二份解释权限:哪个主体授予权力、用于什么任务、范围多大、何时失效。
两份证明不能互相替代。系统可以很好地解释一个动作,却没有权执行;也可以拥有合法权限,却误解了任务。因此,信任应被设计成与任务绑定、受时间限制、可撤销且可审计的权限架构,而不是一句“请谨慎行动”。
最后一步:把核验放在动作发生之前
对高影响动作,日志只能回答事后发生了什么;真正的控制点必须出现在发送、付款或修改之前。系统应展示将要执行的动作、对象、依据和授权范围,让人或规则能够在结果不可逆之前阻止它。
需要验证的不是一句笼统确认,而是四项具体内容:当前动作是否仍服务于原任务,使用的资源是否在范围内,授权是否尚未过期,最终对象是否与用户表达一致。这样,确认才是决策环节,而不是界面装饰。
走进思想的深处
让问题打开新的视角
系统身份可靠,为什么行动仍可能不可靠?
身份只能确认行动者,不能证明每个动作都适合当前任务。动作还要与资源、时间、目的和环境对应。
安全边界会不会降低智能系统的价值?
清晰边界通常会提高价值:系统在可验证范围内自主完成任务,把少数高影响或异常情况交回给人。
智能体带来了什么新变化?
人的目标与最终动作之间增加了一个选择空间:系统解释任务、选择工具并调整路径。这个空间需要被设计、记录和评估。
“行动的两份证明”分别证明什么?
第一份还原输入、记忆、检索与工具选择,第二份核对谁授予权限、用于哪项任务、范围多大、何时失效。两者并列后,才能看出决策链或权限链在哪一步偏离了人的原始要求。
什么时候必须让人确认?
当动作影响大、难以撤销,或系统无法同时证明决策依据与授权范围时,应在执行前让人看到具体动作、对象和后果,而不是只显示一个模糊的确认按钮。
离开会场之后
让好奇心走出会场
审计权限,不要只核验身份。面对每个智能动作,分别寻找决策的故事与行动权的故事。
- 区分身份验证、权限授予与行为正确性。
- 明确将 AI 接入高影响工具前需要提出的问题。
- 将安全保护与业务连续性、恢复及责任联系起来。
这份思想的书架
这些作品帮助理解主题的来路,也为继续阅读提供线索。
- The Protection of Information in Computer Systems
已发表的综述论文,讨论信息保护的架构原则,包括最小权限与完全中介。
- The Confused Deputy: (or why capabilities might have been invented)
已发表论文,通过“困惑的代理人”说明合法权限如何在错误语境中被使用。
适合听众
- 网络安全、风险与技术负责人
- 系统架构师及身份与平台团队
- 智能系统安全领域的研究者与实践者
适用情境
适用于正在扩大智能体应用,或重新审视技术生态中权限与信任关系的机构。
内容边界
不属于攻击技术培训、机构安全审计,也不承诺消除安全事件。
一个核心问题,匹配不同听众的深度。
以下形式均为提案。内容准备情况、时长与互动方式须针对每次邀约确认。 这些语言用于网站介绍。现场演讲语言及口译安排须针对每次邀约单独确认。