智能系统中的权限架构

信任是一种基础设施

身份正确,不等于系统拥有执行正确动作的权限。

从一个场景开始

每个高影响动作都需要两份彼此独立的证明:系统为何选择它,以及系统为何有权执行它。

从一个场景开始

一张不该发送的账单

采购团队让智能体核对一张供应商账单,并明确要求“只检查,不发送”。系统先确认操作者身份,再读取账单,随后调用邮件工具,把文件发了出去。前三步都有合法凭证,最后一步仍然越过了任务边界。

现在按动作顺序检查:谁提出任务?账单中的文字有没有被当成新指令?读取权限为何能够触发发送?发送之前,系统是否重新核对了人的原始要求?每一步单独看都像合理操作,连接起来却得到错误结果。

因此,这一页不从抽象的“可信 AI”谈起,而从一次可以复盘的操作进入系统。先分清身份、权限与委托,再追踪选择工具的过程,最后要求行动同时通过决策与授权两道核验。

动手探索

审计一次智能行动

沿四层拆解账单场景,把决策证明与权限证明分开检查。

系统看见了什么?

区分用户请求与文档、邮件等任务环境中的其他影响。

查看所有视角
  1. 系统看见了什么?

    区分用户请求与文档、邮件等任务环境中的其他影响。

  2. 系统为何选择这个动作?

    追踪数据、记忆、检索与推断如何共同推动操作选择。

  3. 系统为何有权执行?

    核对授权主体、委托、范围、时效与撤销条件。

  4. 两份证明是否同时成立?

    只有决策链与权限链都经得起检查,才允许高影响动作继续。

可交互的示意场景

核心问题

你的系统在无意中信任了谁,或信任了什么?

第一步:分开身份、权限与委托

身份认证回答“你是谁”,授权回答“你可以做什么”,委托还要继续追问:权力由谁交出、用于什么任务、能否再次转交。智能系统让这些长期存在的计算机科学问题进入更广泛的公共视野。

比起笼统的角色标签,更有用的是观察一条具体关系:主体、任务、资源、时间与动作。允许助手查看空闲时段,并不等于允许它阅读全部附件,更不等于可以在未经确认时发送任何内容。

第二步:还原动作是怎样被选中的

设想一个助手负责安排会议。它查看日历、寻找参与者、调用邮件,并在某份文件中看到一句看似指令的文字。关键不在制造惊险的攻击故事,而在还原决策链:系统为何把文档内容当成命令?调用了什么工具?本可在哪一步停下来?

由此,网络安全与身份管理、应用架构、软件供应链和系统韧性连在一起。好的防护既约束不合适的行动,也让有价值的服务在某个组件失效或情境变化时仍能继续。

关键检验:行动的两份证明

“行动的两份证明”(Two Proofs of Action)是这场演讲提出的编辑框架。第一份解释选择:哪些数据、检索、记忆、推断与语境把系统带到这个动作。第二份解释权限:哪个主体授予权力、用于什么任务、范围多大、何时失效。

两份证明不能互相替代。系统可以很好地解释一个动作,却没有权执行;也可以拥有合法权限,却误解了任务。因此,信任应被设计成与任务绑定、受时间限制、可撤销且可审计的权限架构,而不是一句“请谨慎行动”。

最后一步:把核验放在动作发生之前

对高影响动作,日志只能回答事后发生了什么;真正的控制点必须出现在发送、付款或修改之前。系统应展示将要执行的动作、对象、依据和授权范围,让人或规则能够在结果不可逆之前阻止它。

需要验证的不是一句笼统确认,而是四项具体内容:当前动作是否仍服务于原任务,使用的资源是否在范围内,授权是否尚未过期,最终对象是否与用户表达一致。这样,确认才是决策环节,而不是界面装饰。

走进思想的深处

让问题打开新的视角

系统身份可靠,为什么行动仍可能不可靠?

身份只能确认行动者,不能证明每个动作都适合当前任务。动作还要与资源、时间、目的和环境对应。

安全边界会不会降低智能系统的价值?

清晰边界通常会提高价值:系统在可验证范围内自主完成任务,把少数高影响或异常情况交回给人。

智能体带来了什么新变化?

人的目标与最终动作之间增加了一个选择空间:系统解释任务、选择工具并调整路径。这个空间需要被设计、记录和评估。

“行动的两份证明”分别证明什么?

第一份还原输入、记忆、检索与工具选择,第二份核对谁授予权限、用于哪项任务、范围多大、何时失效。两者并列后,才能看出决策链或权限链在哪一步偏离了人的原始要求。

什么时候必须让人确认?

当动作影响大、难以撤销,或系统无法同时证明决策依据与授权范围时,应在执行前让人看到具体动作、对象和后果,而不是只显示一个模糊的确认按钮。

离开会场之后

让好奇心走出会场

审计权限,不要只核验身份。面对每个智能动作,分别寻找决策的故事与行动权的故事。

  1. 区分身份验证、权限授予与行为正确性。
  2. 明确将 AI 接入高影响工具前需要提出的问题。
  3. 将安全保护与业务连续性、恢复及责任联系起来。

这份思想的书架

这些作品帮助理解主题的来路,也为继续阅读提供线索。

  1. The Protection of Information in Computer Systems

    Jerome H. Saltzer、Michael D. Schroeder

    已发表的综述论文,讨论信息保护的架构原则,包括最小权限与完全中介。

  2. The Confused Deputy: (or why capabilities might have been invented)

    Norman Hardy

    已发表论文,通过“困惑的代理人”说明合法权限如何在错误语境中被使用。

适合听众

  • 网络安全、风险与技术负责人
  • 系统架构师及身份与平台团队
  • 智能系统安全领域的研究者与实践者

适用情境

适用于正在扩大智能体应用,或重新审视技术生态中权限与信任关系的机构。

内容边界

不属于攻击技术培训、机构安全审计,也不承诺消除安全事件。

设置邀约背景

一个核心问题,匹配不同听众的深度。

拟议形式
洽谈演讲

以下形式均为提案。内容准备情况、时长与互动方式须针对每次邀约确认。 这些语言用于网站介绍。现场演讲语言及口译安排须针对每次邀约单独确认。

贯穿其中的线索

相关内容