当 AI Agent 在你看不见的地方做判断，如何让人的介入真正有效？来自微软研究院的多智能体协作研究洞察

随着 Agent 的应用，企业中 AI 的角色正在发生变化。最初人和 AI 的交互是单线的：用户提出请求，AI 输出结果，用户做出判断。整个过程中，用户知道 AI 在每一轮对话中做了什么。

多智能体系统（Multi-Agent System）改变了这个流程。在多智能体系统中，智能体 Agents 各自承担不同的职责，自主地传递上下文、做出中间判断、推进子任务，其中许多环节并不直接暴露给用户。AI 开始在人看不见的地方持续运转，多个 Agents 彼此交互，产生未曾预期的中间结果。

当 AI 从单一对话窗口， 变成多个自主协作的智能体，一个问题变得紧迫：在多智能体时代，如何重新定位人与 AI 协作过程中的主动性？

研究洞察一览：

• 用户以拟人化的方式理解 Agent，这让协作变得直觉化，也让风险变得难以感知
• 用户基于对 Agent 的想象来释放控制权，但承受的是 Agent 实际运作机制的后果，这种信息不对称可能引发风险
• 人工审核的有效性取决于审核者的理解力，需要从行为、意图、影响三个层面确立控制权

 一、一项来自微软研究院的多智能体研究

现有的人机协作研究大多建立在单智能体范式之上：一个用户，一个 AI，一轮一轮地交互。但多智能体系统引入了一系列新的复杂性：智能体 Agents 之间存在分布式的自主决策和相互依赖，AI 系统的整体行为可能涌现出任何单个智能体都不具备的特征。人类如何理解、信任和介入这种协作关系，现有研究几乎没有涉及。

来自普渡大学、印第安纳大学和微软研究院的研究团队发表了论文《通过早期使用者的心智模型探索多智能体生成式 AI 工具中的人机协作》（Exploring Human-AI Collaboration Using Mental Models of Early Adopters of Multi-Agent Generative AI Tools），试图回答一个核心问题：在多智能体 AI 系统中，人类如何在认知层面理解和参与人机协作？

研究团队在微软内部对 13 位最早在工作中使用多智能体 AI 系统的员工进行了深度访谈。其中，8 位受访者来自软件开发、数据科学等技术岗位，5 位来自产品管理、设计等非技术岗位。有的受访者在搭建概念验证系统，有的已经把多智能体工具整合进了团队的日常工作流。

研究聚焦的是使用者头脑中的“心智模型”（Mental Model），即人对复杂系统形成的内在认知图景，决定了人们如何预期 AI 系统的行为、如何判断什么时候该信任、什么时候该介入。用户对多智能体 AI 形成的认知图景，是理解人机协作走向的一个重要参照。

 二、我们用来理解 Agent 的方式，可能本身就是一个陷阱

当被问到“如何理解多智能体系统”时，受访者自发地使用了四种隐喻：

1. 专家团队：产品经理、工程师、设计师各司其职，协作完成任务；
2. 前台与后台：用户与前台 Agent 交互，后台 Agent 在幕后处理支持性工作；
3. 建筑工地：水电工、木工、电工各有专责，在统一的施工框架下分工协作；
4. 私人购物助手：一个主 Agent 协调多个专业 Agent，满足用户的个性化需求。

这些隐喻有一个共同的逻辑：把 Agent 理解为有特定职责的人类角色。这种理解方式是自然的，甚至在操作层面是有效的。因为角色越清晰，协作越顺畅，用户的接受度也越高。

但问题恰恰也在这里。用户是基于人类协作的经验来想象 Agent 的行为，而并未基于 Agent 的技术机制来理解这个系统。这意味着用户的预期中，“内置”了一些 Agent 实际并不具备的能力：比如质疑同伴的错误，判断自身行动的价值，或是在发现问题时主动停下来。

这种拟人化的理解方式，可能产生两个相反的效果：

• 一个方向是有效的协作直觉。当用户把 Agent 想象成“有具体职责的角色”，他们会更自然地问：这个 Agent 的职责边界在哪里？它擅长什么、不擅长什么？什么情况下需要换另一个 Agent 处理？
• 另一个方向是过度信任。用户把 Agent 想象成“称职的同事”，于是不验证输出，不设置检查点，在 Agent 循环时不知道介入。

拟人化让协作变得直觉，但也让风险变得难以感知。Agent 是第一类“看起来像人但不按人的逻辑运作”的系统。Agent 确实会“回应”，会产生输出，会完成任务。这种表面上的响应性会强化拟人化，让用户觉得 Agent“理解”了自己的意图。

而实际上，Agent 执行的是对输入内容的统计模式匹配，并不是对意图的理解。这两者在大多数情况下结果相似，但在关键时刻可能产生完全不同的行为。用户往往无法提前识别哪些是“关键时刻”，也让业务风险变得不可见。

对于正在引入多智能体工作流的企业而言，这指向一个需要培养的核心能力：在使用拟人化语言协作的同时，保持对 Agent 实际运作机制的清醒认知。这并不意味着拒绝拟人化的语言和理解方式，关键是让团队成员识别出什么时候不能依赖拟人化直觉。

 三、释放控制权，承受的是看不见的后果

理解了拟人化的陷阱，就可以进入一个更根本的问题：在用户与多智能体系统的协作中，用户究竟把握多少主控权？

论文识别出两种协作模式：

1. AI 主导型（AI-Dominant）

• 特征：高自主性、高效率
• 代价：不可预测性、失控风险
• 适用场景：低风险、高重复性的工作流自动化

2. AI 辅助型（AI-Assisted）

• 特征：用户保持主控权
• 代价：认知负担更重、效率提升有限
• 适用场景：高风险决策、需要问责的场景

大多数企业都在这两极之间的某个位置运作，根据不同场景决定释放多少主动性给 Agent。AI 主导模式意味着大幅释放，AI 辅助模式意味着有限释放。但无论选择哪种模式，核心问题是不变的：人在决定释放多少“主动性”给 Agent。

基于论文的发现，UMU 研究团队区分了两个层次的“主动性”：

• 感知主动性（Perceived Agency）：用户对 Agent 行为方式的想象和预期。例如，用户预期 Agent 会像人类同事一样理解意图、主动判断、质疑错误，这是认知层面的投射。
• 运作主动性（Operational Agency）：Agent 在技术层面实际具备的行为能力。例如，接收指令后自主执行操作序列、调用工具、传递上下文给其它 Agent、决定下一步行动。这种主动性的本质是自动化的任务推进，不内置反思或质疑环节。

这两个层次之间存在一个结构性的信息不对称：用户基于“感知主动性”来释放控制权，但承受的是“运作主动性”的实际后果。用户释放控制权的决策发生在“感知层”；但这个决策的代价由“运作层”的行为决定。用户以为自己在和一个称职的 Agent 同事协作，实际上在和一个不会质疑自身的执行系统协作。

这种不对称，在多智能体系统中会导致三类“故障模式”：

1. 错误级联（Error Propagation）：一个 Agent 的幻觉会被下一个 Agent 当成事实继续处理，错误在链条中指数放大，直到产生足够显眼的后果才被发现。
2. 无效循环（Agent Loops）：多个 Agent 可能陷入互相等待或重复执行的僵局，无人介入则无限持续。只有当期望的输出迟迟不出现，用户才意识到系统的问题。而这时，系统已经消耗了大量资源，产生了难以追溯的中间状态。
3. 透明度坍塌（Compounded Opacity）：单个 Agent 的行为尚可解释，但多个 Agent 交互后的系统行为变得无法追溯。当人退出了过程，过程就对人不可见了。

在 AI 主导型模式中，这三类故障会被“结构性”地放大：控制权的释放程度，直接决定了故障的传播空间。面对这些风险，一个自然的想法是加入人工审核环节，但人工审核的方案本身需要更详细的探讨。

 四、对 AI 保有控制权，前提是理解力

在 AI 辅助模式中，保留了人工审核环节，并不等于人真正保持了控制。它只意味着人在形式上有介入的机会。如果说 AI 主导型的风险在于控制权被大幅释放、故障的传播空间大，那么 AI 辅助型有一个更隐蔽的风险：人们可能误以为自己对 Agent 系统有控制。

审核者可能会产生一种判断：“因为我审核过了，所以结果是可靠的。”而实际上，审核者对系统行为的理解可能远不足以覆盖系统真实的运作风险。虚假的控制感比缺少控制更危险，因为它制造了责任归属的幻觉。

这意味着人工审核的有效性，取决于一个前提条件：审核者能不能理解系统在做什么，也就是“透明度”的问题。论文在讨论透明度时提出了一个重要的区分：透明度本质上是一种主观感知，不是系统的客观属性。

同一份系统运行日志，对一位航空工程师可能是完全透明的，对一位乘客则完全不透明。日志本身没变，变的是理解它的人。“透明”实际描述的是：一套系统对某个人来说，是不是可理解的。

由此产生一个设计层面的推论：当我们在问“怎么让系统更透明”时，目标是让特定用户对系统的理解变得更准确、更充分。论文用“可理解性”（Comprehensibility）来定义这个目标。

在多智能体系统中，可理解性面临一个尖锐的挑战：单个 Agent 的行为尚可追溯，但多个 Agent 交互之后，系统的整体行为不等于各 Agent 行为的简单叠加。例如，当 Agent A 的输出传递给 Agent B，B 的处理影响了 C，C 的决策又回流影响了 A。这个循环产生的结果，没有人能在事前完整预测，包括系统的设计者。

这意味着，即使用户拥有所有 Agent 的完整日志，也无法从中还原系统为什么做了某个决定。因果链条太长、交互太复杂，超过了人类认知的处理带宽。

既然客观的、完整的透明性在多智能体系统中不可能实现。那么问题就变成了：既然完整的透明不可能，“足够有效的理解”具体意味着什么？人对 Agent 的理解要到什么程度，手中的控制权才不是空的？

 五、可理解性的三个层面

论文提出了可理解性的三个层面，每个层面对应一种不同的人类主动性（Human Agency）：

• 行为层：Agent 做了什么。人对应的角色是“知情的监督者”，能审查系统执行了哪些动作。
• 意图层：Agent 为什么这么做。人对应的角色是“真正的决策者”，能判断推理过程是否合理、权衡逻辑是否符合自己的价值观。
• 影响层：这些行动产生了什么后果。人对应的角色是“负责任的主体”，能在不可逆的后果发生之前预见风险并选择是否介入。

• 如果只有行为层的可理解性，人只是一个“审查员”，能看到 Agent 做了什么动作，但无法判断动作是否合理。
• 加上意图层，人才能真正行使判断权，去评估一个推理有没有问题、探讨一个权衡是否符合价值观。
• 影响层则对应一个更深刻的问题：在不可逆的后果发生之前，人是否有足够的信息和能力，去预见风险并及时介入。

三层合在一起，构成人类主动性在 AI 系统中的完整实现条件。

缺乏可理解性时，控制权形同虚设。一个人在完全不理解情况的前提下按下了“批准”按钮，在形式上行使了控制权，但这个决定并不是真正意义上他自己做出的判断。在多智能体系统中，这个问题被进一步放大。人看到的是 Agent 呈现的摘要，真正的决策过程发生在 Agent 之间。人的干预只能发生在系统设计好的检查点上，检查点之间发生的一切既不可见也无法追溯。Agent 系统给人的感觉是人在控制，但实际上人可能只是在为 AI 已经完成的工作签字。

这个分析指向一个更根本的张力：AI 系统的能力边界与人类认知的理解边界，正在快速分离。系统能做的越来越多、越来越复杂，而人类能理解的范围受制于认知带宽，几乎没有提升。随着 AI 系统变得更强大，用户实质的主动性可能反而在萎缩，即使形式上看似还是人在“做决定”。

“可理解性”设计正是为了对抗这个趋势。它指向 AI 时代一个核心的设计问题：为了让人的判断在关键时刻是真实有效的，人至少需要理解什么？

 六、企业搭建 Agent 工作流的启示

论文的实验与分析，为企业搭建 Agent 工作流提供了几点启示：

第一，心智模型的管理是领导力问题。

团队成员对 Agent 工作流形成的“心智模型”，会直接影响他们的工作行为。如果团队相信“AI 会自动纠错”，验证行为就会减少。如果团队认为“AI 只是辅助工具、不值得信赖”，可能会过度怀疑而无法充分使用。两种偏差都会产生真实的业务成本。

企业的管理者需要主动塑造团队对 AI 系统的集体态度，明确 AI 能做什么、不能做什么，以及在什么条件下可能产生风险。建立团队共享的最佳实践和失败案例，让组织对 AI 的态度在实践中持续调整。同时需要帮助团队区分两件事：“对 AI 的信任”和“对具体输出的验证”。前者是一种整体态度，后者是具体的工作步骤，不应混为一谈。

第二，关注 Agent 系统中错误的传播路径。

论文中描述的错误级联在企业工作流中有一个具体的形态：第一个 Agent 产生的偏差传导到第二个 Agent，后续所有 Agent 在已有偏差基础上继续工作，产生了更深的偏差。等到人在下游看到最终输出时，已经无法追溯错误是从哪里引入的。

工作流设计需要明确两件事。第一，每个 Agent 节点的输出由谁负责验证？验证的标准是什么？不能假设下一个 Agent 会自动纠正上一个 Agent 的错误。第二，当出现问题时，有没有能力回溯？例如，中间状态是否被保存，Agent 的推理依据是否被记录，人是否能在任意节点接管并理解当前状态。

第三，设计“人在哪个回路”和“人如何介入回路”。

根据可理解性的三层框架，有效的人工干预需要三个条件同时成立：人能看到 Agent 做了什么（行为层），人能判断这样做是否合理（意图层），人能预见放行之后的后果（影响层）。

设计工作流时，对每一个人工审核节点，需要检查：这个节点上的负责人，是否具备足够的信息做出真实的判断？如果只满足了行为层的可见性，那么就需要补充信息呈现，让审核者能够真正判断；或者承认这个节点的局限性，重新评估它在工作流中的位置。

第四，区分自动化工作流和决策工作流，分开管理。

企业工作流中有两类性质不同的任务。一类是可自动化的任务：有明确的对错标准，输出可验证，错误可纠正。比如数据抓取、格式转换、内容分类、初稿生成。这类任务适合 AI 主导，人只需要抽样验证。另一类是需要判断的任务：涉及价值权衡和不可逆后果，比如客户沟通策略和人员评估。这类任务 AI 可以辅助准备材料和分析，但决策本身必须由人承担，并且需要人真正理解决策依据。

最有风险的状态是，把需要判断的任务包装成可自动化的任务，用形式上的人工审批掩盖了任务性质的转换。短期内效率提升了，但出问题时，没有人真正理解发生了什么，也没有人具备承担责任的信息基础。

这四条启示背后，有一个结构性问题值得认真对待：Agent 工作流提升了组织的执行速度，但同时压缩了组织的反思空间。在传统工作流中，任务在人与人之间流转，每次交接都是一个隐性的验证节点。人会问“为什么这样”，会提出异议，会带入新的信息。这些摩擦看起来是低效的，但它们实际上是组织学习和错误修正的机制。

当工作流被 Agent 接管，这些摩擦消失了。生产的速度可能提升了，但组织集体发现问题的能力也在同步下降。正在引入 Agent 工作流的企业，需要刻意设计“慢下来思考”的节点，作为组织保持集体认知能力的基础。

结语：重新定位人类与 Agent 协作的主动性

这篇论文触及了一个更根本的问题：当 AI 从工具变为协作者，人类的主动性需要被重新定位。

论文中反复出现的隐忧是“过度依赖”与“过度怀疑”：人既可能盲目信任 AI 决策，也可能因不理解而无效地否定 AI 的输出。两种偏差都源自同一个原因，即人对自己在决策链条中的位置和价值缺乏清晰的认知。

“主动性”的重新定位不会自然发生，它需要被主动设计。选择怎样定义 AI 在组织中的角色，选择在哪些节点保留人的判断权，选择为人的判断提供什么信息支持，这些设计决策本身就在划定人类主动性的边界。

多智能体 AI 系统的设计与应用，可能正在加速一个历史性转变：人的核心竞争力，正转向定义问题、设定价值边界、在关键节点介入。那些能清晰回答“什么时候必须是人来决定”的组织，将在 AI 时代建立起真正的护城河。

回答这两个问题，需要组织中的人具备一组具体的能力：为 Agent 设定清晰的任务目标，监督 AI 的执行过程，判断 AI 生成结果的可靠性。这些能力不会因为开始使用 AI 就自动具备，需要有计划地培养。

UMU 出品《发展 Agentic Thinking：驾驭 AI Agent 工作流》课程围绕这组能力展开。随着 AI 的执行能力越来越强，人的价值正在从直接操作工具，转向委托一个能够自主行动的系统，并对它的过程和输出做出有效判断。课程帮助学习者在过程不完全可见、结果具有不确定性的工作环境中，建立这套新的工作方式。当组织中每个人都具备这种心智模式，AI 的引入才能真正转化为个人成长和业务成果。

欢迎体验《发展 Agentic Thinking：驾驭 AI Agent 工作流》试听课，探索人机协同时代的新工作方式。

参考文献：

Naik, S., Toombs, A. L., Snellinger, A., Saponas, S., & Hall, A. K. (2025). Exploring human-AI collaboration using mental models of early adopters of multi-agent generative AI tools. arXiv. https://arxiv.org/abs/2510.06224