核心结论
AI 原生组织的边界,本质是从雇佣边界重写为问责边界。过去组织用谁在编制内划边界,AI 原生组织用出了事谁负责划边界。哪些能力委托给 AI 或生态,哪些必须留在人类手中,取决于两个轴:可撤回性(这个动作能否被撤销、回滚)与不可逆成本(一旦出错,损失能否补救、代价多大)。落在低可撤回、高不可逆成本象限的能力,必须留在人类手中,且不只是人在环,而是人类保有最终问责:价值判断(目标与取舍由人设定)、关系信任(对人与对利害相关方的责任关系只能由人持有)、最终问责(每一个自主体都要有具名的人类负责人)。2026 年四类一手信源支撑这一框架:EU AI Act 第 14 条把高风险系统的有效人类监督定为法定义务,并要求对远程生物识别由至少两名自然人复核;新加坡 IMDA 于 2026 年 1 月发布全球首个 Agentic AI 治理框架,明确要求为不可逆动作(付款、永久删除数据)设置人类审批闸门;OECD 于 2026 年 2 月发布尽责指引,把不可补救性列为影响严重度的核心维度;TU Darmstadt 与慕尼黑机器学习中心 2026 年的研究提出目标涌现理论,证明当目标本身会随交互改变,人类必须在环。结论:组织边界不是被技术推着改的,是组织主动按问责逻辑重画的。
关键数据
- EU AI Act(Regulation (EU) 2024/1689),第 14 条与第 26(2) 条:高风险 AI 系统必须被设计成自然人在使用期间能得到有效监督;第 14(4) 条列明监督人必须能理解系统能力局限、察觉自动化偏见、正确解读输出、决定不使用或推翻输出、通过停止按钮干预;第 14(5) 条要求对 Annex III 第 1(a) 类远程生物识别,任何基于系统识别的动作或决定须经至少两名具备能力、训练与授权的自然人分别复核;第 26(2) 条要求部署方将人类监督指派给具备必要能力、训练、权限与支持的自然人。2026 年数字简化包经欧洲议会 2026 年 6 月 16 日(423 票赞成、57 票反对、174 票弃权)与理事会 2026 年 6 月 29 日批准,将独立 Annex III 高风险系统合规期限从原定 2026 年 8 月 2 日推迟至2027 年 12 月 2 日。
- 新加坡 IMDA《Model AI Governance Framework for Agentic AI》,2026 年 1 月 22 日于达沃斯发布:全球首个专门面向 Agentic AI 的治理框架,由数码发展及新闻部部长度 Josephine Teo 发布,明确人类最终问责(humans are ultimately accountable)。框架点名要为不可逆动作设置人类审批闸门,具体例子包括付款与永久删除数据;并要求限制智能体自主权与可访问的工具和数据范围,对人类监督有效性做定期审计。合规为自愿,但组织对智能体行为仍负法律责任。
- OECD《Due Diligence Guidance for Responsible AI》,2026 年 2 月 19 日发布:将六步尽责框架应用于 AI 全生命周期。其把影响严重度定义为可能性与严重度的函数,其中严重度包含不可补救性(irremediable character),即把局面恢复到不利影响发生前同等状态的能力所受限制。该定义与本文的不可逆成本轴直接对应。指引获全部 OECD 成员国、17 个伙伴政府与欧盟背书。
- TU Darmstadt 与慕尼黑机器学习中心,'The boundaries of automation: A theory of persistent human participation'(IBM Think 报道,2026):提出目标涌现(target emergence)理论,指出并非所有目标都内含固定标的,许多目标的标的在探索与审议中才成形,人类不只是执行已被确定的目标,而是参与创造并 refinement 目标本身。原文:'Interaction does not merely reveal which target was already destined to be endorsed; it partly determines which trajectory becomes realized.' 这是把价值判断留在人类手中的理论依据。
- 中国工信部等十部门《人工智能科技伦理审查与服务办法(试行)》,工信部联科〔2026〕75号,2026 年 3 月 20 日印发:我国首部人工智能领域专门性科技伦理审查规章。审查重点含可控可信,明确要求是否能够保障使用者控制、指导和干预模型、系统的基本操作(人类保有对系统的控制)。须开展专家复核的三类活动包括:对人类主观行为心理情绪生命健康有较强影响的人机融合系统、具有舆论社会动员能力的算法模型、面向安全与人身健康风险场景的高度自主自动化决策系统。
“The key question is whether an objective is stable enough to delegate. If the objective can change through interactions with people, tools, other agents and so on, then humans should be in the loop.”
Francesca Rossi,IBM 负责 AI 与 AI 治理全球负责人,引自 IBM Think 对 TU Darmstadt 与慕尼黑机器学习中心《The boundaries of automation》的报道(2026)
关于 AI 与组织边界,最流行的一句判断是组织会被 AI 重新画一遍。这话对,但没说清楚画的是哪条线。多数讨论默认在任务层打转:招聘初筛交给 AI,终面留给人;草稿交给 AI,定稿留给人;客服交给 AI,投诉升级留给人。这套逻辑解决的是效率,不是责任。当组织开始把执行甚至决策委托给智能体和生态伙伴,真正要回答的问题是:哪条线一旦被跨过,组织就不能再把责任推给工具。
把雇佣边界和问责边界混为一谈,是这一轮 AI 原生改造里最隐蔽的误判。一个组织可以把客服、审核、排程、风控初判都外包给智能体和供应商,它确实在瘦身,但瘦身不等于免责。合同可以把工作包出去,责任包不出去。监管、客户和员工最终要的是一个个能点名的人,而不是一段无法被传唤的代码。
一、雇佣边界正在失效,问责边界取而代之
先说雇佣边界为什么管不住了。传统组织的边界由编制定义:谁在工资单上,谁就是组织的人,组织为他的行为负责。AI 原生组织把这条线拆开了。工作可以交给编制外的生态伙伴,决策可以交给编制外的智能体,执行可以发生在组织控制不到的云端。编制内的人在变少,组织触达世界的方式在变多。结果就是:责任的发生地,和责任的归属地,不再天然重合。
EU AI Act 已经把这个错位写进了法条。第 26(2) 条要求部署方把人类监督指派给具备必要能力、训练、权限与支持的自然人。注意,它要求的不是一套流程,而是一个被点名的人。法律不认无人负责的系统,它要的是具名的人类 accountable person。这与传统外包思维完全不同:外包合同可以写清谁干活,但问责边界要求写清谁为结果负责,两者不是一回事。
TU Darmstadt 与慕尼黑机器学习中心 2026 年的研究从另一个方向戳破了雇佣边界。他们提出的目标涌现理论指出,很多工作的目标本身不是给定的,而是在执行中通过探索和审议逐渐成形的。一个科学家用 AI 探索现象,新证据会改变研究的方向,也会重新定义什么叫成功。此时人类的角色不是执行一个既定目标,而是参与创造并 refinement 这个目标。当目标会随交互改变,把它交给一个只会优化给定目标的系统,就等于把方向盘交给一个不知道目的地的人。这就是为什么边界必须锚在问责,而不是锚在谁写代码。
二、两轴划界:可撤回性与不可逆成本
问责边界不能停在口号,它需要可操作的刻度。本文用两个轴来划。第一个轴是可撤回性,问的是这个动作技术上能不能被撤销、回滚。删一条草稿容易,撤回一封已发出的对外函件难,撤销一笔已清算的付款更难。第二个轴是不可逆成本,问的是一旦出错,损失能不能补救、代价多大。OECD 在 2026 年尽责指引里把这一维度正式命名为不可补救性,即把局面恢复到不利影响发生前同等状态的能力所受限制。两个轴都来自已发布的治理框架:可撤回性对应 NIST AI RMF 对智能体决策可撤回性的评级,不可逆成本对应 OECD 对影响严重度的定义。
两个轴交叉出四个象限。高可撤回加低不可逆成本,是 AI 与生态的天然领地:检索、起草、分类、排程、限定权限内的常规执行。这些错了能回头,代价小。低可撤回加高不可逆成本,是必须留在人类手中的禁区:解雇、对外法律承诺、放贷、永久删除数据、涉及人身安全的动作。剩下两类需要中间控制:高可撤回但高不可逆成本,如大额支付,靠人类审批闸门;低可撤回但低不可逆成本,如自动回复,靠监控与事后审计。
这张矩阵的价值在于它把模糊的留人还是委托,变成了一个可填的表。组织不用再凭直觉说某些事很重要所以要人做,而是可以沿着两轴逐项正确:这个动作撤回要多久,错了代价多大,据此决定是全自动、人审批、还是人终审。新加坡 IMDA 的框架正是这么做的,它要求组织在部署前就评估智能体动作的范围与可撤回性,并据此设限。
三、必须留在人类手中的三件事
落在低可撤回、高不可逆成本象限的能力,不是随便哪个人都能接,它必须落在人类手里,而且不止是人在环,是人类保有最终问责。具体是三件事,它们共同构成了组织层的问责边界。
第一,价值判断。价值判断是目标与取舍本身的设定,不是给定目标后的优化。AI 擅长的是在给定目标下把指标做漂亮,它不负责决定这个指标该不该存在。绩效体系往哪个方向偏、谁该被优化、产品该牺牲体验换增长还是反过来,这些是组织最该由人守住的阵地。目标涌现理论说得很清楚:当标的会随交互改变,人类必须在环。把价值判断委托出去,组织就失去了定义自己要什么的能力,只剩下把别人给的目标执行得越来越顺。
第二,关系信任。信任这种东西,只能由人持有,不能被系统代理。一个员工被算法判定为低绩效并触发解雇流程,如果背后没有具名的人类负责人,组织失去的不只是一个决定,而是与这个人、与所有旁观员工之间的责任关系。客户发现自己的一桩投诉被一个没有人类所有者的系统处理了,他对组织的信任会塌。这里有个真实风险叫责任塌陷区(moral crumple zone):错误发生时,责备往往落在权限有限、其实难以改变结果的人类操作员身上,而真正做了决定的系统却无人可究。把关系信任留在人类手中,本质是把可被问责的主体保持为人。
第三,最终问责。每一个自主体都要有具名的人类负责人,这是问责边界的底线工程。2026 年企业治理实践里反复出现一个动作:建立智能体登记册(agent registry),每个上线的智能体必须有被点名的人类 owner,说不出负责人就不许上线;每个自主动作都要留下时间戳、动作、数据、决策理由与授权人。这不是审计形式主义,它是把组织问责边界落进日志。没有具名 owner 的自主体,等同于组织把责任悬空,一旦出错,没人能被传唤。
四、把边界写成可执行的治理,而不是口号
结论不是少用 AI,而是把问责边界设计成制度,而不是指望原则自然落地。四件动作现在就该做。
第一,建智能体登记册。每个自主体上线前必须有具名人类负责人,职责、权限、审计轨迹一并登记。这条线画不清,后面的控制都是空谈。
第二,按两轴矩阵设审批闸门。对低可撤回、高不可逆成本的动作强制人类在环审批,闸门前置到动作执行之前,而不是事后看日志。IMDA 框架点名的付款与永久删除数据,就是这类闸门的典型。
第三,定义升级触发条件。智能体在授权范围内自主运行,一旦遇到歧义、高风险或超出授权范围,就暂停并交还人类,而不是自行判断。这不是故障状态,是设计特性。多智能体协作时尤其需要,因为交互结果更难预测。
第四,配停止开关与定期审计。每个自主体都要有能立即中止运行的能力,并定期核验人类监督是否仍然有效,防止自动化偏见把审批变成橡皮图章。中国 2026 年十部门办法提供了国家层面的参照:可控可信要求人类保有对系统的控制与干预能力,并对高度自主的自动化决策系统设专家复核。
回到开头那条线。AI 原生组织的边界,不是被技术推着改的,是组织主动按问责逻辑重画的。雇佣边界定义谁为你工作,问责边界定义谁为结果负责,两者在 AI 原生组织里第一次彻底分家。可委托的,是那些错了能回头、代价小的环节;必须留在人类手中的,是价值判断、关系信任与最终问责,它们共同构成了组织不能被算法替写的那部分自我。把这条线画清楚,组织才谈得上用了 AI 之后,依然是一个能被追责的主体。
参考信源
- 【高风险系统有效人类监督为法定义务;第 14(4) 列明监督人五项能力;第 14(5) 远程生物识别须至少两名自然人复核;第 26(2) 部署方指派具名自然人监督;2026 数字简化包将独立 Annex III 高风险合规推迟至 2027 年 12 月 2 日】:Regulation (EU) 2024/1689(EU AI Act),Article 14 与 Article 26(2),2024 年 6 月 13 日通过,相关义务 2026 年起分阶段适用。
- 【全球首个 Agentic AI 治理框架;人类最终问责;为不可逆动作(付款、永久删除数据)设人类审批闸门;限制智能体自主权与数据工具访问;定期审计监督有效性;自愿合规但组织仍负法律责任】:Infocomm Media Development Authority(IMDA),Singapore,《Model AI Governance Framework for Agentic AI》,2026 年 1 月 22 日发布于达沃斯世界经济论坛。
- 【六步尽责框架应用于 AI;严重度含不可补救性(irremediable character);获 OECD 成员国、17 伙伴政府与欧盟背书】:OECD,《Due Diligence Guidance for Responsible AI》,2026 年 2 月 19 日发布。
- 【目标涌现理论;目标在交互中成形,人类参与创造与 refinement 目标;'Interaction does not merely reveal which target... it partly determines which trajectory becomes realized';Francesca Rossi 评注'objective is stable enough to delegate'】:Köhl M. A. 等,TU Darmstadt 与 Munich Center for Machine Learning,《The boundaries of automation: A theory of persistent human participation》,由 IBM Think 于 2026 年报道。
- 【我国首部 AI 专门性科技伦理审查规章;可控可信要求人类保有对系统的控制与干预;须专家复核含高度自主自动化决策系统】:中华人民共和国工业和信息化部等十部门,《人工智能科技伦理审查与服务办法(试行)》,工信部联科〔2026〕75号,2026 年 3 月 20 日印发。