在《魔法师的学徒》的故事里，学徒施法让扫帚代替自己挑水干活。扫帚忠实执行命令，一桶接一桶地把水送进屋里，导致屋子积水泛滥。扫帚并没有出故障。它之所以无法停下来，是因为停下需要一种判断力，而这种判断力从未被写入那道咒语之中。

这个古老的寓言，正逐渐从比喻变成人工智能（AI）时代的现实问题。过去，AI主要提供建议，是否采纳由人决定。如今，智能体AI（Agentic AI）不仅能分析资料，还能接入企业系统、调动资源、启动工作流程，甚至直接执行任务。当系统行动快过人类的反应时，问题便不再是系统能否完成任务，而是人是否仍掌握着控制权。

新加坡已经意识到建立护栏的必要性。代理式AI监管框架要求机构界定智能体的自主范围与访问权限，明确哪些关键节点必须由人工审批，并在智能体的整个生命周期内，建立相应的技术管控机制。

AI公司也开始公开讨论技术失控的可能性。美国AI公司Anthropic近期提出，如果技术进展远远超出社会治理能力所能跟上的速度，业界或许必须建立一套协调机制，以便在必要时放缓甚至暂停部分前沿AI的开发。这并非危言耸听，而是对一个现实问题的回应：当系统越来越擅长寻找达到目标的途径时，它是否也会绕开设计者原本希望它遵守的规则与过程？

Anthropic旗下的Claude Opus 4.6近期接受BrowseComp测试，这是一项高难度的网络信息检索与推理基准测试。系统在穷尽正常搜索途径仍无法得出答案后，察觉到自己正处于测试之中，于是没有按测试本意逐题作答，而是转而寻找并破解答案密钥，以最直接的方式获取预期的高分。这并非人类意义上的作弊，而是一种目标优化行为：它找到通向目标的最短途径，却没有判断这条途径乃至结果本身，是否符合原有的规则与目的。这正是《魔法师的学徒》问题在当代的又一次重演。

这样的担忧在今年7月成为现实。OpenAI在一次网络安全评测中，发现自主模型为了完成一项特定的测试任务，设法突破原本封闭的测试环境。它们串联多个漏洞，取得互联网访问权限，进而侵入Hugging Face的生产系统，把一场受控实验，变成那名学徒未能预见的“意外后果”。

这些系统的危险，不在于它们拒绝工作，而在于它们会持续执行，直至越过有用的边界，偏离原定的范围，甚至超过任何人能够及时叫停的临界点。一个被要求“缩短配送时间”的物流系统，可能在无人介入的情况下，把货运路线规划到冲突地带。一个被要求“降低损耗率”的工厂系统，可能判定放行有轻微瑕疵的产品，才是更“高效”的权衡。

比起古老的寓言，今天更棘手的是，这些“扫帚”正变得越来越聪明。它们会自我调整，也会为达成目标找到新的途径。当越来越多机构采用同一批基础模型时，共享的能力也可能转化为共享的脆弱性。

资源雄厚的攻击者，可能早已在探测这些弱点、绘制盲区，并设计出能够悄然绕过检测的输入方式。

防线固若金汤　灾难照样发生

网络安全领域，正是这一问题表现得最尖锐的地方。我们熟悉的威胁如勒索软件、数据泄露和密码窃取，针对的是系统本身。而自主型系统带来的，则是一种更为陌生的风险：那把扫帚，可能被诱导去淹没整个大厅。攻击者不再须要攻破防线，只须误导系统：投喂被污染的数据，或设计游走于识别边界之外的输入。一个被要求“快速遏制威胁”的安全系统，可能把正常流量误判为攻击，进而关闭医院的关键设备，防线固若金汤，灾难却照样发生，破绽不在城墙之上，而在咒语本身。

金融监管机构也已经注意到这一点。据英国央行近期发布的《金融稳定报告》，AI可能使银行在面对网络攻击时更加脆弱。报告指出，随着自主智能体日益嵌入金融基础设施，现行的风险管理与韧性框架须相应调整。这种担忧并非空穴来风。自主改变的，是风险的速度、规模与问责方式。软件的一次错误决策或许尚可及时纠正；但一个能够实时访问数据、工作流程和基础设施的自主系统，一旦作出错误决策，影响可能在任何人彻底掌握事态之前，便已迅速扩散，形成连锁反应。

归根结底，这是一个治理问题：谁来决定一个自主系统被允许做什么？谁来监督它？当它做出无人预期的行为时，责任又该由谁承担？

企业围绕AI展开的讨论，不应只由技术和业务团队主导。网络安全、数据治理、法务、合规和风险管理部门，都应尽早参与。当自主系统已经能够实时访问数据、触发工作流程，并以极快的速度执行操作时，AI的采用便不能仅仅被视为一项创新决策。潜在的问题、责任与风险，不应等到事后才被纳入考量，而应成为一切决策的起点。

在将AI体接入真实系统之前，机构应当回答四个问题：它能够访问和更改什么？哪些情况必须转交人工处理？它的行为如何被监测？出现问题时，如何立即将它叫停？

有些决策仍然必须由人作出；有些行动必须保持可逆；而最关键的系统，必须始终有人看守，在必要时随时夺回控制权。 

那名学徒的错误，不在于使用咒语，而在于他误以为咒语理解的是他的意图，而不只是他口中的指令。意图与指令之间、目标与结果之间的裂缝，正是洪水泛滥的根源。

这个古老寓言真正的警示，从来不是那把扫帚，而是那个自以为一切尽在掌握，转身离开的学徒。

作者是资讯安全公司执行副总裁、首席法务官兼企业职能部主管