通信世界网消息（CWW）当前，大模型、智能体技术加速向企业生产、办公等业务场景渗透落地，AI应用不再局限简单对话交互，广泛对接知识库、业务工具。随之而来，知识库投毒、间接提示词注入、智能体越权调用等新型安全风险持续涌现。在此背景下，依托人工智能安全能力成熟度来推进大模型应用治理，已经成为人工智能产业安全、健康发展的现实需要。
9月21日，由北京市通信与互联网协会主办、工信智媒体中心协办的2026（第二十三届）北京互联网大会在京举办。观安信息人工智能产品部总经理李雪鹏在“安全护航与数字治理论坛”上以《ASMM视角下大模型应用运行时治理》为题发表演讲，他表示，随着智能体、大模型深度落地业务场景，风险不再局限于输入、输出层面，沿着调用链产生的知识库投毒、越权工具调用等新型风险凸显。依托国家标准征求意见稿《网络安全技术 人工智能安全能力成熟度评估方法》，行业需要建立面向全链路的运行时治理体系，通过“大模型围栏”实现模型调用、API通道与应用运营的安全管控，为大模型业务落地划定安全边界。
对标ASMM成熟度标准，锚定运行时治理核心域
当前国内AI治理加速推进，9月中央网信办组织开展“清朗·整治A应用乱象”专项行动第二阶段工作，聚焦利用A制作发布虚假信息、传播暴力低俗内容、假冒仿冒他人、侵害未成年人权益等突出问题。根据中央网信办公布的数据，截至目前，累计清理违法违规信息561万余条，查处账号4.9万余个，处置违规网站、应用程序等2400余个。
现阶段，多项人工智能相关国家标准正在加速编制中。李雪鹏介绍，观安信息参与编制的《网络安全技术 人工智能安全能力成熟度评估方法》目前处于征求意见阶段，意见征集截止至10月25日。该标准从组织管理、技术领域安全能力维度，覆盖数据安全、模型安全、应用安全全生命周期，划分从非正式执行到持续优化共5个成熟度等级，为企业AI安全建设提供统一标尺。
“过去行业更多关注大模型输入输出内容审核，智能体兴起之后，风险传导链条被进一步拉长。”李雪鹏谈到，大模型业务链路包含用户上传资料、RAG知识库检索、模型上下文整合、外部工具调用、结果输出多个环节，提示词注入、知识库投毒、敏感数据泄露、越权调用、多模态对抗等风险会沿着任务链路层层传递，只管控单一节点，无法保障整体应用安全。
对应标准中的PA30、PA36、PA37重点过程域，运行时治理重点聚焦API与通道安全管控、动态内容治理、安全运营与应急干预方向，完成接口校验、内容检测，更要补齐上下文、权限等断点，以及打通身份授权、业务执行、审计留痕之间的衔接，虽然触发安全系统告警，但存在高危业务行为仍继续执行，各组件日志无法串联还原完整任务”的现实痛点。
打造大模型安全围栏，实现全链路风险拦截
针对链路风险，观安信息提出“大模型围栏定位”方案，设置五大关键控制点：应用入口、RAG知识库链路、模型通道、工具调用、输出交付前审核，形成完整运行时治理参考架构。
李雪鹏在演讲中强调，在身份与调用管控层面，需要将原始主体、代理关系和资源边界随调用传递，避免模型切换或跨服务调用放大权限；针对提示词攻击，需建立分层检测处置机制，结合调用主体、多轮上下文语义做研判，区分放行、人工复核、阻断等处置动作。RAG知识库是当前极易被忽视的风险点，不少企业知识库由模型自动摘要生成，存在内容被投毒隐患，需要在检索前完成权限过滤，召回后对片段开展风险检查，组装上下文时隔离知识片段与系统指令。
与此同时，敏感数据防护需要同时核验内容敏感度、访问主体、数据去向；多模态场景要警惕图片、音视频载体中隐藏的恶意指令；智能体工具调用必须增设执行门禁，模型输出调用意图之后，独立核验参数合规性与操作权限，高风险动作执行前需要人工确认。输出交付环节，除风险内容拦截外，还要落实AI生成内容标识，核验事实引用依据。
分阶段建设，实现可识别、可控制、可追溯
大模型运行时安全建设不是一次性项目，需要循序渐进持续迭代。李雪鹏介绍，参考ASMM成熟度等级，企业落地可以分为三个阶段：第一阶段梳理应用、模型、知识库与工具识别场景风险和适用PA；第二阶段补齐关键接入点和权限传递建立策略、应急与人工复核、完成风险场景验证；第三阶段建立指标和运行基线跟踪事件、业务与版本变更，开展复测、演练与策略优化。
防护效果评估不能只看攻击拦截率，还要兼顾业务可用度、系统运行开销，对正常样本、边界样本、攻击样本分开评测。李雪鹏总结，大模型运行时治理最终要实现四大目标：可识别，识别风险来源；可控制，在关键节点落实处置；可追溯，形成可验证的运行证据；可演进，持续验证与改进。
大象配资提示：文章来自网络，不代表本站观点。
