能提升生产力的ai和智能代理体技术的到来无疑是一件好事。但要充分利用ai,必须从一开始就认真对待安全和治理。

首先,对ai使用情况的可见性是一个巨大挑战。每个组织都必须清楚知道哪些ai工具正在被使用和滥用?哪些代理体正在运行?又有哪些mcp服务器可能连接到内部系统?

首先,对ai使用情况的可见性是一个巨大挑战。每个组织都必须清楚知道哪些ai工具正在被使用和滥用?哪些代理体正在运行?又有哪些mcp服务器可能连接到内部系统?
其次,诸如强身份认证、ai感知的数据防泄漏和持续的ai红队测试等也是非常关键的ai安全控制措施。
以下是crn整理的2026年10项关键ai安全控制措施的详细信息,以供大家参考,确保生成式ai驱动工具和ai代理体的安全使用。
1. 深度可见性
在ai方面,资产清单的可见性至关重要。因此,2026年大多数组织的 foundational ai安全控制将围绕获取所有ai使用情况的全面可见性展开。无论是监督已批准的ai saas平台和代理体的使用,还是检测员工使用未经批准的“影子ai”工具。
深度可见性需要能够实时看到正在发生的事情,而非事后。这种可见性应涵盖正在使用的ai工具、使用者以及被访问的数据。此外,组织还需要了解ai工具如何与内部系统交互。
2. 经批准的ai工具
对许多组织而言,提供一份经批准过的ai工具清单,或者直接向员工部署工具,将是实现生成式ai和代理体安全使用的关键部分。这对于尽可能杜绝影子ai至关重要,并且与提升ai可见性相辅相成。提供经批准的ai工具向员工传递了一个信号——在满足组织安全和治理需求的前提下,使用ai是受到鼓励的。
3. 强身份认证与访问控制
要真正实现能提升生产力的生成式ai和代理体使用,身份和访问方面的考虑应至关重要。关键控制措施包括:对访问系统和数据的每个ai工具或代理体进行强身份认证(即使在初始认证后也需持续授权和验证),以及诸如即时访问等最小权限访问控制。
利用由ai驱动的行为分析,对于检测异常的身份和访问活动也非常重要。总而言之,组织必须将ai代理体视为与人类身份同等重要,对其进行与员工相同的资产清单管理和治理。
4. 治理与策略执行
为ai使用建立强有力的治理和策略执行是显而易见的必要措施。设定ai使用的参与规则要求组织考虑广泛的变量。治理和策略实施可能需要涵盖谁可以使用ai工具,谁可以使用哪些工具,可以访问什么数据,如何利用输出结果。
ai代理体的引入带来了进一步的挑战:为确保代理体不偏离预期目标,在代理体之上增加一个额外的执行层将至关重要。这正是可见性作为基础要求发挥作用的地方,必须要知道智能代理体凯发娱乐登录的解决方案本身实际在计划和执行什么,如何理解在该代理体工作流程中实际生成的正确输出是什么。
5. ai感知数据防泄漏
ai感知的数据分类和数据防泄漏(dlp),需要能够实时应用于提示词、上传内容、输出结果以及代理体间的数据交互。同时,与传统方法不同,ai感知的dlp利用上下文分析来理解用户和代理体的意图,然后可以根据组织策略,在敏感数据暴露之前进行拦截或编辑。
6. 持续ai红队测试
生成式ai和代理体模型的动态、持续演进特性给测试过程带来了巨大的复杂性。如果没有自动化,从财务或运营角度来看,持续进行ai测试对大多数组织来说是不可能的。聘请一家大型公司持续进行ai红队测试可能需要花费数百万美元。
然而,使用ai本身的新工具“将尽可能有效且持续地进行这项工作”。这些新的ai驱动工具可以探测诸如提示注入、数据暴露和未经授权的代理体行为等漏洞,即使模型更新和代理体获得新能力,也能持续运行测试。
7. 供应链安全
ai供应链安全,它侧重于评估和管理由ai模型提供商、开源软件和第三方数据源引入的风险。例如,第三方模型中的漏洞或被投毒的训练数据,即使组织已采取所有正确步骤保护自己的内部模型,也可能导致巨大的安全风险。
因此,组织应考虑将ai安全控制扩展到自身环境之外,例如通过进行供应商风险评估和追踪ai模型的来源。对第三方组件的变更或新出现的威胁进行持续监控,是大多数组织需要采取的另一个重要步骤。最终目标是,对ai模型和代理体框架应用与传统软件系统同样严格的安全级别。
8. ai风险监控
对于许多新的ai系统,随着模型的使用,其性能和行为很可能会发生变化,它可能会随着时间的推移变得更好或更差,ai风险监控对于识别性能随时间下降的情况最为重要。可能出现的主要风险包括幻觉、模型漂移、偏见或违反策略等。部署对ai系统的持续监控可以在早期阶段发现此类问题,最终使团队能够在风险升级之前进行干预。
9. 持续验证
正如ai风险监控评估ai模型随时间的行为变化一样,对ai安全控制措施本身进行持续验证也同等重要。随着ai模型、代理体和数据源的变化,组织已实施的ai安全控制措施可能不再像以前那样有效。持续验证侧重于通过一致的测试来验证ai安全控制措施,如身份执行、数据保护和治理等是否仍在按预期正常运行。此类流程适合自动化,自动化可以快速检测策略漂移、错误配置和其他问题。
10. ai安全培训
最后一项,组织需要考虑ai风险中的人为因素。如果组织不确保其团队接受有关ai工具的安全使用、常见风险和相关公司政策的培训,那么先进的ai安全控制措施可能会迅速变得无效。许多员工在使用ai和代理体时仍然不太谨慎,因此必须培训他们,让他们了解如何使用ai工具,并给他们一份ai使用政策。
参考链接:https://www.crn.com/news/security/2026/10-key-ai-security-controls-for-2026
参考链接:https://www.crn.com/news/security/2026/10-key-ai-security-controls-for-2026

