AI幻觉引爆网络安全危机 专家揭示了三大防御策略

对现实世界的幻觉影响

“如果一家公司的智能体利用了过时或不准确的数据
，AI幻觉可能会虚构出并不存在的引爆御策漏洞 ，或错误解读威胁情报，网络危机导致不必要的安全警报或忽视真正的风险 。此类错误可能会分散对真正威胁的揭示注意力 ，创造新的大防漏洞，并浪费本已紧张的幻觉安全运营团队资源。”Tanium的服务器租用引爆御策AI副总裁Harman Kaur在接受采访时表示 。

一个新兴的网络危机担忧是“包幻觉”现象，即AI模型会建议不存在的安全软件包 
，这一问题已被识别为供应链攻击的揭示潜在媒介，被称为“slopsquatting”。大防攻击者可以利用这些幻觉，幻觉创建具有建议名称的引爆御策恶意软件包，导致开发者无意中将有害代码集成到他们的网络危机系统中
。

“如果未经彻底验证和人工审查就使用AI生成的代码，亿华云可能会引入重大风险和复杂性  。初级开发者尤其容易受到错误代码或配置文件的风险影响，因为他们缺乏足够的能力来正确审核代码  。对于高级开发者而言
，他们可能会及时发现错误 ，然而 ，越来越多的人过度依赖GenAI ，盲目信任其输出。”ImmuniWeb的CEO Ilia Kolochenko表示 。

另一个担忧是AI可能产生虚假的威胁情报 ，源码下载如果这些报告被当作事实接受 ，可能会分散对实际威胁的注意力，导致真正的漏洞得不到处理。当AI输出未与可靠来源进行交叉验证时
，风险会进一步加剧。

缓解AI幻觉的策略

“AI幻觉是概率模型的预期副产品，”Qwiet AI的CTO Chetan Conikee解释道 ，他强调重点不应放在完全消除它们上，而是放在最小化对运营的云计算影响上。“CISO的首要任务应该是通过设计、监控和政策来限制运营影响。”

这始于有意的架构设计，Conikee建议在AI系统周围实施结构化的信任框架，这种方法包括实用的中间件，通过确定性检查和特定领域过滤器来审查输入和输出，这一步骤确保模型不在孤立环境中运行，而是在明确界定的范围内运行，高防服务器反映企业的需求和安全态势。

可追溯性是另一个基石 。“所有AI生成的响应都必须包含元数据，包括来源上下文、模型版本
、提示结构和时间戳
 。”Conikee指出
。当出现不准确时，此类元数据能够加快审计和根本原因分析的速度，这是将AI输出集成到业务运营或面向客户的工具中的免费模板关键保障措施。

对于部署大型语言模型(LLM)的企业
，Conikee建议除非必要，否则应避免开放式生成。相反 ，企业应依赖基于精心策划的内部知识库的检索增强生成(RAG) 。“这确保了模型从经过验证的信息中提取数据，并与内部标准保持一致。”Conikee解释道 。

严格的测试也很重要。“在测试阶段应纳入幻觉检测工具，”Conikee说
。在模型进入生产环境之前
，安全领导者应定义可接受的风险阈值和故障模式。“目标不是完美的准确性，而是对GenAI的使用地点和方式进行可衡量和可审计的控制。”

通过将信任 、可追溯性和控制嵌入到AI部署中，CISO可以在创新与责任之间取得平衡 ，在不影响进展的情况下控制幻觉：

1. 实施检索增强生成(RAG)：RAG结合了AI的生成能力与从经过验证的数据源中提取信息的检索系统，这种方法使AI输出基于事实数据，降低了产生幻觉的可能性 。

2. 采用自动化推理工具 ：像亚马逊这样的公司正在开发使用数学证明来验证AI输出的工具，确保它们与既定规则和政策保持一致 ，这些工具可以提供一层保障，特别是在关键应用中。

3. 定期更新训练数据：确保AI系统基于当前和准确的数据进行训练 ，可以最小化产生幻觉的风险，过时或有偏见的数据可能导致AI生成不正确的输出
。

4. 融入人工监督：在关键场景中，人类专家应审查AI生成的输出，这种监督可以捕捉AI可能遗漏的错误，并提供AI所缺乏的上下文。

5. 教育用户了解AI的局限性：培训用户了解AI的能力和局限性 ，可以培养对AI输出的健康怀疑态度，鼓励用户验证AI生成的信息 ，可以防止不准确信息的传播。

GuidePoint Security的进攻性安全高级副总裁Victor Wieczorek解释说：“我们需要实际的护栏，这意味着将AI响应直接与记录的政策相关联，标记或记录高风险输出
，并确保在重大事项到达客户之前由人类进行审查。将模型视为一名新实习生 ：它可以帮助起草想法和处理常规问题 ，但不应就任何敏感事项做出最终决定。”