您现在的位置是:IT资讯 >>正文

AI 幻觉催生新型网络威胁:Slopsquatting 攻击

IT资讯9人已围观

简介网络安全研究人员警告称,由生成式AIGenerative AI)模型推荐不存在依赖项引发的幻觉现象,正导致一种新型软件供应链攻击——Slopsquatting暂译"AI依赖项劫持")。来自德克萨斯大学 ...

网络安全研究人员警告称 ,幻觉由生成式AI(Generative AI)模型推荐不存在依赖项引发的催生幻觉现象 ,正导致一种新型软件供应链攻击——Slopsquatting(暂译"AI依赖项劫持")。新型来自德克萨斯大学圣安东尼奥分校 、网络威胁弗吉尼亚理工大学和俄克拉荷马大学的幻觉研究团队发现 ,大型语言模型(LLM,催生Large Language Model)生成的新型代码普遍存在"包幻觉"现象 ,这正被威胁分子所利用 。网络威胁

AI推荐虚假依赖包成隐患

研究团队在论文中指出:"Python和JavaScript等流行编程语言对集中式软件包仓库和开源软件的幻觉依赖,免费模板加上代码生成LLM的催生出现 ,为软件供应链带来了新型威胁——包幻觉。新型"通过分析包括GPT-4 、网络威胁GPT-3.5 、幻觉CodeLlama、催生DeepSeek和Mistral在内的新型16个代码生成模型 ,研究人员发现约五分之一的推荐软件包为虚假存在。

Socket安全公司分析报告显示  :"如果某个AI工具广泛推荐一个幻觉软件包,而攻击者已注册该名称,香港云服务器就可能造成大规模入侵 。考虑到许多开发者未经严格验证就信任AI输出 ,这种威胁的潜在影响范围极大 。"

攻击者利用命名规律实施劫持

这种攻击方式被命名为Slopsquatting ,由Python软件基金会(PSF)安全开发者Seth Larson首次提出 ,因其与传统的"typosquatting"(域名抢注)技术相似 。不同之处在于 ,威胁分子不再依赖用户输入错误 ,而是利用AI模型的源码库推荐错误。

测试样本显示 ,19.7%(20.5万个)的推荐软件包为虚假包 。开源模型(如DeepSeek和WizardCoder)的幻觉率平均达21.7%,远高于GPT-4等商业模型(5.2%)。其中CodeLlama表现最差(超三分之一输出存在幻觉) ,GPT-4 Turbo表现最佳(仅3.59%幻觉率)。

持久性幻觉威胁加剧

研究发现这些包幻觉具有持久性 、重复性和可信性三大危险特征。在重复500次先前产生幻觉的云计算提示词时 ,43%的幻觉包在连续10次运行中每次都出现 ,58%的幻觉包出现超过一次。研究表明 :"多数幻觉并非随机噪声 ,而是模型对特定提示的可重复反应模式。"

此外,38%的幻觉包名与真实包存在中度字符串相似性 ,建站模板仅13%属于简单拼写错误。Socket指出,这些"语义可信"的命名结构大大增加了识别难度。

防护建议

尽管目前尚未发现实际攻击案例,研究团队建议开发者在生产环境和运行时前安装依赖项扫描工具 ,以筛查恶意软件包 。OpenAI近期因大幅削减模型测试时间和资源而受到批评,这也被认为是导致AI模型易产生幻觉的原因之一。安全专家强调,模板下载仓促的安全测试会显著增加AI系统的风险暴露面。

Tags:

相关文章

  • 网络安全纵深防御简析:目的、要素与实践

    IT资讯

    纵深防御一词本身源自军事领域,意指战争过程中利用地理优势来设多道军事防线防御。一般多用于能力较弱的一方战略性撤退,以空间换取时间。然而,这并不是网络安全纵深防御defense in depth)的理念 ...

    IT资讯

    阅读更多
  • 影响IT安全支出的因素

    IT资讯

    网络安全服务商Netrix Global公司日前进行的一项调查显示,22%的受访者希望今年在网络安全领域使用更多的人工智能工具,这一比例几乎是自动化技术的五倍,自动化技术名列第二 ...

    IT资讯

    阅读更多
  • 相等有时候也不安全!你知道吗?

    IT资讯

    哈喽,大家好,我是指北君。最近世界杯看了几场球赛,克罗地亚淘汰巴西, 摩洛哥淘汰葡萄牙。两场都非常精彩,克罗地亚的坚韧令人佩服,绝境逆袭。总之这一届世界杯绝对会影响以后足球的战术打法。言归正传哈,最近 ...

    IT资讯

    阅读更多

滇ICP备2023000592号-18