排名第一的配资公司
Checkmarx的研究揭示了“循环欺骗”(Lies-in-the-Loop，简称LITL)如何伪造审批对话框，诱骗用户批准恶意代码。
CheckMarx的最新研究显示，智能体所依赖的“人在环中”(Human-in-the-Loop，简称HITL)防护机制可能被攻破，使攻击者能够利用这些机制运行恶意代码。
HITL对话框是智能体在执行运行代码、修改文件或访问系统资源等敏感操作前运行的一种安全防护措施(即最后的“你确定吗?”确认环节)。
Checkmarx的研究人员将其描述为一种他们称之为“循环欺骗”(LITL)的HITL对话框伪造技术，该技术将恶意指令嵌入到AI提示中，从而误导用户审查审批对话框。
研究结果表明，仅靠人在环中机制并不足以消除提示层面的滥用行为。一旦用户无法可靠地信任他们被要求批准的内容，HITL就不再是防护栏，而变成了攻击面。
CheckMarx研究人员在一篇博客文章中表示：“‘循环欺骗’(LITL)攻击利用了用户对这些审批对话框的信任。通过操纵对话框显示的内容，攻击者将防护措施变成了武器——一旦提示看起来安全，用户就会毫不犹豫地批准。”
对话框伪造将监督变成了攻击手段
这一问题源于AI系统向用户展示确认对话框的方式，HITL工作流程通常会总结智能体想要执行的操作，期望人类审查者能在点击批准前发现任何可疑之处。
CheckMarx展示了攻击者如何通过隐藏或歪曲恶意指令来操纵这些对话框，例如用看似无害的文本填充有效载荷、将危险命令推出可视范围，或精心设计提示，使AI生成关于实际将执行内容的误导性摘要。
特别是在终端式界面中，长或格式化的输出使得这种欺骗行为很容易被忽视。Checkmarx的研究结果显示，由于许多智能体以高权限运行，一次误导性的批准可能直接转化为代码执行、运行操作系统命令、访问文件系统或导致下游系统被攻破。
除了填充或截断外，研究人员还描述了其他滥用确认呈现方式的对话框伪造技术。通过利用Markdown渲染和布局行为，攻击者可以在视觉上将无害文本与隐藏命令分隔开，或操纵摘要，使人类可见的描述不具恶意。
研究人员补充道：“理论上，攻击者可以突破用于HITL对话框的Markdown语法，向用户展示伪造的用户界面，这可能导致更复杂的LITL攻击，几乎无法被察觉。”
针对智能体和用户的防御措施
Checkmarx主要为智能体开发者提出了建议措施，敦促他们将HITL对话框视为可能具有操纵性，而非天生可信。建议措施包括限制对话框的呈现方式、限制使用复杂的用户界面格式，以及明确区分人类可见的摘要与将要执行的基础操作。
研究人员还建议验证已批准的操作，以确保它们与用户在确认时看到的内容相匹配。
对于AI用户，他们指出，在更丰富的用户界面环境中运行的智能体比纯文本终端更容易检测到欺骗行为。他们表示：“例如，VS Code扩展提供了完整的Markdown渲染功能，而终端通常使用基本ASCII字符显示内容。”
CheckMarx表示，已将此问题告知Anthropic和微软，这两家公司均承认了该报告排名第一的配资公司，但未将其归类为安全漏洞，两家公司均未立即回应媒体的置评请求。
金富宝配资提示：文章来自网络，不代表本站观点。
- 上一篇：排名第一的配资公司 李思思换赛道商演开直播，和老公在别墅外雪地嬉戏，国风穿搭太美
- 下一篇：没有了
相关文章
沪深京指数
热点资讯
