論文の概要: Your Agentic LLMs Secretly Encode Latent Signals of Indirect Prompt-Injection Exposure
- arxiv url: http://arxiv.org/abs/2608.02657v1
- Date: Sat, 01 Aug 2026 12:00:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-05 15:30:22.877137
- Title: Your Agentic LLMs Secretly Encode Latent Signals of Indirect Prompt-Injection Exposure
- Title（参考訳）: エージェントLSMは間接的プロンプト注入露光の遅延信号を秘密に符号化する
- Abstract要約: エージェントLSMは間接的プロンプトインジェクション(IPI)攻撃に対して脆弱である。
我々はこの問題を3つの側面から深く研究する。
我々は、需要に対する反注入推論を先導する、プローブゲート推論に基づく防衛であるAGRIを紹介する。
- 参考スコア（独自算出の注目度）: 26.64751871160867
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Agentic LLMs are vulnerable to indirect prompt injection (IPI) attacks, e.g., malicious side-tasks hidden in external tool results. While many efforts have sought to address the threats, little is known about the internals of agentic LLMs when they are exposed to IPI attacks, a condition which we call IPI exposure. In this paper, we study this problem in depth from three aspects. (1) Probing: Across six models, including the giant 753B-parameter GLM-5.2, simple linear probes trained on pre-generation hidden states can predict LLMs' IPI exposure. These probes achieve 90%+ AUROC on unseen attacks, agent instructions, and task suites; they exhibit high robustness under adaptive attacks and in cross-lingual settings. (2) Defense: Our CoT measurement reveals a recognition--action gap: though models encode such signals, they often fail to translate them into safe actions. We then introduce AGRI, a probe-gated reasoning-based defense that prepends anti-injection reasoning on demand. On difficult AgentDojo settings, AGRI substantially reduces attack success rate, e.g., from 34.6% to 0% on Qwen3.5-27B, while largely maintaining clean-task utility. (3) Explanation: We introduce an analysis framework that identifies natural-language explanations most strongly correlated with probe-captured signals. The resulting profiles differ across models: latent signals can align with either direct IPI-exposure claims or indirect operational cues. Code is available: https://github.com/jianshuod/IPI-exposure-signal.
- Abstract（参考訳）: エージェントLDMは、間接的プロンプトインジェクション(IPI)攻撃(例えば、外部ツールの結果に隠された悪意のあるサイドタスク)に対して脆弱である。
脅威に対処する努力は多いが, IPI 攻撃に晒された場合, エージェント LLM の内部についてはほとんど分かっていない。
本稿では,3つの側面からこの問題を深く研究する。
1)調査:753Bパラメータ GLM-5.2を含む6つのモデルのうち、前世代の隠れ状態で訓練された単純な線形プローブは、LLMのIPI露光を予測することができる。
これらのプローブは、目に見えない攻撃、エージェント命令、タスクスイートに対して90%以上のAUROCを達成する。
2)防衛:我々のCoT測定では、認識-アクションギャップが明らかになっている。
次に、要求に対する反注入推論を先導する、プローブゲート推論に基づく防衛であるAGRIを紹介します。
難しいAgentDojo設定では、例えば、Qwen3.5-27Bの攻撃成功率は34.6%から0%に大幅に低下する。
解説: 自然言語による説明を, プローブ捕捉信号と最も強く相関する分析フレームワークを提案する。
潜在信号は直接IPI露光クレームまたは間接操作キューと整合することができる。
コードは、https://github.com/jianshuod/IPI-exposure-signal.comで入手できる。
関連論文リスト
- Beyond Over-Refusal: Defending Indirect Prompt Injection via Latent Instruction Manifolds [46.845766815799585]
大規模言語モデル(LLM)は複雑なエコシステムに統合されている。
LLMは、理論的証拠と経験的証拠の両方で本質的にデータから命令を分離することができる。
AEGIS (Adaptive Ensemble Guard for Injection Shielding) を提案する。
論文 参考訳（メタデータ） (2026-08-23T07:12:33Z) - T-MAP: Red-Teaming LLM Agents with Trajectory-aware Evolutionary Search [49.99459363244884]
提案手法は, 対向的プロンプトの発見を導くために, 実行トラジェクトリを利用するトラジェクトリ対応の進化探索手法であるT-MAPを提案する。
本手法は,安全ガードレールをバイパスするだけでなく,実際のツールインタラクションによる有害な目標を確実に実現するための攻撃の自動生成を可能にする。
論文 参考訳（メタデータ） (2026-03-21T12:33:34Z) - Zero-Shot Embedding Drift Detection: A Lightweight Defense Against Prompt Injections in LLMs [2.2448294058653455]
敵は電子メールやユーザー生成コンテンツなどの間接的な入力チャネルを利用してアライメント保護を回避する。
本稿では,Zero-Shot Embedding Drift Detection (ZEDD)を提案する。
ZEDDは、モデル内部へのアクセス、アタックタイプの事前知識、タスク固有の再トレーニングを必要とせずに動作する。
論文 参考訳（メタデータ） (2026-01-18T11:33:35Z) - Attention is All You Need to Defend Against Indirect Prompt Injection Attacks in LLMs [27.395843922014294]
大規模言語モデル(LLM)は、より洗練されたタスクを実行するために多くのアプリケーション(Webエージェントなど)に統合されている。
本稿では IPI 攻撃を検知・防止するための防御フレームワークである Rennervate について述べる。
論文 参考訳（メタデータ） (2025-12-09T09:44:13Z) - TopicAttack: An Indirect Prompt Injection Attack via Topic Transition [92.26240528996443]
大規模言語モデル(LLM)は間接的なインジェクション攻撃に対して脆弱である。
提案するTopicAttackは,LLMに生成した遷移プロンプトを生成し,徐々にトピックをインジェクション命令にシフトさせる。
提案手法は, インジェクトからオリジナルへのアテンション比が高く, 成功確率が高く, ベースライン法よりもはるかに高い比を達成できることがわかった。
論文 参考訳（メタデータ） (2025-07-18T06:23:31Z) - From Alerts to Intelligence: A Novel LLM-Aided Framework for Host-based Intrusion Detection [16.59938864299474]
大規模言語モデル(LLM)は、ホストベースの侵入検知システム(HIDS)の状態を前進させる大きな可能性を秘めている。
LLMは攻撃技術と、意味解析によって異常を検出する能力について幅広い知識を持っている。
本研究では,HIDSのためのLLMパイプライン構築の方向性について検討し,ShielDというシステムを開発した。
論文 参考訳（メタデータ） (2025-07-15T00:24:53Z) - Revisiting Backdoor Attacks on LLMs: A Stealthy and Practical Poisoning Framework via Harmless Inputs [54.90315421117162]
完全無害データを用いた新しい毒殺法を提案する。
自己回帰型LPMの因果推論に着想を得て,トリガーと肯定的応答プレフィックスの堅牢な関連性を確立することを目指す。
LLMは最初は同意するように見えるが,その後回答を拒む興味深い抵抗現象を観察する。
論文 参考訳（メタデータ） (2025-05-23T08:13:59Z) - AgentVigil: Generic Black-Box Red-teaming for Indirect Prompt Injection against LLM Agents [54.29555239363013]
本稿では,間接的なインジェクション脆弱性を自動的に検出し,悪用するための汎用的なブラックボックスファジリングフレームワークであるAgentVigilを提案する。
我々はAgentVigilをAgentDojoとVWA-advの2つの公開ベンチマークで評価し、o3-miniとGPT-4oに基づくエージェントに対して71%と70%の成功率を達成した。
攻撃を現実世界の環境に適用し、悪質なサイトを含む任意のURLに誘導するエージェントをうまく誘導する。
論文 参考訳（メタデータ） (2025-05-09T07:40:17Z) - Defending against Indirect Prompt Injection by Instruction Detection [109.30156975159561]
InstructDetectorは、LLMの動作状態を利用して潜在的なIPI攻撃を特定する、新しい検出ベースのアプローチである。
InstructDetectorは、ドメイン内設定で99.60%、ドメイン外設定で96.90%の検出精度を達成し、攻撃成功率をBIPIAベンチマークで0.03%に下げる。
論文 参考訳（メタデータ） (2025-05-08T13:04:45Z) - Towards Copyright Protection for Knowledge Bases of Retrieval-augmented Language Models via Reasoning [58.57194301645823]
大規模言語モデル(LLM)は、現実のパーソナライズされたアプリケーションにますます統合されている。
RAGで使用される知識基盤の貴重かつしばしばプロプライエタリな性質は、敵による不正使用のリスクをもたらす。
これらの知識基盤を保護するための透かし技術として一般化できる既存の方法は、一般的に毒やバックドア攻撃を含む。
我々は、無害な」知識基盤の著作権保護の名称を提案する。
論文 参考訳（メタデータ） (2025-02-10T09:15:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。