論文の概要: Salience Induction against Multi-Hop RAG Agents: Threat and Defense

• arxiv url: http://arxiv.org/abs/2607.17535v1
• Date: Mon, 20 Jul 2026 04:27:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-21 18:48:37.497664
• Title: Salience Induction against Multi-Hop RAG Agents: Threat and Defense
• Title（参考訳）: マルチホップRAG剤に対するサリエンス誘導:脅威と防御
• Abstract要約: 検索トレースをセマンティックに残しながらマルチホップバインディングをリダイレクトする真理保存編集として,サリエンス誘導を形式化する。 30%の編集予算の下で、サリエンス誘導は83.3%の攻撃成功率を達成した。 我々の軽量な入力側防御であるSalience Normalizationは、標準的な攻撃で15.3%、適応攻撃で23.6%に攻撃成功を減少させる。
• 参考スコア（独自算出の注目度）: 13.060227960421171
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Agentic retrieval-augmented generation (RAG) systems increasingly retrieve external evidence and orchestrate tools for knowledge-intensive applications. In Multi-Hop question answering, agents chain facts across documents. Existing defenses focus on content poisoning, which injects false facts, and prompt injection, which embeds directives. We identify a third attack surface: the salience channel, through which fact position, emphasis, framing, and semantic proximity can redirect reasoning even when all retrieved claims are true and no instructions are present. We formalize Salience Induction as truth-preserving edits that redirect Multi-Hop attribute binding while leaving the retrieval trace semantically intact. We define six Salience-Editing operator classes and build an iterative proposer-verifier pipeline under factual and stealth constraints. We also introduce SalientWiki-MH, a decoy-annotated Multi-Hop benchmark. Evaluations across five frontier model families (GPT, Claude, Gemini, DeepSeek, and Qwen) and three agent architectures (ReAct, Reflexion, and tool-calling) show broad generalization. Under a 30% edit budget, Salience Induction achieves an 83.3% attack success rate; the strongest evaluated baseline defense leaves 75.7% post-defense ASR. Untargeted rewriting further reduces attacks only by degrading neutral task success. Our lightweight input-side defense, Salience Normalization, reduces attack success to 15.3% under standard attacks and 23.6% under an adaptive attack. These results show that truthfulness and instruction filtering alone are insufficient: robust agentic RAG also requires defenses against salience-relevance decoupling.
• Abstract（参考訳）: エージェント検索強化世代(RAG)システムは、知識集約的なアプリケーションのための外部証拠を検索し、ツールを編成する。 マルチホップの質問応答では、エージェントは文書間で事実をチェーンする。 既存の防御は、偽の事実を注入するコンテンツ中毒と、指示を埋め込むインジェクションに重点を置いている。 サージェンスチャネルは,すべてのクレームが真実であり,命令が存在しない場合でも,事実の位置,強調,フレーミング,セマンティックな近接性が推論をリダイレクトすることができる。 検索トレースをセマンティックに残しながらマルチホップ属性バインディングをリダイレクトする真理保存編集として,サリエンス誘導を形式化する。 本研究では,Salience-Editing演算子クラスを6つ定義し,実とステルスの制約の下で反復的プロジェクタ検証パイプラインを構築する。 また,デコイアノテート型マルチホップベンチマークであるSalientWiki-MHを紹介する。 5つのフロンティアモデルファミリ(GPT、Claude、Gemini、DeepSeek、Qwen)と3つのエージェントアーキテクチャ(ReAct、Reflexion、Tool-calling)による評価は、広範な一般化を示している。 30%の編集予算の下で、サリエンス・インジェクションは83.3%の攻撃成功率を達成した。 未ターゲットの書き換えは、中立的なタスクの成功を低下させることで攻撃をさらに減らす。 我々の軽量な入力側防御であるSalience Normalizationは、標準的な攻撃で15.3%、適応攻撃で23.6%に攻撃成功を減少させる。 これらの結果から,忠実度と命令フィルタリングだけでは不十分であることが示唆された。

関連論文リスト

• TRIS: A Tri-Layer Retrieval Integrity Sieve Against Knowledge Poisoning [6.613886785198943]
  Tri-Layer Sieveは、クロスエンベディング空間クラスタリングによって得られた証拠を衛生化する。 1つの文書は1つの埋め込み幾何学、1つの内部Trigger-Payload構造、1つの世代目標を満たさなければならない。
  論文  参考訳（メタデータ） (2026-08-31T23:21:27Z)
• TRACE: Trajectory Aware Reasoning for Multi-Turn Adversarial Conversation Evaluation [19.39203198049072]
  軌道認識型構造化推論を用いたマルチターンディフェンスであるTraceを導入する。 操作キューを軌跡から識別し、ユーザ意図の良識と敵意の両方の解釈を評価し、ジェイルブレイクスコアを割り当て、アクションにコミットする。 平均攻撃成功率(ASR)は14.5%、最強のベースラインは31.4%、未防御のターゲットは74.9%である。
  論文  参考訳（メタデータ） (2026-08-16T07:32:02Z)
• TriShieldRAG: A Three-Ring Defense-in-Depth Framework Against Knowledge Corruption in Retrieval-Augmented Generation [1.5474833458331865]
  Retrieval-Augmented Generationは、クエリ時に外部の知識ベースから取得したドキュメントを使用して、大きな言語モデルが質問に答えることを可能にする。 知識ベースが複数の当事者からの書き込みを受け付けている場合、攻撃者は選択された間違った回答に向けてモデルを操縦するために、少数の敵対的文書しか必要としない。 PoisonedRAGは、これを実証した:5つの人工文書が、修正されていないシステムの解答を約90%ひっくり返す。
  論文  参考訳（メタデータ） (2026-07-26T20:52:23Z)
• Beyond Attack-Success Rate: Action-Graded Severity Scale for Tool-Using AI Agents [0.0]
  エージェントのレッドチームベンチマークは、インジェクトされたエージェントが単一ビットとして侵入されたかどうかを報告している。 このバイナリ・アタック・サクセス・レートは、ディフェンダーが最も必要とする情報、すなわち、結果として生じるアクションがどれほど有害であるかを破棄する。 本研究では,7段階の順序尺度(L0〜L6)でエージェントのツールコール軌跡をスコアし,実行された動作が可逆性であったか,他者への到達範囲を超えたか,特権を拡大したかに応じて,アクショングレード調和ルーリックを導入する。
  論文  参考訳（メタデータ） (2026-07-08T14:38:01Z)
• Your Agent's Memories Are Not Its Own: Forged Reasoning Attacks on LLM Agent Memory and Defenses [5.887807565440711]
  FARMA(Forged Amplifying Rationale Memory Attack)について紹介する。 FARMAは、エージェントの実際の知識よりも、エージェントの記憶された推論を毒する。 SENTINELは,鍛造推論エントリを検出するための層状防衛パイプラインである。
  論文  参考訳（メタデータ） (2026-07-06T13:10:13Z)
• Defending against Adaptive Prompt Injection Attacks via Reasoning-enabled Task Alignment [25.752599132396437]
  間接的なプロンプトインジェクションは、エージェントがタスク実行中に検索するサードパーティデータに悪意のある命令を埋め込むことによって、LLMベースのエージェントをハイジャックする。 既存のディフェンスでは、静的なベンチマークでほぼゼロの攻撃成功率を報告しているが、最近のアダプティブ評価では、攻撃者がデプロイされたディフェンスに対して最適化を許せば、これらの結果は崩壊する。 本稿では,攻撃者が制御するデータではなく,ユーザタスクに対する防衛判断を基礎としたトレーニングベースのRETAを提案する。
  論文  参考訳（メタデータ） (2026-06-13T19:15:44Z)
• The Autonomy Tax: Defense Training Breaks LLM Agents [5.990318568221089]
  安全を改善するために設計された防衛訓練は、高度な攻撃を防ぐのに失敗しながら、エージェントの能力を体系的に破壊する。 我々は,97件のエージェントタスクと1,000件の敵のプロンプトにまたがる無防備なベースラインに対する防御モデルの評価を行った。 その結果,現在の防衛パラダイムは,マルチステップエージェントを基本的に信頼できないようにレンダリングしながら,シングルターンリフェールベンチマークに最適化されていることがわかった。
  論文  参考訳（メタデータ） (2026-03-19T19:33:17Z)
• TrapSuffix: Proactive Defense Against Adversarial Suffixes in Jailbreaking [52.72486831074384]
  サフィックスベースのジェイルブレイク攻撃は、敵のサフィックス、すなわち短いトークンシーケンスを付加し、LLMを安全でない出力にステアリングする。 提案するTrapSuffixは,推論パイプラインを変更することなく,トラップアラインな動作をベースモデルに注入する,軽量な微調整手法である。 様々なサフィックスベースのジェイルブレイク設定で、TrapSuffixは平均攻撃成功率を0.01%以下に下げ、平均追跡成功率87.9%を達成する。
  論文  参考訳（メタデータ） (2026-02-06T11:43:56Z)
• AI Security Beyond Core Domains: Resume Screening as a Case Study of Adversarial Vulnerabilities in Specialized LLM Applications [71.27518152526686]
  大きな言語モデル(LLM)はテキストの理解と生成に優れており、コードレビューやコンテンツモデレーションといった自動タスクに最適である。 LLMは履歴書やコードなどの入力データに隠された「逆命令」で操作でき、意図したタスクから逸脱する。 本稿では,特定の攻撃タイプに対して80%以上の攻撃成功率を示すとともに,この脆弱性を再開スクリーニングで評価するためのベンチマークを提案する。
  論文  参考訳（メタデータ） (2025-12-23T08:42:09Z)
• Securing AI Agents Against Prompt Injection Attacks [0.0]
  本稿では,RAG対応AIエージェントのインジェクションリスク評価のためのベンチマークを提案する。 本フレームワークは,攻撃速度を73.2%から8.7%に削減し,94.3%のベースラインタスク性能を維持した。
  論文  参考訳（メタデータ） (2025-11-19T10:00:54Z)
• The Attacker Moves Second: Stronger Adaptive Attacks Bypass Defenses Against Llm Jailbreaks and Prompt Injections [74.60337113759313]
  現在のジェイルブレイクとプロンプトインジェクションに対する防御は、通常、有害な攻撃文字列の静的セットに対して評価される。 我々は,この評価プロセスに欠陥があることを論じる。代わりに,攻撃戦略を明示的に修正したアダプティブアタッカーに対する防御を,防衛設計に対抗して評価すべきである。
  論文  参考訳（メタデータ） (2025-10-10T05:51:04Z)
• Revisiting Backdoor Attacks on LLMs: A Stealthy and Practical Poisoning Framework via Harmless Inputs [54.90315421117162]
  完全無害データを用いた新しい毒殺法を提案する。 自己回帰型LPMの因果推論に着想を得て,トリガーと肯定的応答プレフィックスの堅牢な関連性を確立することを目指す。 LLMは最初は同意するように見えるが,その後回答を拒む興味深い抵抗現象を観察する。
  論文  参考訳（メタデータ） (2025-05-23T08:13:59Z)
• Neural Antidote: Class-Wise Prompt Tuning for Purifying Backdoors in CLIP [51.04452017089568]
  CBPT(Class-wise Backdoor Prompt Tuning)は、テキストプロンプトでCLIPを間接的に浄化する効率的な防御機構である。 CBPTは、モデルユーティリティを保持しながら、バックドアの脅威を著しく軽減する。
  論文  参考訳（メタデータ） (2025-02-26T16:25:15Z)
• Reasoning-Augmented Conversation for Multi-Turn Jailbreak Attacks on Large Language Models [53.580928907886324]
  Reasoning-Augmented Conversationは、新しいマルチターンジェイルブレイクフレームワークである。 有害なクエリを良心的な推論タスクに再構成する。 RACEは,複雑な会話シナリオにおいて,最先端攻撃の有効性を実現する。
  論文  参考訳（メタデータ） (2025-02-16T09:27:44Z)
• BadCLIP: Dual-Embedding Guided Backdoor Attack on Multimodal Contrastive Learning [85.2564206440109]
  本報告では,防衛後においてもバックドア攻撃が有効であり続けるという現実的なシナリオにおける脅威を明らかにする。 バックドア検出や細調整防御のモデル化に抵抗性のあるemphtoolnsアタックを導入する。
  論文  参考訳（メタデータ） (2023-11-20T02:21:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。