論文の概要: When Context Bites: Detecting RAG Poisoning via Document-Level Attention Collapse

• arxiv url: http://arxiv.org/abs/2608.06947v1
• Date: Fri, 07 Aug 2026 08:23:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-10 16:21:25.413177
• Title: When Context Bites: Detecting RAG Poisoning via Document-Level Attention Collapse
• Title（参考訳）: コンテキストビット:ドキュメントレベルアテンションの崩壊によるRAGポジショニングの検出
• Abstract要約: RAGは、敵の文書がジェネレータ出力を操作するために注入されるような、毒殺攻撃の影響を受けやすくなっている。 これまでは、攻撃を検出するためにパープレキシティや一貫性チェックといった出力側信号に頼っていた。 攻撃された世代を識別するための注意動態をモニタする軽量検出フレームワークである textttD-SCAN を提案する。
• 参考スコア（独自算出の注目度）: 34.49107596901488
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Retrieval-augmented generation (RAG) is indispensable for enhancing large language models. However, RAGs are increasingly susceptible to poisoning attacks, in which adversarial documents are injected to manipulate generator outputs. Previous methods rely on output-side signals such as perplexity and consistency checks to detect such attacks. Nevertheless, our analysis reveals that deliberate attacks often induce false confidence, where poisoned outputs exhibit even lower perplexity than benign ones, rendering uncertainty-based detection ineffective. To address this challenge, we explore the internal dynamics of the generator and identify a distinctive signature termed \textit{Attention Collapse}. Unlike the dispersed attention in benign generations, attacked generations exhibit a decrease in entropy as attention concentrates on poisoned documents. Building on these findings, we propose \texttt{D-SCAN} (Document-level Signal Collapse Analysis), a lightweight detection framework that monitors attention dynamics to identify attacked generations. Extensive experiments on multiple attack benchmarks demonstrate the effectiveness of our method. Moreover, D-SCAN can detect attacks even when they fail to alter the final answer. Code is available at https://github.com/yingtaoren/D-Scan.git.
• Abstract（参考訳）: Retrieval-augmented Generation (RAG) は、大規模言語モデルの強化に不可欠である。 しかしながら、RAGは、敵の文書がジェネレータ出力を操作するために注入されるような、毒殺攻撃の影響を受けやすくなっている。 これまでは、攻撃を検出するためにパープレキシティや一貫性チェックといった出力側信号に頼っていた。 いずれにせよ、故意に攻撃された場合、有害なアウトプットは良性よりもさらに難易度が低く、不確実性に基づく検出が効果的でないことが判明した。 この課題に対処するために、ジェネレータの内部のダイナミクスを調査し、 \textit{Attention Collapse} と呼ばれる特異なシグネチャを識別する。 良質な世代における分散した注意とは異なり、攻撃された世代は、毒物に注意が集中するにつれてエントロピーが低下する。 これらの知見に基づいて,攻撃世代を特定するための注意動態をモニタする軽量検出フレームワークであるtexttt{D-SCAN} (Document-level Signal Collapse Analysis) を提案する。 複数の攻撃ベンチマークに対する大規模な実験により,本手法の有効性が示された。 さらに、D-SCANは最終回答の変更に失敗した場合でも攻撃を検出することができる。 コードはhttps://github.com/yingtaoren/D-Scan.git.comで入手できる。

関連論文リスト

• RAGPart & RAGMask: Retrieval-Stage Defenses Against Corpus Poisoning in Retrieval-Augmented Generation [43.85099769473328]
  Retrieval-Augmented Generation (RAG)は、大規模言語モデルを強化するための有望なパラダイムとして登場した。 近年の研究では、悪意のある文書を検索コーパスに注入し、モデル出力を操作できるRAGパイプラインコーパス中毒の致命的な脆弱性が明らかにされている。 本稿では、RAGPartとRAGMaskの2つの相補的な検索ステージディフェンスを提案する。
  論文  参考訳（メタデータ） (2025-12-30T14:43:57Z)
• Reasoning-Style Poisoning of LLM Agents via Stealthy Style Transfer: Process-Level Attacks and Runtime Monitoring in RSV Space [4.699272847316498]
  Reasoning-Style Poisoning (RSP)は、エージェントが処理するものよりも情報を処理する方法を操作する。 Generative Style Injection (GSI)は、検索した文書を病的トーンに書き換える。 RSP-Mは軽量なランタイムモニタで、RSVメトリクスをリアルタイムで計算し、安全性の閾値を超える値にアラートをトリガーする。
  論文  参考訳（メタデータ） (2025-12-16T14:34:10Z)
• Character-Level Perturbations Disrupt LLM Watermarks [64.60090923837701]
  我々は,Large Language Model (LLM)ウォーターマーキングのためのシステムモデルを定式化する。 我々は、透かし検出器への限られたアクセスに制約された2つの現実的な脅威モデルの特徴付けを行う。 我々は,最も制限的な脅威モデルの下で,キャラクタレベルの摂動が透かし除去に著しく有効であることを実証した。 現実的な制約下での透かし除去における文字レベルの摂動の優位性と遺伝的アルゴリズム(GA)の有効性を実験的に検証した。
  論文  参考訳（メタデータ） (2025-09-11T02:50:07Z)
• Detecting Stealthy Data Poisoning Attacks in AI Code Generators [1.1371178703578924]
  本研究は,ステルスシー脅威モデルに基づく既存の中毒検出手法の有効性に関する系統的研究である。 我々は,3つのDLモデル (CodeBERT, CodeT5+, AST-T5) に対して標的毒処理を行い, スペクトルシグネチャ解析, アクティベーションクラスタリング, 静的解析を防御として評価した。 以上の結果から,全ての手法が無作為性中毒の検出に苦慮し,表現に基づくアプローチでは有毒なサンプルの分離が困難であり,静的解析では偽陽性と偽陰性がみられた。
  論文  参考訳（メタデータ） (2025-08-29T14:00:06Z)
• The Silent Saboteur: Imperceptible Adversarial Attacks against Black-Box Retrieval-Augmented Generation Systems [101.68501850486179]
  本稿では,RAGシステムに対する敵攻撃について検討し,その脆弱性を同定する。 このタスクは、ターゲット文書を検索する非知覚的な摂動を見つけることを目的としており、もともとはトップ$k$の候補セットから除外されていた。 本稿では、攻撃者とターゲットRAG間の相互作用を追跡する強化学習ベースのフレームワークであるReGENTを提案する。
  論文  参考訳（メタデータ） (2025-05-24T08:19:25Z)
• Rethinking Graph Backdoor Attacks: A Distribution-Preserving Perspective [33.35835060102069]
  グラフニューラルネットワーク(GNN)は、様々なタスクにおいて顕著なパフォーマンスを示している。 バックドア攻撃は、トレーニンググラフ内のノードのセットにバックドアトリガとターゲットクラスラベルをアタッチすることで、グラフを汚染する。 本稿では,IDトリガによる無意味なグラフバックドア攻撃の新たな問題について検討する。
  論文  参考訳（メタデータ） (2024-05-17T13:09:39Z)
• Humanizing Machine-Generated Content: Evading AI-Text Detection through Adversarial Attack [24.954755569786396]
  そこで本研究では,機械生成コンテンツの小さな摂動を回避して検出を回避すべく,より広いレベルの敵攻撃のためのフレームワークを提案する。 我々は、ホワイトボックスとブラックボックスの2つの攻撃設定を検討し、現在の検出モデルのロバスト性を高める可能性を評価するために、動的シナリオにおける逆学習を採用する。 実験の結果、現在の検出モデルは10秒で妥協でき、機械が生成したテキストを人間の書き起こしコンテンツとして誤分類する結果となった。
  論文  参考訳（メタデータ） (2024-04-02T12:49:22Z)
• Poisoned Forgery Face: Towards Backdoor Attacks on Face Forgery Detection [62.595450266262645]
  本稿では,バックドア攻撃による顔偽造検出の新たな脅威について紹介する。 バックドアをモデルに埋め込むことで、攻撃者は検知器を騙して偽造された顔の誤予測を発生させることができる。 我々は,顔偽造検知器に対するクリーンラベルバックドア攻撃を可能にするemphPoisoned Forgery Faceフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-18T06:31:05Z)
• Exploring Model Dynamics for Accumulative Poisoning Discovery [62.08553134316483]
  そこで我々は,モデルレベルの情報を通して,防衛を探索するための新しい情報尺度,すなわち,記憶の離散性(Memorization Discrepancy)を提案する。 暗黙的にデータ操作の変更をモデル出力に転送することで、メモリ識別は許容できない毒のサンプルを発見することができる。 我々は、その性質を徹底的に探求し、累積中毒に対する防御のために、離散型サンプル補正(DSC)を提案する。
  論文  参考訳（メタデータ） (2023-06-06T14:45:24Z)
• Can AI-Generated Text be Reliably Detected? [50.95804851595018]
  大規模言語モデル(LLM)は、様々なアプリケーションで非常によく機能します。 盗作、偽ニュースの発生、スパムなどの活動においてこれらのモデルが誤用される可能性があることは、彼らの責任ある使用に対する懸念を引き起こしている。 我々は、攻撃者の存在下で、これらのAIテキスト検出装置の堅牢性を強調テストする。
  論文  参考訳（メタデータ） (2023-03-17T17:53:19Z)
• Illusory Attacks: Information-Theoretic Detectability Matters in Adversarial Attacks [76.35478518372692]
  エプシロン・イリューソリー(epsilon-illusory)は、シーケンシャルな意思決定者に対する敵対的攻撃の新たな形態である。 既存の攻撃と比較して,エプシロン・イリューソリーの自動検出は極めて困難である。 以上の結果から, より優れた異常検知器, 効果的なハードウェアおよびシステムレベルの防御の必要性が示唆された。
  論文  参考訳（メタデータ） (2022-07-20T19:49:09Z)
• On Trace of PGD-Like Adversarial Attacks [77.75152218980605]
  敵対的攻撃は、ディープラーニングアプリケーションに対する安全性とセキュリティ上の懸念を引き起こす。 モデルの勾配一貫性を反映した適応応答特性(ARC)特性を構築する。 私たちの方法は直感的で、軽量で、非侵襲的で、データ不要です。
  論文  参考訳（メタデータ） (2022-05-19T14:26:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。