論文の概要: Prevented is Not Protected: What Attack Success Rate Hides about RAG

• arxiv url: http://arxiv.org/abs/2610.40742v1
• Date: Thu, 29 Oct 2026 15:21:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.454329
• Title: Prevented is Not Protected: What Attack Success Rate Hides about RAG
• Title（参考訳）: 予防されていない:RAGの攻撃成功率を秘めているもの
• Abstract要約: 既存の防御は、主に攻撃成功率(ASR)を用いて評価される。 この研究は、thabfAligned RAG Evaluationを導入している。これは一致したクエリプロトコルで、クリーンで有毒な応答を防御なしで、共同で検査する。
• 参考スコア（独自算出の注目度）: 5.328366903719861
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Retrieval-Augmented Generation (RAG) is vulnerable to knowledge poisoning, where adversaries manipulate retrieved evidence to influence model outputs. Existing defenses are primarily evaluated using attack success rate (ASR), which obscures defense-induced failures and the mechanisms behind apparent attack prevention. To address this issue, this work introduces \textbf{Aligned RAG Evaluation}, a matched-query protocol that jointly examines clean and poisoned responses, with and without defense. By combining matched conditions analysis, LLM-judge endorsement, and retrieval dependence controls, the proposed framework distinguishes prevented from introduced failures, target mentions from LLM endorsement, and single-passage influence from evidence composition. Experiments on HotpotQA and Natural Questions reveal that existing defenses can introduce unexpected target-positive answers, although they can prevent some attacks, while evaluation criteria can also change defense rankings. Our findings expose critical blind spots in ASR-based evaluation and motivate a more comprehensive assessment of RAG poisoning defenses. The code and the evaluation artifact are available at https://github.com/chxhana/aligned-rag-eval.
• Abstract（参考訳）: Retrieval-Augmented Generation (RAG) は知識中毒に対して脆弱であり、敵は回収された証拠を操作してモデル出力に影響を与える。 既存の防御は、主に攻撃成功率(ASR)を用いて評価される。 この問題に対処するため、この研究では、清潔で有毒な応答を防御なしで共同で検査するマッチングクエリプロトコルである‘textbf{Aligned RAG Evaluation}を導入している。 提案手法は, 一致条件解析, LLM-judge の支持, 検索依存制御を組み合わせることで, 導入した障害の防止, LLM の支持による目標言及, 証拠構成からのシングルパスの影響を識別する。 HotpotQAとNatural Questionsの実験では、既存のディフェンスは予期せぬ目標陽性の回答を導入することができるが、いくつかのアタックを防止できる一方で、評価基準はディフェンスのランクを変更することもできる。 以上の結果から,ASRによる評価において重要な盲点が明らかとなり,RAG中毒防御のより包括的な評価の動機となった。 コードと評価アーティファクトはhttps://github.com/chxhana/aligned-rag-eval.comで公開されている。

関連論文リスト

• DenialRAG: Single-Document RAG Poisoning via Embedded Parametric Denial [7.434105792757549]
  EmphDenialRAGは,正しい回答を明示し,それを否定し,攻撃者による説明を提示する単一文書中毒攻撃である。 DenialRAGは、コンフリクトを直接ジェネレータが見るコンテキストに埋め込む。 我々はDenialRAGを3つのオープンドメイン質問回答データセットにまたがる4つの単一文書中毒攻撃に対して評価した。
  論文  参考訳（メタデータ） (2026-08-02T20:33:05Z)
• Confundo: Learning to Generate Robust Poison for Practical RAG Systems [19.77771071590713]
  Confundoは、大きな言語モデルを毒の発生源として微調整し、高い有効性、堅牢性、およびステルス性を達成するための学習・博学のフレームワークである。 Confundoは、データセットとRAG設定をまたいで、幅広い目的に構築されたアタックを一貫して上回っていることを示す。 また,RAGシステムへの不正な組み込みからWebコンテンツをスクレイピングによって保護する防衛的ユースケースも提示する。
  論文  参考訳（メタデータ） (2026-02-06T11:19:49Z)
• RAGPart & RAGMask: Retrieval-Stage Defenses Against Corpus Poisoning in Retrieval-Augmented Generation [43.85099769473328]
  Retrieval-Augmented Generation (RAG)は、大規模言語モデルを強化するための有望なパラダイムとして登場した。 近年の研究では、悪意のある文書を検索コーパスに注入し、モデル出力を操作できるRAGパイプラインコーパス中毒の致命的な脆弱性が明らかにされている。 本稿では、RAGPartとRAGMaskの2つの相補的な検索ステージディフェンスを提案する。
  論文  参考訳（メタデータ） (2025-12-30T14:43:57Z)
• Counterfactual Evaluation for Blind Attack Detection in LLM-based Evaluation Systems [24.312079827029326]
  我々は、ブラインド・アタックと呼ばれる脅威のクラスを形式化し、候補者の答えは、評価者を欺く真の答えとは無関係に作成される。 このような攻撃に対抗するため、我々は標準評価(SE)と対実評価(CFE)を併用したフレームワークを提案する。 システムが標準条件と反事実条件の両方で回答を検証した場合、攻撃が検出される。
  論文  参考訳（メタデータ） (2025-07-31T11:29:42Z)
• Benchmarking Misuse Mitigation Against Covert Adversaries [80.74502950627736]
  既存の言語モデルの安全性評価は、オーバースト攻撃と低レベルのタスクに重点を置いている。 我々は、隠蔽攻撃と対応する防御の評価を自動化するデータ生成パイプラインである、ステートフルディフェンスのためのベンチマーク(BSD)を開発した。 評価の結果,分解攻撃は有効な誤用防止剤であり,その対策としてステートフルディフェンスを強調した。
  論文  参考訳（メタデータ） (2025-06-06T17:33:33Z)
• The Silent Saboteur: Imperceptible Adversarial Attacks against Black-Box Retrieval-Augmented Generation Systems [101.68501850486179]
  本稿では,RAGシステムに対する敵攻撃について検討し,その脆弱性を同定する。 このタスクは、ターゲット文書を検索する非知覚的な摂動を見つけることを目的としており、もともとはトップ$k$の候補セットから除外されていた。 本稿では、攻撃者とターゲットRAG間の相互作用を追跡する強化学習ベースのフレームワークであるReGENTを提案する。
  論文  参考訳（メタデータ） (2025-05-24T08:19:25Z)
• A Critical Evaluation of Defenses against Prompt Injection Attacks [95.81023801370073]
  大型言語モデル (LLM) はインジェクション攻撃に弱い。 いくつかの防衛策が提案され、しばしばこれらの攻撃をうまく緩和すると主張した。 既存の研究は、これらの防衛を評価するための原則的なアプローチを欠いていると論じる。
  論文  参考訳（メタデータ） (2025-05-23T19:39:56Z)
• Improving the Adversarial Robustness for Speaker Verification by Self-Supervised Learning [95.60856995067083]
  この研究は、特定の攻撃アルゴリズムを知らずにASVの敵防衛を行う最初の試みの一つである。 本研究の目的は,1) 対向摂動浄化と2) 対向摂動検出の2つの視点から対向防御を行うことである。 実験の結果, 検出モジュールは, 約80%の精度で対向検体を検出することにより, ASVを効果的に遮蔽することがわかった。
  論文  参考訳（メタデータ） (2021-06-01T07:10:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。