論文の概要: Ranking Is Not Deciding: Benchmark Shortcuts and Operating-Point Collapse in Query-Time RAG Poisoning Defenses
- arxiv url: http://arxiv.org/abs/2610.33849v1
- Date: Sat, 24 Oct 2026 18:40:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:13.461216
- Title: Ranking Is Not Deciding: Benchmark Shortcuts and Operating-Point Collapse in Query-Time RAG Poisoning Defenses
- Title(参考訳): ベンチマークショートカットとオペレーティングポイントの崩壊によるクエリ時間RAGの攻撃防御のランク付けは決定的ではない
- Abstract要約: 検索した文書がジェネレータに到達する前に表示されるクエリ時間フィルタは、検索強化世代中毒に対する主要な防御である。
この性能は, フィルタの読み方ではなく, 毒物セットの作り方によって予測されることを示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Query-time filters that screen each retrieved document before it reaches the generator are the dominant published defense against retrieval-augmented generation poisoning, and they report near-perfect detection on domain benchmarks. We show that this performance is predicted by how the poison set was built rather than by what the filter reads: removing a single construction cue destroys the deployed decision before it destroys the ranking. Two label-free statistics of a poison set and its clean corpus profile the cue: containment, how often the target question appears verbatim in the poison, and length overlap. PoisonedRAG's released code prepends the target question to every inserted passage. Of the 21 published defense evaluations we survey, 8 verifiably run poison built this way and 5 substitute a length cue; separately, 12 report no false-positive rate at the operating point they deploy. Deleting only that prefix from the attack authors' own passages (0.93 still retrieved for their target) takes RAGuard, a published content filter we re-implement, from AUROC 0.953 to 0.758 and its miss rate from 0.191 to 0.763. Across four corpora, four attack families and ten per-document defenses on one shared candidate set, the profile predicts where detection saturates. Padding medical poison to clean length with word-shuffled filler that carries no content takes TrustRAG's set-level stage from a miss rate of 0.000 to 0.827, and one learned scorer of ours from 0.000 to 0.986 (0.321 at a matched 5% false-positive rate) while its AUROC holds at 0.953. The ranking survives; the decision does not. A defense-aware attacker defeats our own scorer, so we claim no defense. A detection result is evidence only when it is reported with its poison set's construction profile and the false-positive rate at the threshold actually deployed; we release the script that computes the profile.
- Abstract(参考訳): 検索した文書がジェネレータに到達する前に表示されるクエリ時間フィルタは、検索強化された世代中毒に対する主要な防御であり、ドメインベンチマークでほぼ完璧な検出を報告している。
この性能は、フィルタの読み方よりもむしろ、どのように毒のセットが構築されたかによって予測されている。
毒物セットとその清潔なコーパスのラベルなし統計は、封じ込め、標的の質問がどの程度の頻度で毒物に適当であるか、長さが重なるというキューを表わしている。
PoisonedRAGがリリースしたコードは、挿入された各パスにターゲットの質問をプリペイドする。
調査した21件の防衛評価のうち、この方法で作られた毒を8件、長さのキューの代わりに5件、デプロイした時点で偽陽性率を報告していない。
AUROC 0.953 から 0.758 に再実装したコンテンツフィルタである RAGuard は、攻撃者自身のパスからプレフィックスだけを削除し(0.93 はまだターゲットとして取得されている)、ミスレートは0.191 から 0.763 になる。
4つのコーパス、攻撃ファミリー4つ、ドキュメント毎の防御が1つの共有候補セットで行われ、プロファイルは検出が飽和する場所を予測する。
AUROCは0.953であるのに対し、TrustRAGのセットレベルステージは0.000から0.827、私たちのスコアは0.000から0.986(一致した5%の偽陽性率で0.321)である。
順位は残るが、決定は下さない。
防御を意識したアタッカーが我々のスコアを倒すので、我々は防御を主張しない。
検出結果は、その毒物セットの構成プロファイルと実際にデプロイされたしきい値における偽陽性率で報告された場合にのみ証拠となる。
関連論文リスト
- Consistency Is the Attack Surface: Detecting Coordinated Retrieval Poisoning with Embedding Geometry [6.5944301142591675]
CoordGuard氏はこの構造を、ロバストに正規化されたクエリ重み付き親和性から監査する。
4つの検索シードをポーリングすると、e5 always-filteringは$mathrmASR_mathrmexp$$ 0.167、パラメトリックに未知のクエリでは0.138と13.6ポイントのクリーンコストで減少する。
論文 参考訳(メタデータ) (2026-10-17T19:29:24Z) - Pick Your Poison: Learning to Select Poison Sets for Stronger LLM Backdoor Attacks [52.041551928780244]
バックドアの毒殺攻撃は、さもなければクリーンな微調整データに有毒な例を付加する。
これは最悪のケースの脆弱性を過小評価する可能性がある。
SAILS (Set-level Audit-Informed Iterative Learned Selection) を導入する。
論文 参考訳(メタデータ) (2026-09-14T04:44:28Z) - Scoring Without the Engine: Validating a Deterministic, Manipulation-Resistant Content Score for Generative Engines, End to End [0.0]
本稿では,プロキシの定義と選択を行うために,逆ファルシフィケーションゲート上に構築されたプロトコルを提案する。
我々は、プロキシが決定論的コンテンツスコアであるジェネレーティブエンジン最適化について、エンドツーエンドで示す。
論文 参考訳(メタデータ) (2026-09-07T14:40:28Z) - Coverage Is Not Containment: A Fundamental Limit of Admission-Time Defenses Against Coordinated Poisoning of Vector Retrieval [0.0]
Retrieval-augmented Generationは、ベクトルストアからのパスを取得し、それらをコンテキストとして信頼することで、質問に答える。
最近の、魅力的な防衛フィルターは、摂取時に毒を盛り、ハブのように振る舞う文書を拒絶する。
個々の文書を個別に注入するコーディネートされた敵に打ち負かされることを示す。
論文 参考訳(メタデータ) (2026-08-17T03:18:51Z) - Measuring the Wrong Thing: Internal Harmfulness Scores Anti-Rank Successful Jailbreaks [8.249133191294703]
内部安全スコアは、テキストが生成される前にプロンプトを判断する。
間違った量を測定するスコアに調整されたフィルターは、いずれにせよ失敗した攻撃に対して偽陽性の予算を費やす。
固定コンテンツ独立計測座標を提供するアクティブアテンション・プロービングを導入する。
論文 参考訳(メタデータ) (2026-08-10T14:05:32Z) - RAGuard: A Layered Defense Framework for Retrieval-Augmented Generation Systems Against Data Poisoning [0.0815557531820863]
本稿では,パイプラインに対する擬似コーパス攻撃に対する層状防御であるRAGuardを紹介する。
第1層は、合成有毒文書(偽事実、矛盾、推論トラップ)に密集したレトリバーを微調整する。
2番目の層であるZeroKnowledge Patch ZKIPは、ラベルのないブラックボックスフィルタである。
論文 参考訳(メタデータ) (2026-07-28T23:21:04Z) - Turning Bias into Bugs: Bandit-Guided Style Manipulation Attacks on LLM Judges [65.92623263645139]
LLM審査員を誤解させるためにセマンティクスを保存する編集を学習するブラックボックスの敵対的フレームワークであるBITEを紹介する。
BITEは65%を超える攻撃成功率を獲得し、9ポイントのスケールでスコアを1-2ポイント上げる。
LLM-as-a-judgeパラダイムの根本的な弱点を明らかにし,ロバストでアタック・アウェアな評価を動機づけた。
論文 参考訳(メタデータ) (2026-05-24T05:24:09Z) - AI Security Beyond Core Domains: Resume Screening as a Case Study of Adversarial Vulnerabilities in Specialized LLM Applications [71.27518152526686]
大きな言語モデル(LLM)はテキストの理解と生成に優れており、コードレビューやコンテンツモデレーションといった自動タスクに最適である。
LLMは履歴書やコードなどの入力データに隠された「逆命令」で操作でき、意図したタスクから逸脱する。
本稿では,特定の攻撃タイプに対して80%以上の攻撃成功率を示すとともに,この脆弱性を再開スクリーニングで評価するためのベンチマークを提案する。
論文 参考訳(メタデータ) (2025-12-23T08:42:09Z) - Red Pill and Blue Pill: Controllable Website Fingerprinting Defense via Dynamic Backdoor Learning [93.44927301021688]
Webサイト指紋(WF)攻撃は、訪問するWebページを特定するために、ユーザーのコミュニケーションを秘密裏に監視する。
既存のWFディフェンスは、ユニークなトラフィックパターンを乱すことで攻撃者の精度を低下させようとする。
バックドア学習に基づく新しい防衛視点である制御可能なWebサイトフィンガープリントディフェンス(CWFD)を紹介した。
論文 参考訳(メタデータ) (2024-12-16T06:12:56Z) - Certified Robustness to Clean-Label Poisoning Using Diffusion Denoising [56.04951180983087]
我々は、$ell$-normの条件で、クリーンラベル毒殺攻撃に対する認証された防御を提示する。
$randomized$$smoothingによって達成された対向的堅牢性に触発されて、オフザシェルフ拡散復調モデルが、改ざんしたトレーニングデータの衛生化をいかに行うかを示す。
論文 参考訳(メタデータ) (2024-03-18T17:17:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。