論文の概要: In RAG We Trust? Measuring Robustness of Retrieval-Augmented Generation Under Document Poisoning

• arxiv url: http://arxiv.org/abs/2609.09243v1
• Date: Tue, 08 Sep 2026 08:31:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.743745
• Title: In RAG We Trust? Measuring Robustness of Retrieval-Augmented Generation Under Document Poisoning
• Title（参考訳）: RAGの信頼? 文書中毒による検索強化世代のロバスト性の測定
• Abstract要約: 我々は、小さな量子化モデルであるLlama 3.1 8B(Llama 3.1 8B)が、検索された文脈のごく一部が汚染されたときにどれだけ劣化するかを研究する。 清潔な文脈では77.9%から43.5%に減少し、3つの通路が全て崩壊する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Retrieval-augmented generation (RAG) grounds a language model in retrieved documents, which reduces hallucination but creates a new attack surface: if retrieved text is tampered with, the model may repeat the falsehood. We study how much a small quantized model, Llama 3.1 8B, degrades when a fraction of its retrieved context is poisoned. Three corruption strategies are tested, entity swap, number swap, and negation, each applied to zero, one, two, or three of the three retrieved passages, over a factorial sweep of 588 runs on a fact-checking task built from FEVER. Accuracy falls from 77.9% on clean context to 43.5% when all three passages are corrupted. Entity swap flips the largest share of answers that were correct on clean context. Number-based corruption stays flat while poisoned passages are a minority and jumps once they form a majority, a pattern we re-check with query-level bootstrap intervals. The model rarely invents new falsehoods; its dominant reaction is to abstain, and a lexical overlap proxy of unsupported generation falls under attack rather than rising. The study is a small-scale measurement with coarse automated labels; we treat the strategy contrasts as suggestive until decoding is controlled and stronger adjudication is in place.
• Abstract（参考訳）: Retrieval-augmented Generation (RAG) は、検索された文書の言語モデルを基盤として、幻覚を減らすが、新たな攻撃面を生成する。 我々は、小さな量子化モデルであるLlama 3.1 8B(Llama 3.1 8B)が、検索された文脈のごく一部が汚染されたときにどれだけ劣化するかを研究する。 3つの汚職対策、エンティティスワップ、番号スワップ、否定がテストされ、それぞれ0、1、2または3つの検索されたパスに適用される。 清潔な文脈では77.9%から43.5%に減少し、3つの通路が全て崩壊する。 エンティティスワップは、クリーンなコンテキストで正しい回答の最大のシェアをひっくり返します。 乱用されたパスは少数派であり、多数を占めるとジャンプするが、これはクエリレベルのブートストラップ間隔で再チェックするパターンである。 モデルは新しい偽装をほとんど発明せず、その支配的な反応は棄権であり、サポート対象生成の語彙的重複プロキシは上昇よりも攻撃を受ける。 本研究は, 粗い自動ラベルを用いた小型計測であり, 復号化が制御され, より強い述語が成立するまで, ストラテジーコントラストを示唆的として扱う。

関連論文リスト

• SynthSentry: Detecting Synthetic Data Contamination in Language Model Training Data [2.998247765202193]
  コーパスレベルのモデルに依存しない汚染信号は生成モデルへのアクセスを必要とせず、生成履歴も合成ラベルも不要である。 我々は,小型オープンウェイト発生器が汚染したコーパスと,アウト・ワン・ジェネレータ・アウトプロトコルに基づく命令調整オープンウェイト・モデルについて検討した。 スコアは、ジェネレータファミリー全体が持ち出されるときにほとんど損失のない重大さでコーパスをランク付けする。
  論文  参考訳（メタデータ） (2026-09-11T02:25:18Z)
• When Auditors Fabricate: Batch-Size Degradation and Confident Hallucination in LLM Detection of Planted Document Contamination [0.0]
  我々はサプライチェーン管理と医学研究を対象とする150の学術論文の汚染されたコーパスを構築した。 タイポグラフィー的腐敗,意味的逆転,不条理的外挿入の3種類の既知の汚染物質450点を注入した。 我々は、Google Gemini 3.0 Proが60文書にわたる180個の汚染された応答キーサブセットを復元する能力を評価した。
  論文  参考訳（メタデータ） (2026-09-09T04:29:45Z)
• Noēsis: Deterministic-First Retrieval with Two-Tier Context Hydration for Factuality-Critical Queries on Small Local Models [0.0]
  我々は、Noesisアーキテクチャの決定論的第一のクエリプレーンであるNoesisを提示する。 ノイズは生成前にすべての決定論的判断を下す。 報告されたすべての値は、その正確なソースと構築による位置にトレース可能である。
  論文  参考訳（メタデータ） (2026-09-07T15:49:16Z)
• TRIS: A Tri-Layer Retrieval Integrity Sieve Against Knowledge Poisoning [6.613886785198943]
  Tri-Layer Sieveは、クロスエンベディング空間クラスタリングによって得られた証拠を衛生化する。 1つの文書は1つの埋め込み幾何学、1つの内部Trigger-Payload構造、1つの世代目標を満たさなければならない。
  論文  参考訳（メタデータ） (2026-08-31T23:21:27Z)
• TriShieldRAG: A Three-Ring Defense-in-Depth Framework Against Knowledge Corruption in Retrieval-Augmented Generation [1.5474833458331865]
  Retrieval-Augmented Generationは、クエリ時に外部の知識ベースから取得したドキュメントを使用して、大きな言語モデルが質問に答えることを可能にする。 知識ベースが複数の当事者からの書き込みを受け付けている場合、攻撃者は選択された間違った回答に向けてモデルを操縦するために、少数の敵対的文書しか必要としない。 PoisonedRAGは、これを実証した:5つの人工文書が、修正されていないシステムの解答を約90%ひっくり返す。
  論文  参考訳（メタデータ） (2026-07-26T20:52:23Z)
• Abliteration Is Not a Scalpel: Off-Target Effects of Refusal Removal on Decision Disposition Across Model Families [51.56484100374058]
  放棄 — モデルの拒絶方向を重みから取り除く — は、一般的な"アンセンソルド"なオープンウェイトモデルの標準的なレシピである。 ディスポジションプローブとして21,600個の決定を不確実性の下で使用し、凍結パイプラインを通じて再生することにより、決定層モデルが唯一の変数となる。 3つのエフェクトは2つのファミリーにまたがって複製される(ゼロを除く週間クラスターCI) 4つ目の効果は符号を逆転する:同じ操作によりGemmaで読み取られた方が自信が弱まり、Qwenで読み取られたものがより多くなる(ファミリーCIは重複しない)。
  論文  参考訳（メタデータ） (2026-07-19T22:27:00Z)
• A measurement substrate for agentic Kubernetes operations: Methodology and a case study in retrieval-compounding falsification [0.0]
  自律的な操作エージェントに関する実証的な主張は、ほとんど不可能である。 コードエージェントは「機能する」検証基板を持ち、高速でファルサブルで地味な信号に変換する。 ターゲットクラスタに障害を注入するクローズドループ計測フレームワークである Agent-breakage を提案する。
  論文  参考訳（メタデータ） (2026-05-21T21:47:52Z)
• The Misattribution Gap: When Memory Poisoning Looks Like Model Failure in Agentic AI Systems [1.0262304700896199]
  EmphSemantic Norm Drift (SND) をエージェント不正行為の第3の経路として定式化する。 SNDでは、ポリシーフォーマットの文書が通常のアップロードを通じて共有ベクターストアに入り、その後、信頼されたシステムコンテキストとして再現れる。 偽合成検査は87.5%の精度と偽陽性のゼロの因果関係を識別する。
  論文  参考訳（メタデータ） (2026-05-12T20:21:47Z)
• BURN: Backdoor Unlearning via Adversarial Boundary Analysis [73.14147934175604]
  Backdoor Unlearningは、モデル本来の機能を保持しながら、バックドア関連の情報を削除することを目的としている。 本稿では, 偽相関疎結合, プログレッシブデータリファインメント, モデル浄化を統合した新しい防御フレームワーク, BURNによるバックドア・アンラーニングを提案する。
  論文  参考訳（メタデータ） (2025-07-14T17:13:06Z)
• Turning Logic Against Itself : Probing Model Defenses Through Contrastive Questions [50.40122190627256]
  非倫理的反応を引き起こすために、対照的な推論を利用する新しいジェイルブレイク手法であるPOATEを導入する。 PoATEは意味論的に意図に反し、敵のテンプレートと統合し、有害なアウトプットを驚くほど微妙に操る。 これに対応するために、悪意のある意図と理性を検出するためにクエリを分解して、有害な応答を評価し、拒否するIntent-Aware CoTとReverse Thinking CoTを提案する。
  論文  参考訳（メタデータ） (2025-01-03T15:40:03Z)
• Verifying the Robustness of Automatic Credibility Assessment [50.55687778699995]
  入力テキストにおける意味保存的変化がモデルを誤解させる可能性があることを示す。 また、誤情報検出タスクにおける被害者モデルと攻撃方法の両方をテストするベンチマークであるBODEGAについても紹介する。 我々の実験結果によると、現代の大規模言語モデルは、以前のより小さなソリューションよりも攻撃に対して脆弱であることが多い。
  論文  参考訳（メタデータ） (2023-03-14T16:11:47Z)
• A Unified Evaluation of Textual Backdoor Learning: Frameworks and Benchmarks [72.7373468905418]
  我々は,テキストバックドア学習の実装と評価を促進するオープンソースツールキットOpenBackdoorを開発した。 また,単純なクラスタリングに基づく防御ベースラインであるCUBEを提案する。
  論文  参考訳（メタデータ） (2022-06-17T02:29:23Z)
• Adversarial GLUE: A Multi-Task Benchmark for Robustness Evaluation of Language Models [86.02610674750345]
  AdvGLUE(Adversarial GLUE)は、様々な種類の敵攻撃の下で、現代の大規模言語モデルの脆弱性を調査し評価するための新しいマルチタスクベンチマークである。 GLUEタスクに14の逆攻撃手法を適用してAdvGLUEを構築する。 テストしたすべての言語モデルとロバストなトレーニングメソッドは、AdvGLUEではパフォーマンスが悪く、スコアは明確な精度よりもはるかに遅れています。
  論文  参考訳（メタデータ） (2021-11-04T12:59:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。