論文の概要: Language Models Show Conformity Bias in RAG: When the Majority Endorses a Poisoned Claim

• arxiv url: http://arxiv.org/abs/2610.41012v1
• Date: Thu, 29 Oct 2026 21:45:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.501828
• Title: Language Models Show Conformity Bias in RAG: When the Majority Endorses a Poisoned Claim
• Title（参考訳）: 言語モデルによるRAGの整合性バイアス: 多数派が有罪判決を受諾した場合
• Abstract要約: 相互に合意する有毒文書の数を増やすことが、誤情報を検出するモデルの能力に影響を及ぼすかどうかを検討する。 Gemma-3-12bでは、マイノリティ状態での毒検出率は25%(50/200)から、多数派では10%(20/200)に低下する。
• 参考スコア（独自算出の注目度）: 0.5833117322405447
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Retrieval-augmented generation (RAG) can expose language models to misleading evidence in retrieved documents. We investigate whether increasing the number of mutually agreeing poisoned documents affects a model's ability to detect misinformation. We evaluate 200 randomly selected questions from SciFact (random seed 38), comparing contexts with one poisoned and six healthy documents against contexts with six mutually agreeing poisoned documents and one healthy document. For Gemma-3-12b, poison-detection rates decrease from 25% (50/200) in the minority condition to 10% (20/200) in the majority condition. Among the 38 questions with different outcomes across conditions, 34 change from detected to undetected, while only four change in the opposite direction (exact McNemar test, p = 6.04e-7). This pattern is consistent with a conformity-like response to a majority of mutually agreeing poisoned documents. Our results provide initial evidence of conformity bias in RAG-based misinformation detection: Gemma-3-12b is substantially less likely to detect poisoned claims when they dominate the retrieved evidence.
• Abstract（参考訳）: Retrieval-augmented Generation (RAG) は、検索された文書の証拠を誤解させる言語モデルを公開することができる。 相互に合意する有毒文書の数を増やすことが、誤情報を検出するモデルの能力に影響を及ぼすかどうかを検討する。 SciFact (random seed 38) からランダムに選択した200の質問を, 有毒文書1件, 健康文書6件と, 相互に一致した有毒文書6件, 健康文書1件と比較した。 Gemma-3-12bでは、マイノリティ状態での毒検出率は25%(50/200)から、多数派では10%(20/200)に低下する。 条件によって異なる38の質問のうち、34は検出から未検出に変化し、反対方向にわずか4つの変化しか起こらなかった(マクネマール検定、p = 6.04e-7)。 このパターンは、相互に合意する有毒な文書の大多数に対する適合性のような反応と一致している。 Gemma-3-12bは,検索された証拠を支配下に置くと,有毒なクレームを検出する可能性が著しく低い。

関連論文リスト

• Stale-Document Poisoning: When Outdated Retrieval Overrides Correct Model Answers [1.9140495620245608]
  検索なしで正しい回答をしても、古い証拠がモデルに悪影響を及ぼすような、時間的アライメント障害、古文書中毒を同定する。 我々は、医学、法律、ソフトウェア、プラットフォームポリシーにまたがる317の検証済み知識逆転のベンチマークを構築し、公式資料を根拠にしている。
  論文  参考訳（メタデータ） (2026-09-25T14:43:43Z)
• Where Does Retrieval-Based Open-Ended Evaluation Fail? Automatic Taxonomy Induction from Long-Form Medical Answer Factuality Verification [50.168648286292004]
  既存のRAG診断では、金の回答や注釈付き金の証拠が必要であり、どちらもこの体制には存在しない。 オープンエンドのMedExpertデータセットと3つのクローズドエンドデータセットに関するケーススタディに基づいた総合的な2つのデータセットを紹介した。 我々は, LLM-as-Judge を用いた自動パターン誘導パイプラインを適用し, 証拠品質をラベル付けし, 大規模な検証器推論誤差を分類する。
  論文  参考訳（メタデータ） (2026-09-24T19:04:23Z)
• ToxicRAG: Compromising Retrieval-Augmented Generation Systems via Single-Shot Knowledge Poisoning Attacks [8.253108030536895]
  代表的な攻撃では、複数のインジェクトされたドキュメントやテンプレートを使用して、ターゲットの回答を直接アサートする。 ToxicRAGは,誤報を一貫性のある知識更新物語として表現する単一文書毎の攻撃である。 本研究は,自然質問,HotpotQA,MS-MARCOの各対象質問に対する攻撃について評価する。
  論文  参考訳（メタデータ） (2026-09-10T04:42:21Z)
• In RAG We Trust? Measuring Robustness of Retrieval-Augmented Generation Under Document Poisoning [0.0]
  我々は、小さな量子化モデルであるLlama 3.1 8B(Llama 3.1 8B)が、検索された文脈のごく一部が汚染されたときにどれだけ劣化するかを研究する。 清潔な文脈では77.9%から43.5%に減少し、3つの通路が全て崩壊する。
  論文  参考訳（メタデータ） (2026-09-08T08:31:57Z)
• RAGSieve: Self-Referenced Local Contrast for Knowledge-Poison Detection in Retrieval-Augmented Generation [0.0]
  既存の検出器は、信頼できる参照、特定の攻撃アーティファクト、またはコーパストポロジーに敏感なグローバルしきい値に依存している。 本稿では,検査システムから参照を構成する自己参照検出フレームワークであるRAGSieveを提案する。 共同配備により攻撃成功率は67.4%から14.0%に減少し、41.3%のF1を維持している。
  論文  参考訳（メタデータ） (2026-08-13T09:29:48Z)
• Poisoning Attacks on LLMs Require a Near-constant Number of Poison Samples [81.67041843907371]
  この研究は、データセットのサイズに関わらず、毒殺攻撃がほぼ一定数のドキュメントを必要とすることを初めて実証した。 250の有毒なドキュメントも同様に、すべてのモデルとデータセットサイズにわたってモデルを妥協している。 以上の結果から,データ中毒によるバックドア注入は,従来考えられていたよりも大型モデルの方が容易である可能性が示唆された。
  論文  参考訳（メタデータ） (2025-10-08T16:25:05Z)
• Causal Understanding by LLMs: The Role of Uncertainty [43.87879175532034]
  近年の論文では、LLMは因果関係分類においてほぼランダムな精度を達成している。 因果的事例への事前曝露が因果的理解を改善するか否かを検討する。
  論文  参考訳（メタデータ） (2025-09-24T13:06:35Z)
• Collapse of Dense Retrievers: Short, Early, and Literal Biases Outranking Factual Evidence [56.09494651178128]
  検索モデルは、Retrieval-Augmented Generation (RAG)のような情報検索(IR)アプリケーションで一般的に使用される。 我々は、Dragon+やContrieverのようなリトリーバーに対する、短いドキュメントの好みなどのバイアスの影響を定量化する。 私たちは大きな脆弱性を発見し、リトリバーが短いドキュメント、早い位置、繰り返しのエンティティ、リテラルマッチを好んで、答えの存在を無視しながら表示します。
  論文  参考訳（メタデータ） (2025-03-06T23:23:13Z)
• Exploring Model Dynamics for Accumulative Poisoning Discovery [62.08553134316483]
  そこで我々は,モデルレベルの情報を通して,防衛を探索するための新しい情報尺度,すなわち,記憶の離散性(Memorization Discrepancy)を提案する。 暗黙的にデータ操作の変更をモデル出力に転送することで、メモリ識別は許容できない毒のサンプルを発見することができる。 我々は、その性質を徹底的に探求し、累積中毒に対する防御のために、離散型サンプル補正(DSC)を提案する。
  論文  参考訳（メタデータ） (2023-06-06T14:45:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。