論文の概要: Stale-Document Poisoning: When Outdated Retrieval Overrides Correct Model Answers

• arxiv url: http://arxiv.org/abs/2609.31342v1
• Date: Fri, 25 Sep 2026 14:43:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.443351
• Title: Stale-Document Poisoning: When Outdated Retrieval Overrides Correct Model Answers
• Title（参考訳）: 静的文書中毒:古い検索が正しいモデル回答を上書きする時
• Abstract要約: 検索なしで正しい回答をしても、古い証拠がモデルに悪影響を及ぼすような、時間的アライメント障害、古文書中毒を同定する。 我々は、医学、法律、ソフトウェア、プラットフォームポリシーにまたがる317の検証済み知識逆転のベンチマークを構築し、公式資料を根拠にしている。
• 参考スコア（独自算出の注目度）: 1.9140495620245608
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Retrieval-augmented generation (RAG) is often used to address outdated knowledge by providing external evidence. But retrieval helps only when that evidence is still valid. We identify a temporal alignment failure, stale-document poisoning, in which outdated evidence makes a model wrong despite answering correctly without retrieval. We construct a benchmark of 317 verified knowledge reversals across medicine, law, software, and platform policy, grounded in dated official sources. Across 12 models, recent medical reversals are harder than long-established ones. More importantly, outdated retrieval flips 30% of Llama and 37% of Qwen answers even without instructions to trust the document; explicit follow instructions raise these rates to 66% and 75%. Across four open models and four domains, poisoning ranges from 17-91%, while matched up-to-date evidence is followed in 97-100% of trials. To isolate temporal applicability, we keep the historical evidence unchanged across 50 reversals and vary only the evaluation date. A clear pattern emerges: dates alone produce only modest adaptation, but when models are explicitly told when the old evidence stops applying, the larger models switch to the appropriate answer almost perfectly. Causal interventions confirm that this validity information directly shapes the final decision. The same internal components also support broader comparison tasks, suggesting that temporal applicability can recruit a general reasoning mechanism used for other comparisons. Finally, a fixed recency-aware hybrid re-ranker reduces poisoning by 4.6-10.0 points when dates are accurate, with gains that depend on reliable temporal metadata. Reliable RAG therefore requires selective trust: models must determine not only what retrieved evidence says, but whether it still applies.
• Abstract（参考訳）: 検索強化世代(RAG)は、しばしば外部の証拠を提供することで時代遅れの知識に対処するために使用される。 しかし、検索は、その証拠がまだ有効である場合にのみ有効である。 検索なしで正しい回答をしても、古い証拠がモデルに悪影響を及ぼすような、時間的アライメント障害、古文書中毒を同定する。 我々は、医学、法律、ソフトウェア、プラットフォームポリシーにまたがる317の検証済み知識逆転のベンチマークを構築し、公式資料を根拠にしている。 12モデルにまたがって、最近の医療の逆転は、昔からあるものよりも難しい。 さらに重要なのは、古い検索ではラマの30%、Qwenの37%が文書を信頼する命令なしで回答していることだ。 4つのオープンモデルと4つのドメインにまたがって、中毒は17-91%の範囲で、最新の証拠と一致した証拠は97-100%の試験で追従される。 時間的適用性を分離するために、50の逆転にまたがる歴史的証拠を一定に保ち、評価日だけを変える。 日付だけでは控えめな適応しか生成しないが、古いエビデンスが適用されるのをやめたとき、より大きなモデルは、ほぼ完全に適切な答えに切り替える。 因果的介入は、この妥当性情報が最終決定を直接形成することを確認する。 同じ内部コンポーネントもより広範な比較タスクをサポートしており、時間的適用性は他の比較に使用される一般的な推論メカニズムを採用できることを示唆している。 最後に、固定電流対応ハイブリッドリランカは、日付が正確であれば4.6-10.0ポイントの毒を減らし、信頼できる時間的メタデータに依存するゲインを得る。 したがって、信頼性の高いRAGは選択的信頼を必要とする:モデルは、回収された証拠が何を言っているかだけでなく、それがまだ適用されているかどうかを判断しなければならない。

関連論文リスト

• NovGauge: A Fine-Grained Benchmark for Diagnosing LLMs' Capability in Paper Novelty Assessment [54.4265627247104]
  大規模言語モデル(LLM)は、主要なAIカンファレンスでピアレビューでますます使用されている。 既存のベンチマークでは、ノベルティを1つの総合的なスコアとして評価している。 本報告では,詳細なノベルティアセスメント診断のための人手によるベンチマークであるNovGaugeについて述べる。
  論文  参考訳（メタデータ） (2026-09-10T08:34:56Z)
• MIRAGE: How Conversation State Shapes Historical Evidence Use in Multimodal Personal Agents [15.173843369238156]
  MIRAGEは個人エージェントの会話状態の変動に使用される歴史的証拠の制御された研究である。 結果のみの正当性から推定されるのではなく, 状態変化下での歴史的証拠の使用を評価すべきである。
  論文  参考訳（メタデータ） (2026-08-25T10:59:10Z)
• Diagnosing Evidence Utilization in Long-Context and Retrieval-Augmented Language Models under Matched Evidence Conditions [0.0]
  モデルはパラメトリックの先行情報から回答したり、存在する証拠を使わなかったり、関連するテキストを最終回答に変換することなく引用したりすることができる。 本稿では,エビデンス利用評価のための4条件診断プロトコルを提案する。
  論文  参考訳（メタデータ） (2026-06-04T22:44:57Z)
• STALE: Can LLM Agents Know When Their Memories Are No Longer Valid? [5.361950931863979]
  大規模言語モデル(LLM)エージェントは、コヒーレントで長期的なパーソナライズされたメモリを維持することがますます期待されている。 現在のベンチマークは、主に静的な事実検索を計測し、新しい証拠が現れたときに保存された信念を更新する能力を見下ろしている。 専門家が検証した400の競合シナリオのベンチマークであるSTALEを紹介します。 CUPMemは,構造化状態統合と伝搬認識探索による書き込み時間リビジョンを強化するプロトタイプである。
  論文  参考訳（メタデータ） (2026-05-07T16:31:15Z)
• FRESCO: Benchmarking and Optimizing Re-rankers for Evolving Semantic Conflict in Retrieval-Augmented Generation [73.22935457705057]
  時間的動的文脈における再ランカ評価のためのベンチマークであるFRESCOを紹介する。 レクエンシ検索クエリと過去のウィキペディアのリビジョンを組み合わせることで、FRESCOは、セマンティックな関連性を維持しながら、リランカが事実として最新の証拠を優先順位付けできるかどうかをテストする。 我々の評価では、既存の再ランカ間で一貫した障害モードが明らかになっている。
  論文  参考訳（メタデータ） (2026-04-14T17:04:25Z)
• Collapse of Dense Retrievers: Short, Early, and Literal Biases Outranking Factual Evidence [56.09494651178128]
  検索モデルは、Retrieval-Augmented Generation (RAG)のような情報検索(IR)アプリケーションで一般的に使用される。 我々は、Dragon+やContrieverのようなリトリーバーに対する、短いドキュメントの好みなどのバイアスの影響を定量化する。 私たちは大きな脆弱性を発見し、リトリバーが短いドキュメント、早い位置、繰り返しのエンティティ、リテラルマッチを好んで、答えの存在を無視しながら表示します。
  論文  参考訳（メタデータ） (2025-03-06T23:23:13Z)
• Contrastive Learning to Improve Retrieval for Real-world Fact Checking [84.57583869042791]
  ファクト・チェッキング・リランカ(Contrastive Fact-Checking Reranker, CFR)を提案する。 我々はAVeriTeCデータセットを活用し、証拠文書からの人間による回答とクレームのサブクエストを注釈付けする。 データセットの精度は6%向上した。
  論文  参考訳（メタデータ） (2024-10-07T00:09:50Z)
• From Relevance to Utility: Evidence Retrieval with Feedback for Fact Verification [118.03466985807331]
  我々は、FVの関連性よりも、クレーム検証者が取得した証拠から導出する実用性に焦点を当てる必要があると論じる。 本稿では,エビデンス検索プロセスの最適化に,クレーム検証器からのフィードバックを取り入れたフィードバックベースのエビデンス検索手法(FER)を提案する。
  論文  参考訳（メタデータ） (2023-10-18T02:59:38Z)
• Implicit Temporal Reasoning for Evidence-Based Fact-Checking [14.015789447347466]
  本研究は,証拠に基づく事実検証のクレーム検証プロセスに時間的効果が有意な影響を及ぼすことを示す。 本研究は, 時間情報の存在と, タイムラインの構築方法が, 事実確認モデルが証拠文書の関連性, サポート, 反証性を決定する方法に大きく影響していることを示す。
  論文  参考訳（メタデータ） (2023-02-24T10:48:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。