論文の概要: Parameters vs. Context: TRACE Fine-Tuning for Robust Retrieval-Augmented Generation

• arxiv url: http://arxiv.org/abs/2609.30337v1
• Date: Thu, 24 Sep 2026 09:53:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.06972
• Title: Parameters vs. Context: TRACE Fine-Tuning for Robust Retrieval-Augmented Generation
• Title（参考訳）: パラメータ対文脈:ロバスト検索拡張生成のためのTRACEファインチューニング
• Abstract要約: Retrieval-Augmented Generation (RAG)は、外部コンテキストを導入することで、大規模言語モデルにおける知識の陳腐化と事実の幻覚を緩和する。 本稿では,RAGのための堅牢な微調整フレームワークであるTRACEを提案する。
• 参考スコア（独自算出の注目度）: 8.247532619725524
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Retrieval-Augmented Generation (RAG) mitigates knowledge obsolescence and factual hallucination in large language models by introducing external context. However, when retrieved knowledge conflicts with the model's internal parametric knowledge, the model may either blindly follow misleading context or incorrectly rely on parametric knowledge, leading to unreliable responses. To address this issue, this paper proposes TRACE (Debate-TRace and Answer-Completeness rEgularized fine-tuning), a robust fine-tuning framework for RAG under knowledge conflicts. First, we propose a fine-tuning method that leverages multi-agent debate traces to extract correct candidates, incorrect candidates, and answer-shift patterns, providing fine-grained supervision for reliable knowledge-source selection. In addition, we design an answer completeness regularization mechanism to alleviate empty, overly short, and prematurely terminated responses via answer-tail token reinforcement and premature termination suppression. The fine-tuning objective combines correct-answer supervision, incorrect-candidate suppression, answer-tail token reinforcement, and premature termination suppression, enabling the model to use reliable external context, resist misleading or irrelevant retrieved content, and fall back to parametric knowledge when retrieved evidence is unreliable. Experiments across multiple knowledge-conflict scenarios and datasets show that TRACE improves robustness against misleading retrieved knowledge and reduces incomplete answers. These results demonstrate that multi-agent debate traces and answer completeness regularization jointly enhance knowledge-source selection, conflict robustness, and answer quality in RAG models. Our code is available at https://github.com/PHD-lanyu/TRACE.
• Abstract（参考訳）: Retrieval-Augmented Generation (RAG)は、外部コンテキストを導入することで、大規模言語モデルにおける知識の陳腐化と事実の幻覚を緩和する。 しかし、抽出された知識がモデルの内部のパラメトリック知識と矛盾する場合、モデルは間違った文脈に盲目的に従うか、誤ってパラメトリック知識に依存し、信頼できない応答をもたらす可能性がある。 本稿では,RAGのための堅牢な微調整フレームワークであるTRACE(Debate-TRace and Answer-Completeness rEgularized fine-tuning)を提案する。 まず,複数エージェントの議論トレースを利用して,正しい候補,誤り候補,回答シフトパターンを抽出し,信頼性の高い知識ソース選択のためのきめ細かい監視を行う。 さらに, 未解決, 過度に短く, 早期に終了する応答を, 応答テールトークンの強化と早期終了抑制によって緩和する解答完全性正規化機構を設計する。 微調整の目的は、正しい回答の監督、不正候補の抑制、応答テールトークンの強化、早期終了の抑制を組み合わせ、モデルが信頼性のある外部コンテキストを使用でき、検索された内容が誤認または無関係であることに抵抗でき、検索された証拠が信頼できない場合にパラメトリック知識にフォールバックすることができる。 複数の知識紛争シナリオとデータセットにわたる実験により、TRACEは取得した知識の誤解を招くことに対する堅牢性を改善し、不完全な回答を減らすことが示されている。 これらの結果から,RAGモデルの知識ソース選択,コンフリクトロバスト性,回答品質を協調的に向上させることが示唆された。 私たちのコードはhttps://github.com/PHD-lanyu/TRACEで公開されています。

関連論文リスト

• EvidentialRAG: Quantifying and Mitigating Information Conflict in Multi-Source Retrieval-Augmented Generation via Evidential Deep Learning [0.2730969268472861]
  本稿では,取得したチャンクを生成前に確率的証拠に変換する不確実性を考慮したRAGフレームワークであるERAGを紹介する。 CRAG、ConflictQA、MuSiQueの実験は、ERAGが標準質問応答における最強一致ベースラインと競争力を維持していることを示している。
  論文  参考訳（メタデータ） (2026-07-11T21:56:15Z)
• MMAgent-R$^2$: Learning to Rerank and Reject for Agentic mRAG [50.46218163777298]
  知識に基づくビジュアル質問回答 (KB-VQA) では、大規模百科事典の知識ベースからクエリ画像と一致する視覚エンティティを検索し、関連する質問に答える必要がある。 MMAgent-R$2$は、視覚的リランク化と能動的拒絶を内部検証機構として統合したエージェントmRAGフレームワークである。
  論文  参考訳（メタデータ） (2026-07-08T13:15:39Z)
• ReAG: Reasoning-Augmented Generation for Knowledge-based Visual Question Answering [54.72902502486611]
  ReAG(Reasoning-Augmented Multimodal RAG)は、粗い部分ときめ細かい部分の検索と、無関係な通路をフィルタリングする批評家モデルを組み合わせた手法である。 ReAGは従来の手法よりも優れており、解答精度が向上し、検索された証拠に根ざした解釈可能な推論を提供する。
  論文  参考訳（メタデータ） (2025-11-27T19:01:02Z)
• Resisting Contextual Interference in RAG via Parametric-Knowledge Reinforcement [9.66890519317288]
  Retrieval-augmented Generation (RAG)は、知識集約的なタスクのパフォーマンスを向上させるが、間違った、無関係、あるいは、検索されたテキストの矛盾によって脱線することができる。 本稿では,大規模言語モデルにパラメトリック知識を用いた強化学習フレームワークであるKnowledgeable-R1を提案する。
  論文  参考訳（メタデータ） (2025-06-05T15:34:15Z)
• Faithfulness-Aware Uncertainty Quantification for Fact-Checking the Output of Retrieval Augmented Generation [108.13261761812517]
  本稿では,RAG出力における幻覚検出の新しい手法であるFRANQ(Fithfulness-based Retrieval Augmented Uncertainty Quantification)を紹介する。 本稿では,事実性と忠実性の両方に注釈を付したQAデータセットを提案する。
  論文  参考訳（メタデータ） (2025-05-27T11:56:59Z)
• Retrieval-Augmented Generation with Conflicting Evidence [57.66282463340297]
  大規模言語モデル (LLM) エージェントは、応答の事実性を改善するために、検索強化世代 (RAG) をますます採用している。 実際には、これらのシステムは曖昧なユーザクエリを処理し、複数のソースからの情報に衝突する可能性がある。 RAMDocs(Retrieval with Ambiguity and Misinformation in Documents)は,ユーザクエリのエビデンスを矛盾させるような,複雑で現実的なシナリオをシミュレートする新しいデータセットである。
  論文  参考訳（メタデータ） (2025-04-17T16:46:11Z)
• SUGAR: Leveraging Contextual Confidence for Smarter Retrieval [28.552283701883766]
  セマンティック不確実性誘導適応検索(SUGAR)について紹介する。 我々は、文脈に基づくエントロピーを利用して、検索するかどうかを積極的に決定し、シングルステップとマルチステップの検索を更に決定する。 実験の結果,意味的不確実性推定によって導かれる選択探索により,多様な質問応答タスクのパフォーマンスが向上し,より効率的な推論が達成された。
  論文  参考訳（メタデータ） (2025-01-09T01:24:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。