論文の概要: Resisting Contextual Interference in RAG via Parametric-Knowledge Reinforcement
- arxiv url: http://arxiv.org/abs/2506.05154v2
- Date: Fri, 26 Sep 2025 07:11:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-29 14:23:57.429061
- Title: Resisting Contextual Interference in RAG via Parametric-Knowledge Reinforcement
- Title（参考訳）: パラメトリック知識強化によるRAGの文脈干渉の残留
- Authors: Chenyu Lin, Yilin Wen, Du Su, Hexiang Tan, Fei Sun, Muhan Chen, Chenfu Bao, Zhonghou Lyu,
- Abstract要約: Retrieval-augmented Generation (RAG)は、知識集約的なタスクのパフォーマンスを向上させるが、間違った、無関係、あるいは、検索されたテキストの矛盾によって脱線することができる。
本稿では,大規模言語モデルにパラメトリック知識を用いた強化学習フレームワークであるKnowledgeable-R1を提案する。
- 参考スコア（独自算出の注目度）: 9.66890519317288
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Retrieval-augmented generation (RAG) improves performance on knowledge-intensive tasks but can be derailed by wrong, irrelevant, or conflicting retrieved text, causing models to rely on inaccurate evidence and cascade errors. We propose Knowledgeable-R1, a reinforcement-learning framework that explicitly trains large language models to use parametric knowledge (PK) to resist contextual interference while still exploiting external context when it is reliably helpful. Knowledgeable-R1 introduces a joint sampling scheme that generates paired responses with and without retrieval, and learns both local advantages (within each decoding regime) and global advantages under the same input to quantify when to ignore misleading context versus adopt it. We employ an asymmetric advantage transformation that amplifies exploratory behaviors toward parametric knowledge. Experiments show that \method significantly improves robustness and reasoning accuracy in knowledge conflict scenarios and general RAG scenarios, outperforming SOTA baselines by 23% in counterfactual scenarios, and without degradation when the retrieved context is fully accurate.Our code are available at https://github.com/lcy80366872/knowledgeable-R1.
- Abstract（参考訳）: Retrieval-augmented Generation (RAG)は、知識集約的なタスクのパフォーマンスを向上させるが、間違った、無関係な、あるいは、検索されたテキストの矛盾によって脱線し、不正確なエビデンスやカスケードエラーにモデルに依存する。
本稿では,大規模言語モデルに対して,文脈干渉に対処するためにパラメトリック知識(PK)を明示的に訓練し,外部コンテキストを確実に活用する強化学習フレームワークであるKnowledgeable-R1を提案する。
Knowledgeable-R1は、検索と無検索のペア応答を生成する共同サンプリングスキームを導入し、ローカルな利点(各復号方式)とグローバルな利点の両方を同じ入力で学習し、誤解を招くコンテキストを無視するか、採用するかを定量化する。
我々は、パラメトリック知識に対する探索的振る舞いを増幅する非対称な有利変換を用いる。
実験の結果,知識衝突シナリオや一般RAGシナリオにおいて,‘method’はロバスト性や推論精度を著しく向上し,SOTAベースラインを23%上回り,検索したコンテキストが完全に正確である場合には劣化することなく,私たちのコードはhttps://github.com/lcy80366872/knowledgeable-R1で利用可能であることがわかった。
関連論文リスト
- DeepSieve: Information Sieving via LLM-as-a-Knowledge-Router [57.28685457991806]
DeepSieveはエージェントRAGフレームワークで、LLM-as-a-knowledge-routerを介して情報を収集する。
我々の設計はモジュール性、透明性、適応性を重視しており、エージェントシステム設計の最近の進歩を活用している。
論文 参考訳（メタデータ） (2025-07-29T17:55:23Z) - RAG in the Wild: On the (In)effectiveness of LLMs with Mixture-of-Knowledge Retrieval Augmentation [45.679455112940175]
Retrieval-augmented Generation (RAG)は、推論時に取得した外部知識を統合することにより、大規模言語モデル(LLM)を強化する。
我々は,知識の混合を伴う大規模データストアであるMassiveDSを用いてRAGシステムを評価し,限界点を特定した。
論文 参考訳（メタデータ） (2025-07-26T20:57:24Z) - Towards Agentic RAG with Deep Reasoning: A Survey of RAG-Reasoning Systems in LLMs [69.10441885629787]
Retrieval-Augmented Generation (RAG) は、外部知識を注入することによって、Large Language Models (LLM) の事実性を高める。
逆に、純粋に推論指向のアプローチは、しばしば幻覚的あるいは誤った事実を必要とする。
この調査は両鎖を統一的推論-検索の観点から合成する。
論文 参考訳（メタデータ） (2025-07-13T03:29:41Z) - CoRe-MMRAG: Cross-Source Knowledge Reconciliation for Multimodal RAG [53.950029990391066]
マルチモーダルRAG(CoRe-MMRAG)のためのクロスソース知識textbfReconciliation
本稿では,知識ソース間の不整合を効果的に解決する新しいエンドツーエンドフレームワークを提案する。
KB-VQAベンチマークの実験では、CoRe-MMRAGはベースライン法よりも大幅に改善されている。
論文 参考訳（メタデータ） (2025-06-03T07:32:40Z) - KARE-RAG: Knowledge-Aware Refinement and Enhancement for RAG [63.82127103851471]
Retrieval-Augmented Generation (RAG)は、大規模言語モデルがより広範な知識ソースにアクセスすることを可能にする。
ノイズの多いコンテンツを処理するために生成モデルの能力を向上させることは、ロバストなパフォーマンスに等しく重要であることを実証する。
本稿では,3つの重要なイノベーションを通じて知識利用を改善するKARE-RAGを提案する。
論文 参考訳（メタデータ） (2025-06-03T06:31:17Z) - Learning to Route Queries Across Knowledge Bases for Step-wise Retrieval-Augmented Reasoning [60.84901522792042]
Multimodal Retrieval-Augmented Generation (MRAG)は、マルチモーダル大言語モデル(MLLM)における幻覚の緩和を約束している。
進化する推論状態に基づいて知識をいつどこで取得するかを学習する新しいMRAGフレームワークであるR1を提案する。
R1-は多種多様なKBを適応的かつ効果的に利用でき、不要な検索を減らし、効率と精度を向上させる。
論文 参考訳（メタデータ） (2025-05-28T08:17:57Z) - Attributing Response to Context: A Jensen-Shannon Divergence Driven Mechanistic Study of Context Attribution in Retrieval-Augmented Generation [32.30660197797758]
我々は、コンテキストに対する属性応答(ARC-JSD)のための新しいJensen-Shannon Divergence駆動方式を提案する。
従来のサロゲート法に比べて精度が向上し,計算効率も向上した。
メカニスティック解析により、コンテキスト属性に責任を持つ特定の注意頭と多層パーセプトロン(MLP)層が明らかになった。
論文 参考訳（メタデータ） (2025-05-22T09:04:03Z) - Know3-RAG: A Knowledge-aware RAG Framework with Adaptive Retrieval, Generation, and Filtering [9.814926166669366]
我々は知識グラフ(KG)から構造化知識を活用する知識認識RAGフレームワークであるKnow3-RAGを提案し、検索、生成、フィルタリングを含むRAGプロセスの3つの中核段階を導出する。
複数のオープンドメインQAベンチマークの実験では、Know3-RAGは強いベースラインを一貫して上回り、幻覚を著しく減らし、回答の信頼性を向上している。
論文 参考訳（メタデータ） (2025-05-19T03:25:18Z) - Self-Routing RAG: Binding Selective Retrieval with Knowledge Verbalization [97.72503890388866]
本稿では,選択的検索と知識の言語化を結合する新しいフレームワークであるSelf-Routing RAG(SR-RAG)を提案する。
SR-RAGは、LLMが外部検索と独自のパラメトリック知識の言語化を動的に決定できるようにする。
近接探索による動的知識源推定を導入し,知識源決定の精度を向上させる。
論文 参考訳（メタデータ） (2025-04-01T17:59:30Z) - Astute RAG: Overcoming Imperfect Retrieval Augmentation and Knowledge Conflicts for Large Language Models [20.605487145370752]
不完全な検索強化は避けられ、一般的であり、有害であることがわかった。
本稿では,不完全検索拡張に耐性を持つ新しいRAG手法であるAstute RAGを提案する。
GeminiとClaudeによる実験は、従来の堅牢性強化RAGアプローチと比較して、Astute RAGの優れた性能を示している。
論文 参考訳（メタデータ） (2024-10-09T17:59:58Z) - Multi-Source Knowledge Pruning for Retrieval-Augmented Generation: A Benchmark and Empirical Study [46.55831783809377]
大規模言語モデル(LLM)の幻覚を緩和するための効果的なアプローチとして,検索拡張世代(RAG)がますます認識されている。
PruningRAGはマルチグラニュラリティ・プルーニング・ストラテジーを用いて,関連コンテキストをより効果的に統合し,誤った情報に対するネガティブな影響を軽減するためのプラグアンドプレイRAGフレームワークである。
論文 参考訳（メタデータ） (2024-09-03T03:31:37Z) - Think-on-Graph 2.0: Deep and Faithful Large Language Model Reasoning with Knowledge-guided Retrieval Augmented Generation [14.448198170932226]
Think-on-Graph 2.0 (ToG-2) は、構造化されていない知識ソースと構造化されていない知識ソースの両方から情報を反復的に取得するハイブリッドRAGフレームワークである。
ToG-2は、グラフ検索とコンテキスト検索の交互に、質問に関連する詳細な手がかりを検索する。
GPT-3.5で7つの知識集約データセットのうち6つで、全体的なSOTA(State-of-the-art)のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2024-07-15T15:20:40Z) - KAT: A Knowledge Augmented Transformer for Vision-and-Language [56.716531169609915]
我々は、OK-VQAのオープンドメインマルチモーダルタスクにおいて、最先端の強力な結果をもたらす新しいモデルである知識拡張トランスフォーマー(KAT)を提案する。
提案手法は,エンド・ツー・エンドのエンコーダ・デコーダアーキテクチャにおいて暗黙的かつ明示的な知識を統合しつつ,回答生成時に両知識源を共同で推論する。
我々の分析では、モデル予測の解釈可能性の向上に、明示的な知識統合のさらなる利点が見られる。
論文 参考訳（メタデータ） (2021-12-16T04:37:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。