論文の概要: KARE-RAG: Knowledge-Aware Refinement and Enhancement for RAG

• arxiv url: http://arxiv.org/abs/2506.02503v1
• Date: Tue, 03 Jun 2025 06:31:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:35.370565
• Title: KARE-RAG: Knowledge-Aware Refinement and Enhancement for RAG
• Title（参考訳）: KARE-RAG:RAGの知識認識と強化
• Authors: Yongjian Li, HaoCheng Chu, Yukun Yan, Zhenghao Liu, Shi Yu, Zheni Zeng, Ruobing Wang, Sen Song, Zhiyuan Liu, Maosong Sun,
• Abstract要約: Retrieval-Augmented Generation (RAG)は、大規模言語モデルがより広範な知識ソースにアクセスすることを可能にする。 ノイズの多いコンテンツを処理するために生成モデルの能力を向上させることは、ロバストなパフォーマンスに等しく重要であることを実証する。 本稿では,3つの重要なイノベーションを通じて知識利用を改善するKARE-RAGを提案する。
• 参考スコア（独自算出の注目度）: 63.82127103851471
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Retrieval-Augmented Generation (RAG) enables large language models (LLMs) to access broader knowledge sources, yet factual inconsistencies persist due to noise in retrieved documents-even with advanced retrieval methods. We demonstrate that enhancing generative models' capacity to process noisy content is equally critical for robust performance. In this paper, we present KARE-RAG (Knowledge-Aware Refinement and Enhancement for RAG), which improves knowledge utilization through three key innovations: (1) structured knowledge representations that facilitate error detection during training, (2) Dense Direct Preference Optimization (DDPO)-a refined training objective that prioritizes correction of critical errors, and (3) a contrastive data generation pipeline that maintains semantic consistency while rectifying factual inaccuracies. Experiments show our method significantly enhances standard RAG pipelines across model scales, improving both in-domain and out-of-domain task performance without compromising general capabilities. Notably, these gains are achieved with modest training data, suggesting data-efficient optimization is possible through targeted learning strategies. Our findings establish a new direction for RAG improvement: by improving how models learn to process retrieved content, we can enhance performance across diverse inference paradigms. All data and code will be publicly available on Github.
• Abstract（参考訳）: Retrieval-Augmented Generation (RAG) は、大規模言語モデル(LLM)がより広範な知識ソースにアクセスすることを可能にするが、検索された文書のノイズによる現実的な矛盾は、高度な検索手法でさえ持続する。 ノイズの多いコンテンツを処理するために生成モデルの能力を向上させることは、ロバストなパフォーマンスに等しく重要であることを実証する。 本稿では,(1)学習中のエラー検出を容易にする構造化知識表現,(2)重要エラーの修正を優先するDense Direct Preference Optimization(DDPO)と,(3)事実不正確性を是正しながら意味的一貫性を維持するコントラストデータ生成パイプラインであるKARE-RAG(Knowledge-Aware Refinement and Enhancement for RAG)を提案する。 実験により,本手法はモデルスケール全体にわたる標準RAGパイプラインを大幅に向上させ,汎用性を損なうことなく,ドメイン内およびドメイン外タスク性能を改善した。 特に、これらのゲインは、適度なトレーニングデータによって達成され、ターゲットとなる学習戦略を通じて、データ効率の最適化が可能であることを示唆している。 我々の研究は、モデルが検索したコンテンツの処理方法を改善することにより、様々な推論パラダイムにおけるパフォーマンスを向上させることができる、RAGの改善のための新たな方向性を確立した。 すべてのデータとコードはGithubで公開されている。

関連論文リスト

• Effective and Transparent RAG: Adaptive-Reward Reinforcement Learning for Decision Traceability [16.87554947089102]
  本稿では,強化学習(RL)を用いて学習した透過的なRAG生成フレームワークであるARENAを提案する。 構造化された生成と適応的な報酬計算に基づいて、我々のRLベースのトレーニングにより、重要な証拠を特定し、構造化された推論を行い、解釈可能な決定トレースで回答を生成することができる。
  論文  参考訳（メタデータ） (2025-05-19T15:40:29Z)
• Enhancing knowledge retention for continual learning with domain-specific adapters and features gating [4.637185817866919]
  継続的な学習は、以前に取得した知識を保持しながら、連続したデータのストリームから学習するモデルに力を与える。 本稿では,視覚変換器の自己保持機構にアダプタを組み込むことにより,異なるドメインからのデータセットを逐次追加する場合の知識保持を向上させる手法を提案する。
  論文  参考訳（メタデータ） (2025-04-11T15:20:08Z)
• Lightweight and Direct Document Relevance Optimization for Generative Information Retrieval [49.669503570350166]
  生成情報検索(GenIR)は、文書識別子(ドシデント)生成タスクとして文書検索を定式化する有望なニューラル検索パラダイムである。 既存のGenIRモデルはトークンレベルのミスアライメントに悩まされており、次のトークンを予測するためにトレーニングされたモデルは、ドキュメントレベルの関連性を効果的にキャプチャできないことが多い。 本稿では,トークンレベルのドシデント生成と文書レベルのドシデンス推定をペアのランク付けによる直接最適化により整合するダイレクトドキュメントレバレンス最適化(DDRO)を提案する。
  論文  参考訳（メタデータ） (2025-04-07T15:27:37Z)
• Review, Refine, Repeat: Understanding Iterative Decoding of AI Agents with Dynamic Evaluation and Selection [71.92083784393418]
  Best-of-N (BON) サンプリングのような推論時間法は、パフォーマンスを改善するための単純で効果的な代替手段を提供する。 本稿では,反復的改良と動的候補評価,検証器による選択を併用した反復的エージェント復号(IAD)を提案する。
  論文  参考訳（メタデータ） (2025-04-02T17:40:47Z)
• Retrieval-Augmented Generation for Large Language Models: A Survey [17.82361213043507]
  大きな言語モデル(LLM)には印象的な能力があるが、幻覚のような課題に直面している。 Retrieval-Augmented Generation (RAG) は,外部データベースからの知識を取り入れた,有望なソリューションとして登場した。
  論文  参考訳（メタデータ） (2023-12-18T07:47:33Z)
• Back to Basics: A Simple Recipe for Improving Out-of-Domain Retrieval in Dense Encoders [63.28408887247742]
  得られたモデルにおいて,より優れた一般化能力を得るために,トレーニング手順の改善が可能であるかを検討する。 我々は、高密度エンコーダをトレーニングするための簡単なレシピを推奨する: LoRAのようなパラメータ効率のよいMSMARCOのトレーニング。
  論文  参考訳（メタデータ） (2023-11-16T10:42:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。