論文の概要: Optimizing Retrieval for RAG via Reinforced Contrastive Learning

• arxiv url: http://arxiv.org/abs/2510.24652v1
• Date: Tue, 28 Oct 2025 17:18:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-29 15:35:37.301165
• Title: Optimizing Retrieval for RAG via Reinforced Contrastive Learning
• Title（参考訳）: 強化コントラスト学習によるRAG検索の最適化
• Authors: Jiawei Zhou, Lei Chen,
• Abstract要約: Retrieval-augmented Generation(RAG)は、人間のユーザのための情報の検索から、AIシステムのコンテキスト知識の検索へと移行している。 本稿では,RAGに最適化された検索用フレームワークであるR3を提案する。 R3はRAG性能を元のレトリバーより5.2%向上し、最先端レトリバーを4.9%上回っている。
• 参考スコア（独自算出の注目度）: 10.119882685486427
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As retrieval-augmented generation (RAG) becomes increasingly widespread, the role of information retrieval (IR) is shifting from retrieving information for human users to retrieving contextual knowledge for artificial intelligence (AI) systems, where relevance becomes difficult to define or annotate beforehand. To address this challenge, we propose R3, a Retrieval framework optimized for RAG through trialand-feedback Reinforced contrastive learning. Unlike prior approaches that rely on annotated or synthetic data for supervised fine-tuning, R3 enables the retriever to dynamically explore and optimize relevance within the RAG environment. During training, the retrieved results interact with the environment to produce contrastive signals that automatically guide the retriever's self-improvement. Extensive experiments across diverse tasks demonstrate that R3 improves RAG performance by 5.2% over the original retriever and surpasses state-of-the-art retrievers by 4.9%, while achieving comparable results to LLM-augmented retrieval and RAG systems built on post-trained or instruction-tuned LLMs. It is both efficient and practical, requiring only 4 GPUs and completing training within a single day.
• Abstract（参考訳）: 検索強化世代(RAG)が普及するにつれて、情報検索(IR)の役割は、人間の情報検索から人工知能(AI)システムにおける文脈知識の検索へとシフトしつつある。 この課題に対処するために、試行錯誤型強化学習を通じてRAGに最適化された検索用フレームワークR3を提案する。 教師付き微調整のための注釈付きデータや合成データに依存する従来のアプローチとは異なり、R3は検索者がRAG環境内の関連性を動的に探索し最適化することを可能にする。 学習中、検索した結果が環境と相互作用してコントラスト信号を生成し、検索者の自己改善を自動的に導く。 多様なタスクにわたる大規模な実験により、R3は元のレトリバーよりも5.2%向上し、最先端のレトリバーを4.9%上回った。 効率的かつ実用的であり、4つのGPUしか必要とせず、1日でトレーニングを完了する。

関連論文リスト

• LTRR: Learning To Rank Retrievers for LLMs [53.285436927963865]
  ルーティングベースのRAGシステムは、単一リトリバーベースのシステムよりも優れていることを示す。 パフォーマンス向上は、特にAnswer Correctness(AC)メトリックでトレーニングされたモデルで顕著である。 SIGIR 2025 LiveRAG チャレンジの一環として,提案システムを用いて提案手法の有効性を実証した。
  論文  参考訳（メタデータ） (2025-06-16T17:53:18Z)
• R3-RAG: Learning Step-by-Step Reasoning and Retrieval for LLMs via Reinforcement Learning [60.17074283370798]
  Retrieval-Augmented Generation (RAG)は、外部知識をLLM(Large Language Models)と統合し、事実の正しさと幻覚を高める。 我々は、 $textbfR$einforcement Learning を用いて LLM に $textbfR$eason と $textbfR$etrieve を段階的に学習させる $textbfR3-RAG$ を提案する。
  論文  参考訳（メタデータ） (2025-05-26T12:25:37Z)
• s3: You Don't Need That Much Data to Train a Search Agent via RL [41.21029905607559]
  Retrieval-augmented Generation (RAG)システムでは、大規模言語モデル(LLM)が推論中に外部知識にアクセスできるようになる。 本稿では,検索者をジェネレータから切り離し,Gain Beyond RAG報酬を用いて検索者を訓練する,軽量でモデルに依存しないフレームワークであるs3を提案する。
  論文  参考訳（メタデータ） (2025-05-20T09:53:56Z)
• Process vs. Outcome Reward: Which is Better for Agentic RAG Reinforcement Learning [45.10424242207931]
  Retrieval-augmented Generation (RAG)は大規模言語モデル(LLM)のテキスト生成能力を向上する RAG-ProGuideは,クエリ生成,エビデンス抽出,回答生成のためのプロセスレベルの報酬を提供する高品質なデータセットである。 プロセスレベルのポリシー最適化により、提案フレームワークはLLMに対して、検索を自律的に実行し、クエリを生成し、関連する証拠を抽出し、最終的な回答を生成する権限を与える。
  論文  参考訳（メタデータ） (2025-05-20T08:21:00Z)
• DACL-RAG: Data Augmentation Strategy with Curriculum Learning for Retrieval-Augmented Generation [54.26665681604041]
  DACL-RAGは多段階データ拡張戦略と多段階学習パラダイムを組み合わせた多段階RAGトレーニングフレームワークである。 我々のフレームワークは、4つのオープンドメインQAデータセットで一貫した有効性を示し、複数の高度なメソッドに対して2%から4%のパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2025-05-15T16:53:04Z)
• Direct Retrieval-augmented Optimization: Synergizing Knowledge Selection and Language Models [83.8639566087953]
  本稿では,2つの主要コンポーネントのエンドツーエンドトレーニングを可能にするDROという,直接検索拡張最適化フレームワークを提案する。 DROは、 (i) 文書置換推定と (ii) 再重み付けされ、段階的に改善されたRAGコンポーネントの2つのフェーズの間で交代する。 理論解析により,DROは強化学習における政策段階的な手法に類似していることが明らかとなった。
  論文  参考訳（メタデータ） (2025-05-05T23:54:53Z)
• Self-Routing RAG: Binding Selective Retrieval with Knowledge Verbalization [95.85537087475882]
  既存のアプローチは、大規模言語モデル(LLM)の固有の知識を過小評価している。 本稿では,選択検索と知識の言語化を結びつける新しいフレームワークであるSelf-Routing RAGを提案する。 SR-RAGは検索回数を29%削減し、性能は5.1%向上した。
  論文  参考訳（メタデータ） (2025-04-01T17:59:30Z)
• OpenRAG: Optimizing RAG End-to-End via In-Context Retrieval Learning [13.181087031343619]
  本稿では,レトリバーを調整してコンテキスト内の関連性を捉えることで,エンドツーエンドに最適化されたRAGフレームワークであるOpenRAGを紹介する。 幅広いタスクにわたる実験により、OpenRAGは、レトリバーをエンドツーエンドにチューニングすることで、元のレトリバーよりも4.0%の一貫した改善をもたらすことを示した。
  論文  参考訳（メタデータ） (2025-03-11T13:04:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。