論文の概要: Learning to Retrieve via Reinforcement Learning in Embedding Space

• arxiv url: http://arxiv.org/abs/2610.07731v1
• Date: Tue, 06 Oct 2026 04:29:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.800252
• Title: Learning to Retrieve via Reinforcement Learning in Embedding Space
• Title（参考訳）: 埋め込み空間における強化学習を通しての学習
• Abstract要約: RELERは、埋め込みモデルが埋め込み空間で直接検索することを学ぶことができる強化学習フレームワークである。 我々は、正規化エンコーダ出力を中心としたvon Mises-Fisher (vMF) から、単位長クエリと文書埋め込みアクションをサンプリングしてRELERを訓練する。 条件平均射影 (CMP) は、それぞれのサンプルをエンコーダ出力で区切られた低次元部分空間に埋め込む。
• 参考スコア（独自算出の注目度）: 18.486089919835592
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Dense retrieval models are typically trained with contrastive objectives that learn effective representations but do not directly optimize retrieval metrics or downstream task performance. To address this problem, we introduce RELER (REinforcement LEarning for Retrieval), a reinforcement learning framework that enables existing embedding models to learn to retrieve directly in embedding space and align to task-specific rewards. We train RELER by sampling unit-length query and document embedding actions from von Mises-Fisher (vMF) distributions centered on normalized encoder outputs, scoring the resulting retrieval or downstream outcomes as rewards, and updating the encoder with REINFORCE using a leave-one-out baseline (RLOO). As exploration in the high-dimensional embedding space is prone to sampling noise, we further propose conditional-mean projection (CMP), which projects each sampled embedding onto the low-dimensional subspace spanned by its encoder output and the candidate embeddings it is compared against, reducing noise in the policy gradient while preserving its expectation. We evaluate RELER on BRIGHT, a benchmark with reasoning-intensive queries that remain challenging for existing embedding models. RELER consistently outperforms InfoNCE and LambdaLoss in average nDCG@10 when post-training BGE-M3 and Qwen3-Embedding backbones. We further evaluate downstream utility through retrieval-augmented generation (RAG), where we adapt only the query encoder while keeping the document index and generator fixed. Across seven QA datasets, jointly optimizing retrieval and answer rewards improves both average retrieval performance and answer quality in RAG.
• Abstract（参考訳）: センス検索モデルは通常、効果的な表現を学習するが、検索メトリクスや下流タスクのパフォーマンスを直接最適化しない、対照的な目的で訓練される。 RELER(Reinforcement LEarning for Retrieval, Reinforcement LEarning for Retrieval)は,既存の埋め込みモデルで直接埋め込み空間を検索し,タスク固有の報酬に合わせることができる強化学習フレームワークである。 我々は、正規化エンコーダ出力を中心としたvon Mises-Fisher(vMF)分布から、単位長クエリと文書埋め込みアクションをサンプリングし、結果の検索結果または下流結果を報奨として評価し、Left-one-out baseline(RLOO)を用いてREINFORCEでエンコーダを更新することで、RELERを訓練する。 さらに, 高次元埋め込み空間における探索は, ノイズをサンプリングする傾向があるため, さらに, サンプル埋め込みをエンコーダ出力とそれに対する候補埋め込みに分散した低次元サブ空間に投影し, 予測を保ちつつ, 政策勾配の雑音を低減させる条件付き平均射影(CMP)を提案する。 既存の埋め込みモデルでは依然として困難である推論集約型クエリのベンチマークであるBRIGHT上でRELERを評価する。 RELERは、BGE-M3とQwen3-Embeddingバックボーンのトレーニング後、平均的なnDCG@10でInfoNCEとLambdaLossを上回っている。 文書インデックスとジェネレータを固定したまま,クエリエンコーダのみを適応させる検索拡張生成(RAG)により,下流ユーティリティをさらに評価する。 検索と回答の報酬を共同で最適化する7つのQAデータセットは、RAGにおける平均検索性能と回答品質の両方を改善する。

関連論文リスト

• Gradient-free Task-Conditioned Retrieval for On-Device In-Context Learning [35.54770997926101]
  Conditional Retrieval Alignment (CoRA)は、凍結エンコーダをタスク条件付きレトリバーに変換する、勾配のないフレームワークである。 出力条件付き適応表現の最適低ランク圧縮は,CoRAのランク制約基底であることを示す。 我々は,視覚表現を条件付けと検索空間に組み込むことで,マルチモーダル検索に拡張する。
  論文  参考訳（メタデータ） (2026-07-30T07:03:18Z)
• Task-Adaptive Embedding Refinement via Test-time LLM Guidance [3.6468227618496627]
  組込みモデルのユーザビリティをゼロショット検索と分類タスクに拡張するためのLLM誘導クエリ改善パラダイムの有効性について検討する。 提案手法では, ユーザクエリの埋め込み表現を, 少数の文書に対して生成LLMからのフィードバックを用いて洗練する。 我々は,最先端のテキスト埋め込みモデルを用いて,多様な検索と分類のベンチマークを行う。
  論文  参考訳（メタデータ） (2026-05-12T17:58:27Z)
• Optimizing RAG Rerankers with LLM Feedback via Reinforcement Learning [47.963236269307735]
  リランカはRetrieval-Augmented Generationの検索結果の精錬において重要な役割を果たす。 現在のリグレードモデルは通常、ダウンストリーム生成プロセスから切り離された静的な人間アノテートされた関連ラベルに独立して最適化される。 本稿では,LLMの生成品質と直接整合する強化学習フレームワークであるReRanking Preference Optimization(RRPO)を紹介する。
  論文  参考訳（メタデータ） (2026-04-02T14:19:47Z)
• Maximally-Informative Retrieval for State Space Model Generation [59.954191072042526]
  テスト時に特定のクエリに対するモデル不確実性を最小化するために、Retrieval In-Context Optimization (RICO)を導入する。 文書検索に外部に依存した従来の検索強化生成(RAG)とは異なり,本手法はモデルから直接のフィードバックを利用する。 モデル勾配を用いた標準のトップ$kの検索は、最適化手順を近似し、残余損失への接続を提供することを示す。
  論文  参考訳（メタデータ） (2025-06-13T18:08:54Z)
• Chain-of-Retrieval Augmented Generation [91.02950964802454]
  本稿では,o1-like RAGモデルを学習し,最終回答を生成する前に段階的に関連情報を抽出・推論する手法を提案する。 提案手法であるCoRAGは,進化状態に基づいて動的にクエリを再構成する。
  論文  参考訳（メタデータ） (2025-01-24T09:12:52Z)
• FIRST: Faster Improved Listwise Reranking with Single Token Decoding [56.727761901751194]
  まず、第1生成識別子の出力ロジットを活用して、候補のランク付け順序を直接取得する新しいリストワイズLLMリグレードアプローチであるFIRSTを紹介する。 実験結果から、BEIRベンチマークの利得により、FIRSTはロバストなランキング性能を維持しつつ、推論を50%高速化することが示された。 以上の結果から,LLMリランカーはクロスエンコーダに比べて強い蒸留信号を提供できることが示唆された。
  論文  参考訳（メタデータ） (2024-06-21T21:27:50Z)
• Blended RAG: Improving RAG (Retriever-Augmented Generation) Accuracy with Semantic Search and Hybrid Query-Based Retrievers [0.0]
  Retrieval-Augmented Generation (RAG) は、大規模言語モデル (LLM) で文書のプライベートな知識基盤を注入し、生成的Q&A (Question-Answering) システムを構築するための一般的なアプローチである。 本稿では,Vector インデックスや Sparse インデックスなどのセマンティック検索手法をハイブリッドクエリ手法と組み合わせた 'Blended RAG' 手法を提案する。 本研究は,NQ や TREC-COVID などの IR (Information Retrieval) データセットの検索結果の改善と,新たなベンチマーク設定を行う。
  論文  参考訳（メタデータ） (2024-03-22T17:13:46Z)
• Repoformer: Selective Retrieval for Repository-Level Code Completion [30.706277772743615]
  検索強化生成(RAG)の最近の進歩は、リポジトリレベルのコード補完の新たな時代が始まった。 本稿では,不要な場合の検索を回避するため,選択的なRAGフレームワークを提案する。 我々のフレームワークは、異なる世代モデル、レトリバー、プログラミング言語に対応できることを示します。
  論文  参考訳（メタデータ） (2024-03-15T06:59:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。