Fugu-MT 論文翻訳(概要): RL-Index: Reinforcement Learning for Retrieval Index Reasoning

論文の概要: RL-Index: Reinforcement Learning for Retrieval Index Reasoning

arxiv url: http://arxiv.org/abs/2606.16316v1
Date: Mon, 15 Jun 2026 07:22:36 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-16 18:36:05.034501
Title: RL-Index: Reinforcement Learning for Retrieval Index Reasoning
Title（参考訳）: RL-Index:検索インデックス推論のための強化学習
Authors: Yongjia Lei, Nedim Lipka, Zhisheng Qi, Utkarsh Sahu, Koustava Goswami, Franck Dernoncourt, Ryan A. Rossi, Yu Wang,
Abstract要約: 強化学習問題として検索インデックス推論を定式化するエージェントインデックスフレームワークであるRL-Indexを提案する。 RL-Indexは、潜在クエリ-知識関係を明示的にエンコードする有理性を持つ文書を増補することで、推論をインデックス化段階にシフトする。 BRIGHTベンチマークの実験では、RL-Indexは検索とダウンストリームの問合せ性能を一貫して改善している。
参考スコア（独自算出の注目度）: 73.82948316789812
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Retrieving external knowledge is essential for solving real-world tasks, yet it remains challenging when the relationship between a query and its relevant knowledge involves implicit and complex reasoning beyond surface-level semantic or lexical matching (e.g., mathematical problems relying on the same theorem or coding requiring deep reasoning). Existing approaches primarily rely on query-side reasoning (e.g., query rewriting), which introduces significant online latency and underutilizes the opportunity to perform reasoning over the knowledge corpus itself (i.e., index-side reasoning). In this paper, we propose RL-Index, an agentic indexing framework that formulates retrieval index reasoning as a reinforcement learning problem. Instead of performing reasoning at query time, RL-Index shifts reasoning to the indexing stage by augmenting documents with LLM-generated rationales that explicitly encode the latent query-knowledge relationship. To optimize the quality of these rationales, we employ Group Relative Policy Optimization (GRPO) and use retrieval similarity as a verifiable reward signal, enabling direct optimization of indexing decisions for retrieval effectiveness. Extensive experiments on the BRIGHT benchmark demonstrate that RL-Index consistently improves both retrieval and downstream question-answering performance, while significantly reducing online inference latency. Moreover, the learned rationale augmentation generalizes across diverse retrievers and generators, highlighting its robustness as a plug-and-play indexing strategy across different retrieval systems.
Abstract（参考訳）: しかし、クエリと関連する知識の関係が、表面的な意味論や語彙的マッチング(例えば、同じ定理に依存する数学的問題や深い推論を必要とするコーディングなど)を超えた暗黙的かつ複雑な推論を伴う場合、依然として困難である。既存のアプローチは、主にクエリサイドの推論(例えば、クエリ書き換え)に依存しており、これは大きなオンライン遅延をもたらし、知識コーパス自体(つまり、インデックスサイドの推論)を推論する機会を未利用にしている。本稿では,強化学習問題として検索インデックス推論を定式化するエージェントインデックスフレームワークであるRL-Indexを提案する。クエリ時に推論を実行する代わりに、RL-Indexは、潜在クエリ-知識関係を明示的にエンコードする LLM 生成の有理数で文書を増補することで、インデックス化ステージに推論をシフトする。これらの論理式の品質を最適化するために、グループ相対ポリシー最適化(GRPO)を採用し、検索類似性を検証可能な報酬信号として使用し、検索効率の指標決定の直接最適化を可能にする。 BRIGHTベンチマークの大規模な実験により、RL-Indexは検索とダウンストリームの問合せ性能を一貫して改善し、オンラインの推論遅延を大幅に低減することを示した。さらに,学習の合理化は,様々な検索システムにまたがるプラグイン・アンド・プレイのインデックス化戦略として頑健さを強調し,多様な検索システムやジェネレータにまたがって一般化する。

関連論文リスト

Multi-hop Reasoning via Early Knowledge Alignment [68.28168992785896]
アーリー・ナレッジ・アライメント(EKA)は、大規模言語モデルと文脈的に関連づけられた知識を整合させることを目的としている。 EKAは検索精度を大幅に改善し、カスケードエラーを低減し、性能と効率を向上する。 EKAは、大規模モデルにシームレスにスケールする、多目的でトレーニング不要な推論戦略として有効である。
論文参考訳（メタデータ） (2025-12-23T08:14:44Z)
Rethinking On-policy Optimization for Query Augmentation [49.87723664806526]
本稿では,様々なベンチマークにおいて,プロンプトベースとRLベースのクエリ拡張の最初の体系的比較を示す。そこで我々は,検索性能を最大化する擬似文書の生成を学習する,新しいハイブリッド手法 On-policy Pseudo-document Query Expansion (OPQE) を提案する。
論文参考訳（メタデータ） (2025-10-20T04:16:28Z)
Improving Context Fidelity via Native Retrieval-Augmented Reasoning [35.50952279309109]
大規模言語モデル(LLM)は、しばしば文脈の忠実さと闘い、提供された情報に基づいて質問に答えるときに矛盾する答えを生み出す。提案するCAREは, LLMに対して, モデル独自の検索機能を用いて, 推論プロセス内での文脈内証拠を明示的に統合するように教える, 新たなネイティブ検索拡張推論フレームワークである。提案手法では,限定ラベル付きエビデンスデータが必要であり,推論チェーン内の戦略的に検索されたインコンテキストトークンを通じて,検索精度と回答生成性能を著しく向上させる。
論文参考訳（メタデータ） (2025-09-17T04:28:07Z)
DAMR: Efficient and Adaptive Context-Aware Knowledge Graph Question Answering with LLM-Guided MCTS [28.828541350757714]
本稿では,知識グラフ質問応答(KGQA)のための動的適応MCTSベースの推論(DAMR)を提案する。 DAMRは、MCTS(Monte Carlo Tree Search)と適応経路評価を統合し、コンテキスト対応のKGQAを実現する。複数のKGQAベンチマークの実験では、DAMRはSOTA法よりも大幅に優れていた。
論文参考訳（メタデータ） (2025-08-01T15:38:21Z)
ClueAnchor: Clue-Anchored Knowledge Reasoning Exploration and Optimization for Retrieval-Augmented Generation [82.54090885503287]
Retrieval-Augmented Generationは、外部知識を持つ大規模言語モデルを拡張して、事実性を改善する。既存のRAGシステムは、忠実で解釈可能な推論をサポートするために必要な重要な手がかりを抽出して統合することができない。本稿では,手掛かり付き推論探索と最適化によるRAG向上のための新しいフレームワークであるClueAnchorを提案する。
論文参考訳（メタデータ） (2025-05-30T09:18:08Z)
Improve Rule Retrieval and Reasoning with Self-Induction and Relevance ReEstimate [11.890202757543307]
本稿では,ルール検索の課題を体系的に解決する。スパースや密集したレトリバーを用いて関連するルールを直接検索するバニラ検索法は、しばしば低い精度に悩まされる。本稿では,Large Language Models (LLMs) を用いて潜在的な推論規則を導出する新しい手法であるSelf-Induction Augmented Retrieval (SIAR)を提案する。
論文参考訳（メタデータ） (2025-05-16T05:22:42Z)
Self-Routing RAG: Binding Selective Retrieval with Knowledge Verbalization [95.85537087475882]
既存のアプローチは、大規模言語モデル(LLM)の固有の知識を過小評価している。本稿では,選択検索と知識の言語化を結びつける新しいフレームワークであるSelf-Routing RAGを提案する。 SR-RAGは検索回数を29%削減し、性能は5.1%向上した。
論文参考訳（メタデータ） (2025-04-01T17:59:30Z)
Agentic Reasoning: A Streamlined Framework for Enhancing LLM Reasoning with Agentic Tools [19.70178343422698]
本稿では,外部ツール利用エージェントを統合することで,大規模言語モデル(LLM)推論を強化するフレームワークであるAgentic Reasoningを紹介する。私たちのフレームワークにおける重要な革新はMind-Mapエージェントです。 DeepSeek-R1にデプロイすると、パブリックモデル間で新しいSOTA(State-of-the-art)を実現する。
論文参考訳（メタデータ） (2025-02-07T04:08:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。