Fugu-MT 論文翻訳(概要): BRIDGE: Bilevel Retrieval-Credit-Aware Agentic Reinforcement Learning

論文の概要: BRIDGE: Bilevel Retrieval-Credit-Aware Agentic Reinforcement Learning

arxiv url: http://arxiv.org/abs/2609.36505v1
Date: Tue, 29 Sep 2026 01:59:03 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-30 21:28:47.110691
Title: BRIDGE: Bilevel Retrieval-Credit-Aware Agentic Reinforcement Learning
Title（参考訳）: BRIDGE: 双方向検索-Credit-Aware Agentic Reinforcement Learning
Abstract要約: 検証可能な報酬を持つエージェント強化学習(ARL)は、知識集約的なタスクに対処する大規模言語モデル(LLM)の能力を向上させる。本稿では,RLのロスランドスケープ解析と検索目的を動機とした,メモリ効率のよい一階二階法BRIDGEを紹介する。 3Bと7Bのバックボーンで最高の平均精度を達成し、最強のベースライン上でのマルチホップ平均をそれぞれ9.6と3.4のEMポイントで改善した。
参考スコア（独自算出の注目度）: 59.49887982510668
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Agentic reinforcement learning (ARL) with verifiable rewards improves the ability of large language models (LLMs) to tackle knowledge-intensive tasks by learning to interleave search and reasoning. However, most existing ARL methods optimize only LLM-generated tokens and treat retrieved evidence as environment observations. This creates an information-credit gap: failures caused by missing or misleading evidence are attributed to the LLM policy rather than to the retriever, which motivates training the LLM and the retriever jointly. In this paper, we show that retrieval and LLM policy learning are order-sensitive: adapting the retriever before optimizing the policy yields a larger reward gain than the reverse order. To preserve this hierarchy while allowing both components to co-adapt, we formulate retrieval-augmented agentic RL as a bilevel optimization problem. To solve it efficiently, we introduce BRIDGE, a memory-efficient first-order bilevel method motivated by a loss-landscape analysis of the RL and retrieval objectives. Across seven open-domain QA benchmarks, BRIDGE achieves the highest average accuracy with both 3B and 7B backbones, improving the multi-hop average over the strongest baseline by 9.6 and 3.4 EM points, respectively. It also achieves the best averaged answer accuracy and reasoning quality across medical QA benchmarks.
Abstract（参考訳）: エージェント強化学習(ARL)の検証により,大規模言語モデル(LLM)が探索と推論を学習することで,知識集約的な課題に対処する能力が向上する。しかし、既存のほとんどのARL法はLLM生成トークンのみを最適化し、得られた証拠を環境観測として扱う。行方不明または誤解を招く証拠によって引き起こされた失敗は、レトリバーよりもLLMポリシーによるもので、レトリバーとレトリバーを共同で訓練する動機となっている。本稿では、検索とLCMポリシー学習が順序に敏感であることを示し、ポリシーを最適化する前に検索を適応させることにより、逆順よりも大きな報酬ゲインが得られることを示す。この階層を両コンポーネントが共適応可能であるように保ちながら保存するために、検索強化エージェントRLを二段階最適化問題として定式化する。本稿では,RLのロスランドスケープ解析と検索目的を動機とした,メモリ効率のよい一階二階法BRIDGEを紹介する。 7つのオープンドメインQAベンチマークで、BRIDGEは3Bと7Bの両方のバックボーンで最高平均精度を達成し、最強のベースラインでのマルチホップ平均を9.6と3.4のEMポイントで改善した。また、医療用QAベンチマークで最高の平均回答精度と推論品質を達成する。

関連論文リスト

CoSearch: Joint Training of Reasoning and Document Ranking via Reinforcement Learning for Agentic Search [51.911048955965136]
CoSearchは多段階推論エージェントと生成ドキュメントランキングモデルを共同でトレーニングするフレームワークである。この結果から, 推論エージェントと検索システムの協調訓練は, 実現可能であり, 性能も高いことが示唆された。
論文参考訳（メタデータ） (2026-04-19T17:48:17Z)
Training Dense Retrievers with Multiple Positive Passages [36.92346009805258]
本稿では,検索学習における多値最適化の目的を体系的に検討する。また,JointLH(JointLH),SumMargLH(Summed Marginal Likelihood),LSEPairwise(Log-Sum-Exp Pairwise)を含む代表的目標を統一した。この結果から,LSEPairは,設定毎に優れた堅牢性と性能が得られることがわかった。
論文参考訳（メタデータ） (2026-02-13T08:56:52Z)
Rethinking On-policy Optimization for Query Augmentation [49.87723664806526]
本稿では,様々なベンチマークにおいて,プロンプトベースとRLベースのクエリ拡張の最初の体系的比較を示す。そこで我々は,検索性能を最大化する擬似文書の生成を学習する,新しいハイブリッド手法 On-policy Pseudo-document Query Expansion (OPQE) を提案する。
論文参考訳（メタデータ） (2025-10-20T04:16:28Z)
Harnessing the Power of Reinforcement Learning for Language-Model-Based Information Retriever via Query-Document Co-Augmentation [35.70731674603417]
LLM(Large Language Models)は、ユーザクエリとコーパスドキュメントの拡張に使用することができる。ユーザクエリとコーパスドキュメントの両方を拡張できるLLMベースのレトリバーを提案する。提案手法は,疎密な設定と密な設定の両方において,LLMに基づく検索性能を大幅に向上させる。
論文参考訳（メタデータ） (2025-06-23T14:14:43Z)
StepSearch: Igniting LLMs Search Ability via Step-Wise Proximal Policy Optimization [14.931231544839687]
StepSearchは、ステップワイドなポリシー最適化手法でトレーニングされたLLMを検索するためのフレームワークである。情報ゲインと冗長性に基づく、より豊かでより詳細な中間探索報酬とトークンレベルのプロセス監視で構成されている。標準的なマルチホップQAベンチマークでは、グローバルリワードベースラインをはるかに上回り、3Bモデルと7Bモデルの11.2%と4.2%の絶対的な改善を達成した。
論文参考訳（メタデータ） (2025-05-21T05:01:31Z)
ExpandR: Teaching Dense Retrievers Beyond Queries with LLM Guidance [21.777817032607405]
大規模言語モデル(LLM)は、クエリ拡張による高密度検索の強化に有意な可能性を証明している。本研究では,LLM拡張高密度検索フレームワークExpandRを提案する。複数のベンチマーク実験の結果、ExpandRは強いベースラインを一貫して上回ることがわかった。
論文参考訳（メタデータ） (2025-02-24T11:15:41Z)
Fine-Grained Guidance for Retrievers: Leveraging LLMs' Feedback in Retrieval-Augmented Generation [20.420575358183687]
Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)に固有の幻覚を緩和する有効な方法であることが証明されている。従来のアプローチでは、通常、RAGの最適化に欠けるセマンティックな類似性に基づいて、レトリバーをトレーニングする。我々は,LLMの言語機能を活用して,より粒度の細かい情報中心の視点からサンプルを構築する新しいフレームワークFiGRetを提案する。
論文参考訳（メタデータ） (2024-11-06T14:42:39Z)
VinePPO: Refining Credit Assignment in RL Training of LLMs [66.80143024475635]
我々は,言語環境の柔軟性を利用してモンテカルロをベースとした推定値を計算する,簡単なアプローチであるVinePPOを提案する。本手法は,MATHおよびGSM8Kデータセット間のPPOおよび他のベースラインをウォールクロック時間以下で連続的に上回る。
論文参考訳（メタデータ） (2024-10-02T15:49:30Z)
FIRST: Faster Improved Listwise Reranking with Single Token Decoding [56.727761901751194]
まず、第1生成識別子の出力ロジットを活用して、候補のランク付け順序を直接取得する新しいリストワイズLLMリグレードアプローチであるFIRSTを紹介する。実験結果から、BEIRベンチマークの利得により、FIRSTはロバストなランキング性能を維持しつつ、推論を50%高速化することが示された。以上の結果から,LLMリランカーはクロスエンコーダに比べて強い蒸留信号を提供できることが示唆された。
論文参考訳（メタデータ） (2024-06-21T21:27:50Z)
How Can LLM Guide RL? A Value-Based Approach [68.55316627400683]
強化学習(Reinforcement Learning, RL)は、将来の行動方針をフィードバックで改善することにより、シーケンシャルな意思決定問題の事実上の標準的実践となった。大規模言語モデル(LLM)の最近の発展は、言語理解と生成において印象的な能力を示したが、探索と自己改善能力に欠けていた。我々はLINVITというアルゴリズムを開発し、LLMガイダンスを値ベースRLの正規化因子として組み込んで学習に必要なデータ量を大幅に削減する。
論文参考訳（メタデータ） (2024-02-25T20:07:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。