論文の概要: Recursive Value Learning for Long-Horizon Offline Goal-Conditioned RL

• arxiv url: http://arxiv.org/abs/2609.02237v1
• Date: Wed, 02 Sep 2026 07:45:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-03 17:53:18.139768
• Title: Recursive Value Learning for Long-Horizon Offline Goal-Conditioned RL
• Title（参考訳）: 長距離オフラインゴールコンディション付きRLにおける再帰値学習
• Abstract要約: Divide-and-Conquer RLは,各トラジェクトリセグメントを平衡二分木に分解し,葉から根への値のトレーニングを行う。 DCRLは多様な目標達成タスクにまたがって、以前のフラットオフラインGCRLメソッドよりも大幅に優れていた。
• 参考スコア（独自算出の注目度）: 8.461665774019183
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Scaling offline goal-conditioned reinforcement learning (GCRL) to long-horizon tasks is difficult because (1) long-range value learning depends on shorter-range estimates that may still be inaccurate, and (2) max-based value backups can amplify overestimation through repeated propagation. We propose DCRL (Divide-and-Conquer RL), which recursively decomposes each trajectory segment into a balanced binary tree and trains the values from leaves to root. Each parent is therefore updated only after its children, using an exact factorization of the observed route rather than selecting among noisy alternatives. Since this objective learns values along demonstrated routes that are not necessarily optimal, DCRL jointly propagates values across trajectories to discover shorter routes. Thanks to the balanced binary tree, DCRL reduces worst-case bootstrap depth from linear to logarithmic, and this shorter dependency structure empirically corresponds to much slower error accumulation. Across diverse goal-reaching tasks, DCRL substantially outperforms prior flat offline GCRL methods, and on the five most challenging long-horizon OGBench tasks, it improves the best prior average score from 55 to 64, surpassing all flat and hierarchical baselines.
• Abstract（参考訳）: オフライン目標条件強化学習(GCRL)を長距離タスクにスケールすることは,(1)長距離値学習が不正確である可能性のある短距離推定に依存し,(2)最大値バックアップは繰り返し伝搬による過大評価を増幅できるため,困難である。 DCRL(Divide-and-Conquer RL)を提案し,各トラジェクトリセグメントをバランスの取れた二分木に再帰的に分解し,葉から根への値のトレーニングを行う。 そのため、それぞれの親は子供の後にのみ更新され、ノイズの多い選択肢の中から選択するのではなく、観察されたルートの正確な因子化を用いて更新される。 この目的は必ずしも最適ではない経路に沿って値を学ぶため、DCRLは短い経路を発見するために軌跡をまたいで値を共同で伝播する。 バランスの取れたバイナリツリーのおかげで、DCRLは最悪のブートストラップ深さを線形から対数に減らし、この短い依存関係構造は、経験的にはるかに遅いエラー蓄積に対応する。 多様な目標達成タスク全体にわたって、DCRLは以前のフラットオフラインGCRLメソッドを大幅に上回り、最も挑戦的な5つのロングホライゾンOGBenchタスクでは、最高の先行平均スコアを55から64に改善し、フラットで階層的なベースラインをすべて上回っている。

関連論文リスト

• REVES: REvision and VErification--Augmented Training for Test-Time Scaling [53.197756110943395]
  本稿では,オンラインデータ/プロンプト拡張とポリシー最適化を交互に行う2段階反復フレームワークを提案する。 我々は、RLベースライン上の+6.5点と、標準マルチターントレーニングにおける+4.0点の利得を観察する。
  論文  参考訳（メタデータ） (2026-06-17T10:37:23Z)
• SortedRL: Accelerating RL Training for LLMs through Online Length-Aware Scheduling [54.276306194000405]
  SortedRLを提案する。SortedRLは、強化学習をスケールするためのオンライン長対応スケジューリング戦略である。 SortedRLは、出力長に基づいてロールアウトサンプルをリオーダーし、短いサンプルが早期更新のためにグループを形成することを優先順位付けする。 LLaMA-3.1-8BとQwen-2.5-32Bを論理パズルを含む様々なタスクで実験した結果、SortedRLはRLトレーニングバブル比を50%以上削減することが示された。
  論文  参考訳（メタデータ） (2026-03-24T16:48:31Z)
• STO-RL: Offline RL under Sparse Rewards via LLM-Guided Subgoal Temporal Order [16.49862942485022]
  STO-RL (Offline RL using LLM-Guided Subgoal Order) を提案する。 STO-RLは、最先端のオフライン目標条件と階層的RLベースラインを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2026-01-13T00:57:45Z)
• Transitive RL: Value Learning via Divide and Conquer [54.190627631246166]
  Transive Reinforcement Learning (TRL) は、分割・分散パラダイムに基づく新しい価値学習アルゴリズムである。 モンテカルロ法とは異なり、TRLは動的プログラミングを実行するため、高分散に苦しむ。
  論文  参考訳（メタデータ） (2025-10-26T03:32:31Z)
• Hierarchical Semantic RL: Tackling the Problem of Dynamic Action Space for RL-based Recommendations [25.01398098265527]
  階層型セマンティックRL(HSRL)を導入し、固定されたセマンティックアクション空間(SAS)に対するRLに基づくレコメンデーションを再構成する。 HSRLは、ポリシー学習のためのセマンティックID(SID)としてアイテムをエンコードし、実行中に固定された可逆的なルックアップを通じてSIDを元のアイテムにマップする。 HSRLは18.421%のCVRリフトを1.251%のコストで提供し、RLベースの推奨のためのスケーラブルなパラダイムとしてHSRLをサポートする。
  論文  参考訳（メタデータ） (2025-10-10T09:09:10Z)
• Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic Shuffle [65.14124923451077]
  強化学習(Reinforcement Learning, RL)は、マルチモーダル大言語モデル(MLLM)の推論能力を高めるための効果的なポストトレーニングパラダイムとして登場した。 しかしながら、現在のRLパイプラインは、アドバンテージ・コラプシング(Advantage Collapsing)とロールアウト・サイレンシング(Rollout Silencing)という2つの未解決の問題によって、トレーニングの非効率に悩まされることが多い。 軌道サンプリングとバッチ合成を動的に再構成することにより、RLの微調整効率を向上する、シンプルだが原則化されたフレームワークであるShuffle-R1を提案する。
  論文  参考訳（メタデータ） (2025-08-07T17:53:47Z)
• StreamRL: Scalable, Heterogeneous, and Elastic RL for LLMs with Disaggregated Stream Generation [55.75008325187133]
  強化学習(RL)は,大規模言語モデル(LLM)の学習後のコアとなる。 StreamRLは、最初の原則から分離して、2種類のパフォーマンスボトルネックに対処するように設計されている。 実験により、StreamRLは既存の最先端システムと比較してスループットを最大2.66倍改善することが示された。
  論文  参考訳（メタデータ） (2025-04-22T14:19:06Z)
• RL$^3$: Boosting Meta Reinforcement Learning via RL inside RL$^2$ [12.111848705677142]
  本稿では,従来のRLによるタスクごとの学習をMeta-RLに入力するハイブリッドアプローチであるRL$3$を提案する。 RL$3$は、RL$2$よりも長期で累積的な報酬を得られる一方で、メタトレーニング時間を大幅に削減し、アウト・オブ・ディストリビューション・タスクをより一般化することを示す。
  論文  参考訳（メタデータ） (2023-06-28T04:16:16Z)
• Improving Offline RL by Blending Heuristics [33.810026421228635]
  Heuristic Blendingは、値ブートストラップに基づくオフラインRLアルゴリズムの性能を改善する。 HubLは、4つの最先端ブートストラップベースのオフラインRLアルゴリズムのポリシー品質を一貫して改善する。
  論文  参考訳（メタデータ） (2023-06-01T03:36:06Z)
• Train Hard, Fight Easy: Robust Meta Reinforcement Learning [78.16589993684698]
  実世界のアプリケーションにおける強化学習(RL)の大きな課題は、環境、タスク、クライアントの違いである。 標準的なMRL法は、タスクよりも平均的なリターンを最適化するが、リスクや難易度の高いタスクでは悪い結果に悩まされることが多い。 本研究では, MRL の頑健な目標を制御レベルで定義する。 ロバストメタRLアルゴリズム(RoML)を用いてデータ非効率に対処する
  論文  参考訳（メタデータ） (2023-01-26T14:54:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。