論文の概要: GTRL: Grounding Divide-and-Conquer Value Learning with Temporal Differences

• arxiv url: http://arxiv.org/abs/2609.33259v2
• Date: Tue, 29 Sep 2026 17:57:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:46.654873
• Title: GTRL: Grounding Divide-and-Conquer Value Learning with Temporal Differences
• Title（参考訳）: GTRL: 時間差による分母と等価値の学習
• Abstract要約: オフラインのゴール条件強化学習では、分割とコンカーは2つの短いセグメントをサブゴールで結合することで長い水平線にスケールする。 我々は,1ステップのTDターゲットで分割・参照更新を行うオフラインGCRL値学習アルゴリズムであるGlated Transitive RL(GTRL)を提案する。 GTRLはこのターゲットを置き換えるのではなく、コンポジションに追加するので、各ペアは更新を受け取り、コンポジションは依然として長い水平線を担っている。
• 参考スコア（独自算出の注目度）: 0.31984926651189866
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In offline goal-conditioned reinforcement learning (GCRL), divide-and-conquer scales to long horizons by joining two shorter segments at a subgoal. However, under stochastic dynamics, the base case of this rule values the luckiest trajectories through the data. The subgoal must also lie on a shared trajectory, so a state-goal pair that no trajectory connects gets no value update at all. To address both, we present Grounded Transitive RL (GTRL), an offline GCRL value learning algorithm that grounds the divide-and-conquer update with a one-step TD target. Over a single step, TD is correct, as its target averages over the successors and needs no subgoal. GTRL adds this target to the composition rather than replacing it, so every pair receives an update, and the composition still carries the long horizon. GTRL also corrects the bias from hindsight relabeling by reweighting each goal against how reachable it was from other successors. We evaluate our algorithm on nineteen OGBench tasks spanning stochastic, deterministic, and stitching environments, where it achieves the highest average success rate. Code will be released soon.
• Abstract（参考訳）: オフライン目標条件強化学習(GCRL)では、2つの短いセグメントをサブゴールで結合することにより、分割とコンカマーは長い水平線にスケールする。 しかし、確率力学では、この規則の基本的なケースは、データを通して最も幸運な軌跡を評価できる。 サブゴールは共有トラジェクトリにも置かれなければならないため、トラジェクトリを接続しないステート-ゴールペアは、まったく値更新を受けない。 両問題に対処するために、オフラインGCRL値学習アルゴリズムであるGrounded Transitive RL(GTRL)を提案する。 一つのステップでTDが正しいのは、そのターゲットが後継者よりも平均であり、サブゴールを必要としないからである。 GTRLはこのターゲットを置き換えるのではなく、コンポジションに追加するので、各ペアは更新を受け取り、コンポジションは依然として長い水平線を担っている。 GTRLは、他の後継者からの到達可能性に対して、それぞれの目標を再重み付けすることで、後向きの緩和からバイアスを補正する。 我々は,確率的,決定論的,縫合環境にまたがる19のOGBenchタスクにおいて,最も高い平均成功率を達成するアルゴリズムを評価した。 コードはまもなくリリースされる。

関連論文リスト

• Recursive Value Learning for Long-Horizon Offline Goal-Conditioned RL [8.461665774019183]
  Divide-and-Conquer RLは,各トラジェクトリセグメントを平衡二分木に分解し,葉から根への値のトレーニングを行う。 DCRLは多様な目標達成タスクにまたがって、以前のフラットオフラインGCRLメソッドよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2026-09-02T07:45:16Z)
• PathBridger: Subgoal Bridges for Offline Goal-Conditioned Reinforcement Learning [15.88392414749782]
  本稿では,階層型オフラインGCRL法であるPathBridgerを提案する。 評価されたOGBenchタスクに対する実験は、特に多目的キューブ操作タスクにおいて、強力な集約性能を示す。
  論文  参考訳（メタデータ） (2026-08-29T05:33:01Z)
• Group-Graph Policy Optimization for Long-Horizon Agentic Reinforcement Learning [85.02566758103008]
  Group-Graph Policy Optimization (G2PO) は、マルチターンエージェントタスクに適したグループベースの強化学習アルゴリズムである。 G2POは最先端のプロンプトベースとRLベースラインを大幅に上回り、GRPOよりも最大22.2%の成功率の向上を達成した。
  論文  参考訳（メタデータ） (2026-06-22T08:12:47Z)
• Adaptive Coarse-to-Fine Subgoal Refinement for Long-Horizon Offline Goal-Conditioned Reinforcement Learning [16.15046948057208]
  我々は,実行前に遠隔目標を適応的に洗練する完全オフライン目標条件強化学習フレームワークを提案する。 OGBenchの実験は、提案された改善と停止機構を検証し、いくつかの長期的タスクに対してかなりの効果を示した。
  論文  参考訳（メタデータ） (2026-05-27T08:17:01Z)
• Transitive RL: Value Learning via Divide and Conquer [54.190627631246166]
  Transive Reinforcement Learning (TRL) は、分割・分散パラダイムに基づく新しい価値学習アルゴリズムである。 モンテカルロ法とは異なり、TRLは動的プログラミングを実行するため、高分散に苦しむ。
  論文  参考訳（メタデータ） (2025-10-26T03:32:31Z)
• HIQL: Offline Goal-Conditioned RL with Latent States as Actions [81.67963770528753]
  オフラインデータからゴール条件付きRLの階層的アルゴリズムを提案する。 この階層的な分解によって、推定値関数のノイズに頑健になることを示す。 提案手法は,従来の手法を巧みに操り,高次元画像観察にスケールできるとともに,アクションフリーなデータを容易に利用することができる。
  論文  参考訳（メタデータ） (2023-07-22T00:17:36Z)
• Deep Co-Training with Task Decomposition for Semi-Supervised Domain Adaptation [80.55236691733506]
  半教師付きドメイン適応(SSDA)は、ラベル付きソースドメインからトレーニングされたモデルを、異なるが関連するターゲットドメインに適応させることを目的としている。 本稿では,SSDAタスクを対象ドメイン内の半教師付き学習(SSL)タスクと,ドメイン間の非教師付きドメイン適応(UDA)タスクの2つのサブタスクに明示的に分解することを提案する。
  論文  参考訳（メタデータ） (2020-07-24T17:57:54Z)
• Sub-Goal Trees -- a Framework for Goal-Based Reinforcement Learning [20.499747716864686]
  多くのAI問題は、ロボット工学やその他の分野において、ゴールベースであり、基本的には様々な目標状態につながる軌道を求めている。 本稿では,全てのペア最短経路(APSP)問題に対する動的プログラミング方程式から導出した新しいRLフレームワークを提案する。 このアプローチは、標準的な動的プログラミングと近似動的プログラミングの両方に計算上の利点があることを示す。
  論文  参考訳（メタデータ） (2020-02-27T12:32:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。