論文の概要: Adaptive Coarse-to-Fine Subgoal Refinement for Long-Horizon Offline Goal-Conditioned Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2605.28127v1
• Date: Wed, 27 May 2026 08:17:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-28 17:38:55.879825
• Title: Adaptive Coarse-to-Fine Subgoal Refinement for Long-Horizon Offline Goal-Conditioned Reinforcement Learning
• Title（参考訳）: 長軸オフラインゴール強化学習のための適応的粗-正準置換法
• Authors: Kaiqiang Ke, Shenghong He, Chengdong Xu, Yuheng Luo, Xiangyuan Lan, Chao Yu,
• Abstract要約: 我々は,実行前に遠隔目標を適応的に洗練する完全オフライン目標条件強化学習フレームワークを提案する。 OGBenchの実験は、提案された改善と停止機構を検証し、いくつかの長期的タスクに対してかなりの効果を示した。
• 参考スコア（独自算出の注目度）: 16.15046948057208
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Offline goal-conditioned reinforcement learning (GCRL) is challenging in long-horizon tasks, where distant state--goal pairs provide weak supervision and value estimates become vulnerable to accumulated bootstrapping errors. Hierarchical methods mitigate this difficulty by introducing intermediate subgoals, but fixed temporal abstractions or fixed hierarchy depths can be mismatched to state--goal pairs with different reachability horizons. We propose Coarse-to-Fine Hierarchical Goal Reinforcement Learning (CFHRL), a fully offline GCRL framework that adaptively refines distant goals before execution. Starting from the final goal, CFHRL recursively proposes intermediate targets, trained from replay-supported candidates, and stops refinement once the current target is estimated to be locally executable by a learned reachability cost. The key idea is that a subgoal need not be an exact midpoint or globally optimal waypoint; it only needs to provide reliable progress and reduce the remaining reaching difficulty, enabling subsequent refinement over shorter horizons. A stylized analysis further supports the robustness of approximate recursive contraction. Experiments on OGBench show substantial gains on several long-horizon tasks, with ablations validating the proposed refinement and stopping mechanisms
• Abstract（参考訳）: オフラインゴール条件強化学習(GCRL)は、遠隔の状態-ゴールペアが弱い監督と、蓄積したブートストラップエラーに対して値推定が脆弱になる、長期的タスクにおいて困難である。階層的手法は、中間部分ゴールを導入することでこの困難を緩和するが、固定時間的抽象化や固定階層深度は、到達可能性の異なる状態-ゴールペアにミスマッチさせることができる。 完全オフラインのGCRLフレームワークであるCFHRL(Coarse-to-Fine Hierarchical Goal Reinforcement Learning)を提案する。 最終目標から、CFHRLは、リプレイ支援された候補から訓練された中間目標を再帰的に提案し、学習可能なコストで現在の目標がローカルに実行可能であると推定されると、改善を停止する。 鍵となる考え方は、サブゴールが正確な中間点や大域的最適の経路点である必要はなく、信頼性の高い進捗を提供し、残りの到達困難を減らし、短い地平線上で後の改善を可能にすることである。 スタイル化された解析は、近似再帰収縮の堅牢性をさらに支持する。 OGBenchの実験は、いくつかの長期的タスクにおいてかなりの利得を示し、提案された改善と停止メカニズムを検証している。

関連論文リスト

• Clipping Bottleneck: Stabilizing RLVR via Stochastic Recovery of Near-Boundary Signals [83.0127582612634]
  Near-boundary Rescue (NSR) は最小限のプラグ・アンド・プレイの修正であり、失った信号を回復するために、アウト・オブ・バウンドトークンを保持する。 NSRはトレーニングの安定性を大幅に改善し、DAPOやGSPOといった強力なベースライン上で一貫したゲインを提供する。
  論文  参考訳（メタデータ） (2026-05-21T16:45:31Z)
• Chain-of-Goals Hierarchical Policy for Long-Horizon Offline Goal-Conditioned RL [25.40364932514488]
  本稿では,自己回帰シーケンスモデルとして階層的意思決定を再構築する新しい枠組みを提案する。 CoGHPは、強いオフラインベースラインを一貫して上回り、長期タスクのパフォーマンスを改善している。
  論文  参考訳（メタデータ） (2026-02-03T11:11:03Z)
• Reinforcement Learning with Anticipation: A Hierarchical Approach for Long-Horizon Tasks [3.79187263097166]
  長期の目標条件付きタスクの解決は、強化学習において重要な課題である。 Reinforcement Learning with Precipation(RLA)は、これらの制限に対処するために設計された、原則付き、潜在的にスケーラブルなフレームワークです。 RLAの主な特徴は予測モデルのトレーニングであり、これは値の幾何的一貫性の原則によって導かれる。
  論文  参考訳（メタデータ） (2025-09-06T00:10:15Z)
• Strict Subgoal Execution: Reliable Long-Horizon Planning in Hierarchical Reinforcement Learning [5.274804664403783]
  SSE(Strict Subgoal Execution)は、グラフベースの階層的RLフレームワークで、単一ステップのサブゴアル到達性を強制する。 SSE は既存の目標条件付き RL および階層型 RL アプローチを効率と成功率の両方で一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2025-06-26T06:35:42Z)
• Flattening Hierarchies with Policy Bootstrapping [5.528896840956629]
  本稿では,重み付けされた重要度サンプリングを施したサブゴール条件ポリシをブートストラップすることで,フラットな(階層的でない)目標条件ポリシーをトレーニングするアルゴリズムを提案する。 提案手法は,大規模状態空間における高次元制御へのスケーリングの鍵となる(部分)ゴール空間上の生成モデルの必要性を排除している。
  論文  参考訳（メタデータ） (2025-05-20T23:31:30Z)
• HIQL: Offline Goal-Conditioned RL with Latent States as Actions [81.67963770528753]
  オフラインデータからゴール条件付きRLの階層的アルゴリズムを提案する。 この階層的な分解によって、推定値関数のノイズに頑健になることを示す。 提案手法は,従来の手法を巧みに操り,高次元画像観察にスケールできるとともに,アクションフリーなデータを容易に利用することができる。
  論文  参考訳（メタデータ） (2023-07-22T00:17:36Z)
• Discrete Factorial Representations as an Abstraction for Goal Conditioned Reinforcement Learning [99.38163119531745]
  離散化ボトルネックを適用することにより,目標条件付きRLセットアップの性能が向上することを示す。 分布外目標に対する期待した回帰を実験的に証明し、同時に表現的な構造で目標を指定できるようにします。
  論文  参考訳（メタデータ） (2022-11-01T03:31:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。