論文の概要: Diffusion Subgoal Planning for Long-Horizon Offline Goal-Conditioned Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2609.34575v1
• Date: Mon, 28 Sep 2026 08:22:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 12:16:34.758103
• Title: Diffusion Subgoal Planning for Long-Horizon Offline Goal-Conditioned Reinforcement Learning
• Title（参考訳）: 長軸オフラインゴール強化学習のための拡散部分計画法
• Abstract要約: textbfDSPは、ゴール条件付きサブゴールに対する誘導的生成推論として高レベルの計画を行う。 textbfDSPは、様々なナビゲーションや操作タスクにおいて、以前のメソッドよりも優れています。
• 参考スコア（独自算出の注目度）: 61.648564263928485
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Offline goal-conditioned reinforcement learning (GCRL) learns goal-directed policies from reward-free data, but in long-horizon tasks, goal-conditioned value functions often provide unstable guidance due to sparse rewards and discounting. Hierarchical methods partially mitigate this issue via subgoal decomposition; however, high-level decision-making still relies on noise-sensitive value estimates, leading to unstable behavior in complex environments. We address this limitation by proposing \textbf{D}iffusion \textbf{S}ubgoal \textbf{P}lanning (\textbf{DSP}), a diffusion-based framework for high-level subgoal generation. DSP casts high-level planning as guided generative inference over goal-conditioned subgoals and learns both conditional and unconditional flows, enabling classifier-free guidance to introduce a goal-directed bias at inference time. By removing explicit value-based guidance from high-level planning, DSP generates reachable and goal-directed subgoals through a generative model while retaining hierarchical execution. Experiments on offline GCRL benchmarks demonstrate that DSP outperforms prior methods on a range of navigation and manipulation tasks, with particularly strong performance in maze environments that require multi-step subgoal planning.
• Abstract（参考訳）: オフラインのゴール条件強化学習(GCRL)は、報酬のないデータからゴール指向のポリシーを学ぶが、長期のタスクでは、ゴール条件付き値関数は、報酬や割引によって不安定なガイダンスを提供することが多い。 階層的手法は部分的な分解によってこの問題を緩和するが、高レベルの意思決定は依然としてノイズ感受性値の推定に依存しており、複雑な環境で不安定な振る舞いを引き起こす。 この制限に対処するために、高レベルなサブゴール生成のための拡散ベースのフレームワークである \textbf{D}iffusion \textbf{S}ubgoal \textbf{P}lanning (\textbf{DSP})を提案する。 DSPは、ゴール条件付きサブゴールに対する誘導生成推論として高レベルプランニングを行い、条件付きフローと条件なしフローの両方を学ぶことにより、推論時にゴール指向バイアスを導入することができる。 高レベルの計画から明示的な価値に基づくガイダンスを取り除くことで、DSPは階層的実行を維持しつつ、生成モデルを通じて到達可能および目標指向のサブゴールを生成する。 オフラインのGCRLベンチマークの実験では、DSPは様々なナビゲーションや操作タスクにおいて、特にマルチステップのサブゴール計画を必要とする迷路環境において、先行メソッドよりも優れたパフォーマンスを示している。

関連論文リスト

• HIPIF: Hierarchical Planning and Information Folding for Long-Horizon LLM Agent Learning [51.95194664412812]
  大規模言語モデル(LLM)は、幅広いタスクにまたがる自律エージェントとして強力な能力を示している。 長期LLMエージェント学習のための階層的計画と情報フォールディング(HIPIF)を提案する。 HIPIFはエージェントをエンドツーエンドにトレーニングし、明示的なサブゴールの周りに長い水平実行を組織すると同時に、完了したサブゴール履歴を折り畳み、長いコンテキスト干渉を減らす。
  論文  参考訳（メタデータ） (2026-06-09T07:35:14Z)
• Adaptive Coarse-to-Fine Subgoal Refinement for Long-Horizon Offline Goal-Conditioned Reinforcement Learning [16.15046948057208]
  我々は,実行前に遠隔目標を適応的に洗練する完全オフライン目標条件強化学習フレームワークを提案する。 OGBenchの実験は、提案された改善と停止機構を検証し、いくつかの長期的タスクに対してかなりの効果を示した。
  論文  参考訳（メタデータ） (2026-05-27T08:17:01Z)
• Chain-of-Goals Hierarchical Policy for Long-Horizon Offline Goal-Conditioned RL [25.40364932514488]
  本稿では,自己回帰シーケンスモデルとして階層的意思決定を再構築する新しい枠組みを提案する。 CoGHPは、強いオフラインベースラインを一貫して上回り、長期タスクのパフォーマンスを改善している。
  論文  参考訳（メタデータ） (2026-02-03T11:11:03Z)
• Strict Subgoal Execution: Reliable Long-Horizon Planning in Hierarchical Reinforcement Learning [5.274804664403783]
  SSE(Strict Subgoal Execution)は、グラフベースの階層的RLフレームワークで、単一ステップのサブゴアル到達性を強制する。 SSE は既存の目標条件付き RL および階層型 RL アプローチを効率と成功率の両方で一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2025-06-26T06:35:42Z)
• Flattening Hierarchies with Policy Bootstrapping [5.528896840956629]
  本稿では,重み付けされた重要度サンプリングを施したサブゴール条件ポリシをブートストラップすることで,フラットな(階層的でない)目標条件ポリシーをトレーニングするアルゴリズムを提案する。 提案手法は,大規模状態空間における高次元制御へのスケーリングの鍵となる(部分)ゴール空間上の生成モデルの必要性を排除している。
  論文  参考訳（メタデータ） (2025-05-20T23:31:30Z)
• Directed Exploration in Reinforcement Learning from Linear Temporal Logic [59.707408697394534]
  リニア時間論理(LTL)は強化学習におけるタスク仕様のための強力な言語である。 合成された報酬信号は基本的に疎結合であり,探索が困難であることを示す。 我々は、仕様をさらに活用し、それに対応するリミット決定性B"uchi Automaton(LDBA)をマルコフ報酬プロセスとしてキャストすることで、よりよい探索を実現することができることを示す。
  論文  参考訳（メタデータ） (2024-08-18T14:25:44Z)
• Stitching Sub-Trajectories with Conditional Diffusion Model for Goal-Conditioned Offline RL [18.31263353823447]
  本稿では,モデルに基づくオフラインゴールコンディション強化学習(Offline GCRL)手法を提案する。 本稿では,目標値と目標値に条件付けされた将来の計画を生成する拡散モデルを用いて,目標を許容するオフラインデータセットから目標値を推定する。 我々は,GCRLタスクの標準ベンチマークセットにおける最先端性能を報告し,オフラインデータ中の準最適軌道のセグメントを縫合して高品質な計画を生成する能力を実証する。
  論文  参考訳（メタデータ） (2024-02-11T15:23:13Z)
• Imitating Graph-Based Planning with Goal-Conditioned Policies [72.61631088613048]
  本稿では,目標目標条件ポリシにサブゴール条件ポリシを蒸留する自己シミュレーション方式を提案する。 提案手法は,既存の目標条件付きRL手法のサンプル効率を大幅に向上させることができることを実証的に示す。
  論文  参考訳（メタデータ） (2023-03-20T14:51:10Z)
• Modular Deep Reinforcement Learning for Continuous Motion Planning with Temporal Logic [59.94347858883343]
  本稿では,マルコフ決定過程(MDP)をモデルとした自律動的システムの運動計画について検討する。 LDGBA と MDP の間に組込み製品 MDP (EP-MDP) を設計することである。 モデルフリー強化学習(RL)のためのLDGBAベースの報酬形成と割引スキームは、EP-MDP状態にのみ依存する。
  論文  参考訳（メタデータ） (2021-02-24T01:11:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。