論文の概要: DHP: Discrete Hierarchical Planning for Hierarchical Reinforcement Learning Agents

• arxiv url: http://arxiv.org/abs/2502.01956v1
• Date: Tue, 04 Feb 2025 03:05:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 15:01:09.294051
• Title: DHP: Discrete Hierarchical Planning for Hierarchical Reinforcement Learning Agents
• Title（参考訳）: DHP:階層的強化学習エージェントのための離散的階層的計画
• Authors: Shashank Sharma, Janina Hoffmann, Vinay Namboodiri,
• Abstract要約: 我々の重要な貢献は、従来の距離に基づくアプローチに代わる離散階層的計画法(DHP)である。 提案手法の理論的基礎を提供し,その効果を広範な経験的評価を通じて実証する。 提案手法は,25室環境における長期視覚計画タスクにおいて,成功率と平均エピソード長において,従来のベンチマークよりも有意に優れていた。
• 参考スコア（独自算出の注目度）: 2.1438108757511958
• License:
• Abstract: In this paper, we address the challenge of long-horizon visual planning tasks using Hierarchical Reinforcement Learning (HRL). Our key contribution is a Discrete Hierarchical Planning (DHP) method, an alternative to traditional distance-based approaches. We provide theoretical foundations for the method and demonstrate its effectiveness through extensive empirical evaluations. Our agent recursively predicts subgoals in the context of a long-term goal and receives discrete rewards for constructing plans as compositions of abstract actions. The method introduces a novel advantage estimation strategy for tree trajectories, which inherently encourages shorter plans and enables generalization beyond the maximum tree depth. The learned policy function allows the agent to plan efficiently, requiring only $\log N$ computational steps, making re-planning highly efficient. The agent, based on a soft-actor critic (SAC) framework, is trained using on-policy imagination data. Additionally, we propose a novel exploration strategy that enables the agent to generate relevant training examples for the planning modules. We evaluate our method on long-horizon visual planning tasks in a 25-room environment, where it significantly outperforms previous benchmarks at success rate and average episode length. Furthermore, an ablation study highlights the individual contributions of key modules to the overall performance.
• Abstract（参考訳）: 本稿では,階層的強化学習(HRL)を用いた長期的視覚計画タスクの課題に対処する。 我々の重要な貢献は、従来の距離に基づくアプローチに代わる離散階層的計画法(DHP)である。 提案手法の理論的基礎を提供し,その効果を広範な経験的評価を通じて実証する。 エージェントは,長期的目標の文脈におけるサブゴールを再帰的に予測し,抽象行動の構成として計画を構成する上での離散的な報酬を受け取る。 提案手法では,木軌道に対する新たな優位性推定手法を導入し,本質的には計画の短縮を奨励し,最大木深度を超える一般化を可能にする。 学習されたポリシー関数により、エージェントは効率的に計画でき、計算ステップは$\log N$しか必要とせず、再計画は非常に効率的である。 このエージェントは、SAC(Soft-actor critic)フレームワークに基づいて、政治上の想像力データを用いて訓練されている。 さらに,エージェントが計画モジュールに対して関連するトレーニング例を作成できる新しい探索戦略を提案する。 提案手法は,25室環境における長期視覚計画タスクにおいて,成功率と平均エピソード長において,従来のベンチマークよりも有意に優れていた。 さらに、アブレーション調査では、パフォーマンス全体に対する主要なモジュールの個々の貢献を強調している。

関連論文リスト

• Propose, Assess, Search: Harnessing LLMs for Goal-Oriented Planning in Instructional Videos [48.15438373870542]
  VidAssistは、インストラクショナルビデオにおけるゼロ/フェーショット目標指向の計画のために設計された統合フレームワークである。 最適な計画生成のための幅優先探索アルゴリズムを採用している。 実験によると、VidAssistは異なる目標指向の計画設定のための統一されたフレームワークを提供する。
  論文  参考訳（メタデータ） (2024-09-30T17:57:28Z)
• Exploring and Benchmarking the Planning Capabilities of Large Language Models [57.23454975238014]
  この研究は、大規模言語モデル(LLM)の計画能力を改善するための基礎を築いた。 我々は、古典的な計画ベンチマークと自然言語シナリオの両方を含む包括的なベンチマークスイートを構築した。 本研究は,LLM計画の強化を目的としたマルチショットインコンテキスト学習について検討し,文脈長の増大と計画性能の向上の関係について検討する。
  論文  参考訳（メタデータ） (2024-06-18T22:57:06Z)
• Simple Hierarchical Planning with Diffusion [54.48129192534653]
  拡散に基づく生成法は、オフラインデータセットによる軌跡のモデリングに有効であることが証明されている。 階層型および拡散型プランニングの利点を組み合わせた高速かつ驚くほど効果的な計画手法である階層型ディフューザを導入する。 我々のモデルは、より高いレベルで「ジャンピー」な計画戦略を採用しており、より大きな受容場を持つことができるが、計算コストは低い。
  論文  参考訳（メタデータ） (2024-01-05T05:28:40Z)
• Imitating Graph-Based Planning with Goal-Conditioned Policies [72.61631088613048]
  本稿では,目標目標条件ポリシにサブゴール条件ポリシを蒸留する自己シミュレーション方式を提案する。 提案手法は,既存の目標条件付きRL手法のサンプル効率を大幅に向上させることができることを実証的に示す。
  論文  参考訳（メタデータ） (2023-03-20T14:51:10Z)
• Hierarchical Imitation Learning with Vector Quantized Models [77.67190661002691]
  我々は,専門家の軌跡におけるサブゴールの同定に強化学習を用いることを提案する。 同定されたサブゴールに対するベクトル量子化生成モデルを構築し,サブゴールレベルの計画を行う。 実験では、このアルゴリズムは複雑な長い水平決定問題の解法に優れ、最先端のアルゴリズムよりも優れている。
  論文  参考訳（メタデータ） (2023-01-30T15:04:39Z)
• Compositional Reinforcement Learning from Logical Specifications [21.193231846438895]
  最近のアプローチでは、与えられた仕様から報酬関数を自動的に生成し、適切な強化学習アルゴリズムを用いてポリシーを学習する。 我々は、高レベルの計画と強化学習をインターリーブする、DiRLと呼ばれる構成学習手法を開発した。 提案手法では,各エッジ(サブタスク)のニューラルネットワークポリシをDijkstraスタイルの計画アルゴリズムで学習し,グラフの高レベルプランを計算する。
  論文  参考訳（メタデータ） (2021-06-25T22:54:28Z)
• Robust Hierarchical Planning with Policy Delegation [6.1678491628787455]
  本稿では,デリゲートの原理に基づく階層計画のための新しいフレームワークとアルゴリズムを提案する。 このプランニング手法は、様々な領域における古典的なプランニングと強化学習技術に対して、実験的に非常に競争力があることを示す。
  論文  参考訳（メタデータ） (2020-10-25T04:36:20Z)
• PlanGAN: Model-based Planning With Sparse Rewards and Multiple Goals [14.315501760755609]
  PlanGANは、スパース報酬のある環境におけるマルチゴールタスクを解くためのモデルベースのアルゴリズムである。 本研究は,PlanGANが4～8倍の効率で,同等の性能を達成できることを示唆する。
  論文  参考訳（メタデータ） (2020-06-01T12:53:09Z)
• Divide-and-Conquer Monte Carlo Tree Search For Goal-Directed Planning [78.65083326918351]
  暗黙的な逐次計画の仮定に代わるものを検討する。 本稿では,最適計画の近似を行うため,Divide-and-Conquer Monte Carlo Tree Search (DC-MCTS)を提案する。 計画順序に対するこのアルゴリズム的柔軟性は,グリッドワールドにおけるナビゲーションタスクの改善に繋がることを示す。
  論文  参考訳（メタデータ） (2020-04-23T18:08:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。