論文の概要: Hierarchies of Planning and Reinforcement Learning for Robot Navigation
- arxiv url: http://arxiv.org/abs/2109.11178v1
- Date: Thu, 23 Sep 2021 07:18:15 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-24 14:49:24.233519
- Title: Hierarchies of Planning and Reinforcement Learning for Robot Navigation
- Title(参考訳): ロボットナビゲーションのための計画・強化学習の階層化
- Authors: Jan W\"ohlke, Felix Schmitt, Herke van Hoof
- Abstract要約: 多くのナビゲーションタスクでは、粗いフロアプランのように、高レベル(HL)タスク表現が利用可能である。
これまでの研究は、HL表現における経路計画からなる階層的アプローチによる効率的な学習を実証してきた。
本研究はHL表現のためのトレーニング可能な計画ポリシーを利用する新しい階層的枠組みを提案する。
- 参考スコア(独自算出の注目度): 22.08479169489373
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Solving robotic navigation tasks via reinforcement learning (RL) is
challenging due to their sparse reward and long decision horizon nature.
However, in many navigation tasks, high-level (HL) task representations, like a
rough floor plan, are available. Previous work has demonstrated efficient
learning by hierarchal approaches consisting of path planning in the HL
representation and using sub-goals derived from the plan to guide the RL policy
in the source task. However, these approaches usually neglect the complex
dynamics and sub-optimal sub-goal-reaching capabilities of the robot during
planning. This work overcomes these limitations by proposing a novel
hierarchical framework that utilizes a trainable planning policy for the HL
representation. Thereby robot capabilities and environment conditions can be
learned utilizing collected rollout data. We specifically introduce a planning
policy based on value iteration with a learned transition model (VI-RL). In
simulated robotic navigation tasks, VI-RL results in consistent strong
improvement over vanilla RL, is on par with vanilla hierarchal RL on single
layouts but more broadly applicable to multiple layouts, and is on par with
trainable HL path planning baselines except for a parking task with difficult
non-holonomic dynamics where it shows marked improvements.
- Abstract(参考訳): 強化学習(RL)によるロボットナビゲーションタスクの解決は、その細かな報酬と長い意思決定の地平線の性質のために難しい。
しかし、多くのナビゲーションタスクでは、粗いフロアプランのように高レベル(HL)タスク表現が利用可能である。
これまでの研究は、HL表現における経路計画と、RLポリシーを指示する計画から派生したサブゴールからなる階層的アプローチによる効率的な学習を実証してきた。
しかしながら、これらのアプローチは通常、計画中にロボットの複雑なダイナミクスや準最適ゴール取得能力を無視している。
この研究は、HL表現のための訓練可能な計画ポリシーを利用する新しい階層的枠組みを提案することによって、これらの制限を克服する。
これにより、収集したロールアウトデータを利用してロボット能力と環境条件を学習することができる。
具体的には、学習された遷移モデル(VI-RL)を用いた価値反復に基づく計画方針を紹介する。
シミュレーションされたロボットナビゲーションタスクでは、VI-RLはバニラRLよりも一貫して改善され、単一のレイアウトではバニラ階層RLと同等であるが、複数のレイアウトではより広く適用でき、トレーニング可能なHLパス計画ベースラインと同等である。
関連論文リスト
- LLM-Assist: Enhancing Closed-Loop Planning with Language-Based Reasoning [65.86754998249224]
従来のルールベースプランナとLCMベースのプランナを併用した,新しいハイブリッドプランナを開発した。
当社のアプローチでは,既存のプランナが苦労する複雑なシナリオをナビゲートし,合理的なアウトプットを生成すると同時に,ルールベースのアプローチと連携して作業する。
論文 参考訳(メタデータ) (2023-12-30T02:53:45Z) - Action-Quantized Offline Reinforcement Learning for Robotic Skill
Learning [68.16998247593209]
オフライン強化学習(RL)パラダイムは、静的な行動データセットを、データを収集したポリシーよりも優れたパフォーマンスのポリシーに変換するためのレシピを提供する。
本稿では,アクション量子化のための適応型スキームを提案する。
IQL,CQL,BRACといった最先端のオフラインRL手法が,提案手法と組み合わせることで,ベンチマークのパフォーマンスが向上することを示す。
論文 参考訳(メタデータ) (2023-10-18T06:07:10Z) - Learning to Reason over Scene Graphs: A Case Study of Finetuning GPT-2
into a Robot Language Model for Grounded Task Planning [45.51792981370957]
本研究では,ロボットタスク計画における小クラス大規模言語モデル(LLM)の適用性について,計画立案者が順次実行するためのサブゴール仕様にタスクを分解することを学ぶことによって検討する。
本手法は,シーングラフとして表現される領域上でのLLMの入力に基づいて,人間の要求を実行可能なロボット計画に変換する。
本研究は,LLMに格納された知識を長期タスクプランニングに効果的に活用できることを示唆し,ロボット工学におけるニューロシンボリックプランニング手法の今後の可能性を示すものである。
論文 参考訳(メタデータ) (2023-05-12T18:14:32Z) - Efficient Learning of High Level Plans from Play [57.29562823883257]
本稿では,移動計画と深いRLを橋渡しするロボット学習のフレームワークであるELF-Pについて紹介する。
ELF-Pは、複数の現実的な操作タスクよりも、関連するベースラインよりもはるかに優れたサンプル効率を有することを示す。
論文 参考訳(メタデータ) (2023-03-16T20:09:47Z) - Exploration via Planning for Information about the Optimal Trajectory [67.33886176127578]
我々は,タスクと現在の知識を考慮に入れながら,探索を計画できる手法を開発した。
本手法は, 探索基準値よりも2倍少ないサンプルで, 強いポリシーを学習できることを実証する。
論文 参考訳(メタデータ) (2022-10-06T20:28:55Z) - Planning to Practice: Efficient Online Fine-Tuning by Composing Goals in
Latent Space [76.46113138484947]
汎用ロボットは、現実世界の非構造環境において困難なタスクを完了するために、多様な行動レパートリーを必要とする。
この問題に対処するため、目標条件強化学習は、コマンド上の幅広いタスクの目標に到達可能なポリシーを取得することを目的としている。
本研究では,長期的課題に対する目標条件付き政策を実践的に訓練する手法であるPlanning to Practiceを提案する。
論文 参考訳(メタデータ) (2022-05-17T06:58:17Z) - Learning Forward Dynamics Model and Informed Trajectory Sampler for Safe
Quadruped Navigation [1.2783783498844021]
典型的なSOTAシステムは、マッパー、グローバルプランナー、ローカルプランナー、コマンドトラッキングコントローラの4つの主要モジュールで構成されている。
我々は,グローバルプランナから粗い計画経路を追跡するためのベロシティプランを生成するために,ロバストで安全なローカルプランナを構築している。
この枠組みを用いることで、四足歩行ロボットは衝突なしに様々な複雑な環境を自律的に移動でき、ベースライン法と比較してスムーズなコマンドプランを生成することができる。
論文 参考訳(メタデータ) (2022-04-19T04:01:44Z) - Learning to Execute: Efficient Learning of Universal Plan-Conditioned
Policies in Robotics [20.148408520475655]
本稿では,L2E(Learning to Execute)を導入し,概略計画に含まれる情報を活用し,計画に規定されたユニバーサルポリシーを学習する。
我々のロボット操作実験では、L2Eは純粋なRL、純粋な計画法、学習と計画を組み合わせたベースライン手法と比較して性能が向上した。
論文 参考訳(メタデータ) (2021-11-15T16:58:50Z) - Reset-Free Lifelong Learning with Skill-Space Planning [105.00539596788127]
非分離寿命RLのためのアルゴリズムフレームワークであるLifelong Skill Planning (LiSP)を提案する。
LiSPは、本質的な報酬を用いて教師なしの方法でスキルを学び、学習力学モデルを用いて学習スキルを計画する。
我々は,lispが長期計画に成功し,非定常環境や非定型環境においても壊滅的な失敗を回避できるエージェントを学習できることを実証的に示す。
論文 参考訳(メタデータ) (2020-12-07T09:33:02Z) - World Model as a Graph: Learning Latent Landmarks for Planning [12.239590266108115]
計画は人間の知性の目印です。
著名なフレームワークであるModel-Based RLは、世界モデルを学び、ステップバイステップの仮想ロールアウトを使って計画する。
本稿では,スパースな多段階遷移からなるグラフ構造化世界モデルを学習することを提案する。
論文 参考訳(メタデータ) (2020-11-25T02:49:21Z) - PlanGAN: Model-based Planning With Sparse Rewards and Multiple Goals [14.315501760755609]
PlanGANは、スパース報酬のある環境におけるマルチゴールタスクを解くためのモデルベースのアルゴリズムである。
本研究は,PlanGANが4~8倍の効率で,同等の性能を達成できることを示唆する。
論文 参考訳(メタデータ) (2020-06-01T12:53:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。