論文の概要: PIP-Loco: A Proprioceptive Infinite Horizon Planning Framework for Quadrupedal Robot Locomotion

• arxiv url: http://arxiv.org/abs/2409.09441v2
• Date: Tue, 17 Sep 2024 08:57:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-18 13:22:58.037375
• Title: PIP-Loco: A Proprioceptive Infinite Horizon Planning Framework for Quadrupedal Robot Locomotion
• Title（参考訳）: PIP-Loco:四足歩行ロボットロコモーションのための固有受容無限水平計画フレームワーク
• Authors: Aditya Shirwatkar, Naman Saxena, Kishore Chandra, Shishir Kolathaya,
• Abstract要約: 四足歩行におけるモデル予測制御(MPC)の強みは、制約を強制する能力である。 自己受容型計画と強化学習(RL)を統合した枠組みを提案する。 デプロイ中、Dreamerモジュールは無限水平MPC問題を解決する。
• 参考スコア（独自算出の注目度）: 1.123472110161393
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A core strength of Model Predictive Control (MPC) for quadrupedal locomotion has been its ability to enforce constraints and provide interpretability of the sequence of commands over the horizon. However, despite being able to plan, MPC struggles to scale with task complexity, often failing to achieve robust behavior on rapidly changing surfaces. On the other hand, model-free Reinforcement Learning (RL) methods have outperformed MPC on multiple terrains, showing emergent motions but inherently lack any ability to handle constraints or perform planning. To address these limitations, we propose a framework that integrates proprioceptive planning with RL, allowing for agile and safe locomotion behaviors through the horizon. Inspired by MPC, we incorporate an internal model that includes a velocity estimator and a Dreamer module. During training, the framework learns an expert policy and an internal model that are co-dependent, facilitating exploration for improved locomotion behaviors. During deployment, the Dreamer module solves an infinite-horizon MPC problem, adapting actions and velocity commands to respect the constraints. We validate the robustness of our training framework through ablation studies on internal model components and demonstrate improved robustness to training noise. Finally, we evaluate our approach across multi-terrain scenarios in both simulation and hardware.
• Abstract（参考訳）: 四足歩行のためのモデル予測制御(MPC)のコアとなる強みは、制約を強制し、水平線上のコマンド列の解釈可能性を提供する能力である。 しかし、計画できるにもかかわらず、MPCはタスクの複雑さに対処するのに苦労し、しばしば急速に変化する表面における堅牢な振る舞いを達成するのに失敗する。 一方、モデルフリー強化学習(RL)法は、複数の地形においてMPCよりも優れており、創発的な動きを示すが、本質的に制約に対処したり、計画を実行する能力は欠如している。 これらの制約に対処するため、私たちは、RLとプロポロセプティブプランニングを統合し、水平線を通したアジャイルで安全な移動行動を可能にするフレームワークを提案します。 MPCに触発されて、速度推定器とドリーマーモジュールを含む内部モデルを組み込んだ。 トレーニング中、フレームワークは専門家の方針と、共同依存型の内部モデルを学び、移動行動を改善するための探索を促進する。 デプロイ中、Dreamerモジュールは無限水平MPC問題を解決する。 内部モデル成分のアブレーション研究を通じてトレーニングフレームワークのロバスト性を検証し、トレーニングノイズに対するロバスト性の向上を実証した。 最後に,シミュレーションとハードウェアの両方において,マルチテレインシナリオに対するアプローチを評価した。

関連論文リスト

• Reinforcement Learning for Versatile, Dynamic, and Robust Bipedal Locomotion Control [106.32794844077534]
  本稿では,二足歩行ロボットのための動的移動制御系を構築するために,深層強化学習を用いた研究について述べる。 本研究では、周期歩行やランニングから周期ジャンプや立位に至るまで、様々な動的二足歩行技術に使用できる汎用的な制御ソリューションを開発する。 この研究は、二足歩行ロボットの俊敏性の限界を、現実世界での広範な実験を通じて押し上げる。
  論文  参考訳（メタデータ） (2024-01-30T10:48:43Z)
• Learning to Fly in Seconds [7.259696592534715]
  カリキュラム学習と高度に最適化されたシミュレータが,サンプルの複雑さを増し,学習時間の短縮につながることを示す。 我々のフレームワークは、コンシューマ級ラップトップで18秒のトレーニングをした後、直接制御するためのSimulation-to-Real(Sim2Real)転送を可能にする。
  論文  参考訳（メタデータ） (2023-11-22T01:06:45Z)
• Model-Based Reinforcement Learning with Isolated Imaginations [61.67183143982074]
  モデルに基づく強化学習手法であるIso-Dream++を提案する。 我々は、切り離された潜在的想像力に基づいて政策最適化を行う。 これにより、野生の混合力学源を孤立させることで、長い水平振動子制御タスクの恩恵を受けることができる。
  論文  参考訳（メタデータ） (2023-03-27T02:55:56Z)
• Simultaneous Contact-Rich Grasping and Locomotion via Distributed Optimization Enabling Free-Climbing for Multi-Limbed Robots [60.06216976204385]
  移動, 把握, 接触問題を同時に解くための効率的な運動計画フレームワークを提案する。 ハードウェア実験において提案手法を実証し, より短い計画時間で, 傾斜角45degで自由クライミングを含む様々な動作を実現できることを示す。
  論文  参考訳（メタデータ） (2022-07-04T13:52:10Z)
• Nonprehensile Riemannian Motion Predictive Control [57.295751294224765]
  本稿では,リアル・ツー・シムの報酬分析手法を導入し,リアルなロボット・プラットフォームに対する行動の可能性を確実に予測する。 連続的なアクション空間でオブジェクトを反応的にプッシュするクローズドループコントローラを作成します。 我々は,RMPCが乱雑な環境だけでなく,乱雑な環境においても頑健であり,ベースラインよりも優れていることを観察した。
  論文  参考訳（メタデータ） (2021-11-15T18:50:04Z)
• Learning to Jump from Pixels [23.17535989519855]
  我々は、高度にアジャイルな視覚的誘導行動の合成法であるDepth-based Impulse Control (DIC)を提案する。 DICは、モデルフリー学習の柔軟性を提供するが、地面反応力の明示的なモデルベース最適化により、振る舞いを規則化する。 提案手法をシミュレーションと実世界の両方で評価する。
  論文  参考訳（メタデータ） (2021-10-28T17:53:06Z)
• Evaluating model-based planning and planner amortization for continuous control [79.49319308600228]
  我々は、モデル予測制御(MPC)と学習モデルとモデルフリーポリシー学習を組み合わせたハイブリッドアプローチを採っている。 モデルフリーエージェントは高いDoF制御問題においても強いベースラインであることがわかった。 モデルに基づくプランナを,パフォーマンスを損なうことなく,計画が損なわれるようなポリシーに置き換えることが可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-07T12:00:40Z)
• Reinforcement Learning for Robust Parameterized Locomotion Control of Bipedal Robots [121.42930679076574]
  シミュレーションにおけるロコモーションポリシをトレーニングするためのモデルフリー強化学習フレームワークを提案する。 ドメインランダム化は、システムダイナミクスのバリエーションにまたがる堅牢な振る舞いを学ぶためのポリシーを奨励するために使用されます。 本研究では、目標歩行速度、歩行高さ、旋回ヨーなどの多目的歩行行動について示す。
  論文  参考訳（メタデータ） (2021-03-26T07:14:01Z)
• Meta-Reinforcement Learning for Adaptive Motor Control in Changing Robot Dynamics and Environments [3.5309638744466167]
  この研究は、ロバストな移動のための異なる条件に制御ポリシーを適応させるメタラーニングアプローチを開発した。 提案手法は, インタラクションモデルを更新し, 推定された状態-作用軌道のアクションをサンプル化し, 最適なアクションを適用し, 報酬を最大化する。
  論文  参考訳（メタデータ） (2021-01-19T12:57:12Z)
• RLOC: Terrain-Aware Legged Locomotion using Reinforcement Learning and Optimal Control [6.669503016190925]
  四元計画と制御のためのモデルベースとデータ駆動の統一的アプローチを提案する。 センサ情報と所望のベース速度コマンドを、強化学習ポリシーを用いて足踏み計画にマッピングする。 我々は、複雑な四足歩行システムであるANYmal Bの枠組みを訓練し、再訓練を必要とせず、より大きく重いロボットであるANYmal Cへの移動性を示す。
  論文  参考訳（メタデータ） (2020-12-05T18:30:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。