論文の概要: Reinforcement Learning for Versatile, Dynamic, and Robust Bipedal Locomotion Control

• arxiv url: http://arxiv.org/abs/2401.16889v2
• Date: Mon, 26 Aug 2024 06:51:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-28 00:26:06.594613
• Title: Reinforcement Learning for Versatile, Dynamic, and Robust Bipedal Locomotion Control
• Title（参考訳）: 垂直・動的・ロバストな二足歩行制御のための強化学習
• Authors: Zhongyu Li, Xue Bin Peng, Pieter Abbeel, Sergey Levine, Glen Berseth, Koushil Sreenath,
• Abstract要約: 本稿では,二足歩行ロボットのための動的移動制御系を構築するために,深層強化学習を用いた研究について述べる。 本研究では、周期歩行やランニングから周期ジャンプや立位に至るまで、様々な動的二足歩行技術に使用できる汎用的な制御ソリューションを開発する。 この研究は、二足歩行ロボットの俊敏性の限界を、現実世界での広範な実験を通じて押し上げる。
• 参考スコア（独自算出の注目度）: 106.32794844077534
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents a comprehensive study on using deep reinforcement learning (RL) to create dynamic locomotion controllers for bipedal robots. Going beyond focusing on a single locomotion skill, we develop a general control solution that can be used for a range of dynamic bipedal skills, from periodic walking and running to aperiodic jumping and standing. Our RL-based controller incorporates a novel dual-history architecture, utilizing both a long-term and short-term input/output (I/O) history of the robot. This control architecture, when trained through the proposed end-to-end RL approach, consistently outperforms other methods across a diverse range of skills in both simulation and the real world. The study also delves into the adaptivity and robustness introduced by the proposed RL system in developing locomotion controllers. We demonstrate that the proposed architecture can adapt to both time-invariant dynamics shifts and time-variant changes, such as contact events, by effectively using the robot's I/O history. Additionally, we identify task randomization as another key source of robustness, fostering better task generalization and compliance to disturbances. The resulting control policies can be successfully deployed on Cassie, a torque-controlled human-sized bipedal robot. This work pushes the limits of agility for bipedal robots through extensive real-world experiments. We demonstrate a diverse range of locomotion skills, including: robust standing, versatile walking, fast running with a demonstration of a 400-meter dash, and a diverse set of jumping skills, such as standing long jumps and high jumps.
• Abstract（参考訳）: 本稿では、深部強化学習(RL)を用いて、二足歩行ロボットのための動的移動制御器を作成するための総合的研究について述べる。 単一の歩行スキルに限らず、周期歩行やランニングから周期ジャンプや立位に至るまで、様々な動的二足歩行スキルに使用できる汎用的な制御ソリューションを開発した。 ロボットの長期的・短期的な入出力(I/O)履歴を生かした,新しいデュアルヒストリーアーキテクチャをRLベースのコントローラに組み込んだ。 この制御アーキテクチャは、提案されたエンドツーエンドのRLアプローチによってトレーニングされた場合、シミュレーションと現実世界の両方において、さまざまなスキルで、他の手法よりも一貫して優れています。 この研究はまた、ロコモーションコントローラの開発において提案されたRLシステムによって導入された適応性とロバスト性についても検討した。 提案アーキテクチャは,ロボットのI/O履歴を効果的に利用することにより,時間不変のダイナミクスシフトと接触イベントなどの時間変動に適応できることを実証する。 さらに,タスクのランダム化をロバスト性の別の重要な源として認識し,タスクの一般化と障害へのコンプライアンスを促進する。 結果として得られるコントロールポリシーは、トルク制御された人間サイズの二足歩行ロボットであるCassieにうまく展開できる。 この研究は、二足歩行ロボットの俊敏性の限界を、現実世界での広範な実験を通じて押し上げる。 例えば、頑丈な立ち上がり、多目的歩行、400メートルのダッシュのデモによる高速走、長いジャンプや高いジャンプなどのジャンプスキルの多種多様なセットなどである。

関連論文リスト

• Agile and versatile bipedal robot tracking control through reinforcement learning [12.831810518025309]
  本稿では,二足歩行ロボットのための多目的コントローラを提案する。 足首と身体の軌跡を、単一の小さなニューラルネットワークを用いて広範囲の歩行で追跡する。 最小限の制御ユニットと高レベルなポリシーを組み合わせることで、高いフレキシブルな歩行制御を実現することができる。
  論文  参考訳（メタデータ） (2024-04-12T05:25:03Z)
• End-to-End Reinforcement Learning for Torque Based Variable Height Hopping [5.34772724436823]
  足の移動は自然または非構造地形を扱うのに最も適しており、多用途であることは間違いない。 本稿では,ジャンプ位相を暗黙的に検出するエンド・ツー・エンドのRL型トルクコントローラを提案する。 また、学習した制御器がリッチな動的タスクに接触できるように、シミュレーション手法を拡張し、ロボットへの展開を成功させる。
  論文  参考訳（メタデータ） (2023-07-31T13:51:29Z)
• Barkour: Benchmarking Animal-level Agility with Quadruped Robots [70.97471756305463]
  脚付きロボットのアジリティを定量化するための障害物コースであるBarkourベンチマークを導入する。 犬の機敏性の競争に触発され、様々な障害と時間に基づくスコアリング機構から構成される。 ベンチマークに対処する2つの方法を提案する。
  論文  参考訳（メタデータ） (2023-05-24T02:49:43Z)
• Learning and Adapting Agile Locomotion Skills by Transferring Experience [71.8926510772552]
  本稿では,既存のコントローラから新しいタスクを学習するために経験を移譲することで,複雑なロボティクススキルを訓練するためのフレームワークを提案する。 提案手法は,複雑なアジャイルジャンプ行動の学習,後肢を歩いたまま目標地点への移動,新しい環境への適応を可能にする。
  論文  参考訳（メタデータ） (2023-04-19T17:37:54Z)
• Robust and Versatile Bipedal Jumping Control through Reinforcement Learning [141.56016556936865]
  この研究は、トルク制御された二足歩行ロボットが実世界で頑丈で多目的なダイナミックジャンプを行えるようにすることで、二足歩行ロボットの機敏さの限界を推し進めることを目的としている。 本稿では,ロボットが様々な場所や方向へジャンプするなど,さまざまなジャンプタスクを達成するための強化学習フレームワークを提案する。 我々は,ロボットの長期入出力(I/O)履歴を符号化し,短期I/O履歴への直接アクセスを可能にする新しいポリシー構造を開発する。
  論文  参考訳（メタデータ） (2023-02-19T01:06:09Z)
• Creating a Dynamic Quadrupedal Robotic Goalkeeper with Reinforcement Learning [18.873152528330063]
  本稿では,4足歩行ロボットが実世界でサッカーのゴールキーピングタスクを実行できる強化学習(RL)フレームワークを提案する。 四足歩行を用いたサッカーのゴールキーピングは難しい問題であり、非常にダイナミックな移動と、正確で高速な非包括的(ボール)操作を組み合わせたものである。 提案するフレームワークをMini Cheetah四脚ロボットにデプロイし,実世界における高速移動球のアジャイルインターセプションにおけるフレームワークの有効性を実証する。
  論文  参考訳（メタデータ） (2022-10-10T04:54:55Z)
• Reinforcement Learning for Robust Parameterized Locomotion Control of Bipedal Robots [121.42930679076574]
  シミュレーションにおけるロコモーションポリシをトレーニングするためのモデルフリー強化学習フレームワークを提案する。 ドメインランダム化は、システムダイナミクスのバリエーションにまたがる堅牢な振る舞いを学ぶためのポリシーを奨励するために使用されます。 本研究では、目標歩行速度、歩行高さ、旋回ヨーなどの多目的歩行行動について示す。
  論文  参考訳（メタデータ） (2021-03-26T07:14:01Z)
• Learning Agile Robotic Locomotion Skills by Imitating Animals [72.36395376558984]
  動物の多様でアジャイルな運動スキルを再現することは、ロボット工学における長年の課題である。 そこで本研究では,現実世界の動物を模倣することで,足のロボットがアジャイルな運動能力を学ぶことができる模倣学習システムを提案する。
  論文  参考訳（メタデータ） (2020-04-02T02:56:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。