論文の概要: RL + Model-based Control: Using On-demand Optimal Control to Learn
Versatile Legged Locomotion
- arxiv url: http://arxiv.org/abs/2305.17842v1
- Date: Mon, 29 May 2023 01:33:55 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-30 16:29:26.512326
- Title: RL + Model-based Control: Using On-demand Optimal Control to Learn
Versatile Legged Locomotion
- Title(参考訳): rl + model-based control: オンデマンド最適制御を用いた多目的歩行学習
- Authors: Dongho Kang, Jin Cheng, Miguel Zamora, Fatemeh Zargarbashi, Stelian
Coros
- Abstract要約: モデルベース最適制御と強化学習(RL)を統合した動的で頑健な足歩行のための多目的制御法を提案する。
我々のアプローチは、有限水平最適制御問題を解くことで、オンデマンドで発生する参照動作を模倣するRLポリシーを訓練することである。
本手法は, 多様な四脚歩行パターンを生成し, 予期せぬ外乱に対する安定性を維持することができる制御ポリシーをうまく学習する。
- 参考スコア(独自算出の注目度): 20.289248652275404
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This letter presents a versatile control method for dynamic and robust legged
locomotion that integrates model-based optimal control with reinforcement
learning (RL). Our approach involves training an RL policy to imitate reference
motions generated on-demand through solving a finite-horizon optimal control
problem. This integration enables the policy to leverage human expertise in
generating motions to imitate while also allowing it to generalize to more
complex scenarios that require a more complex dynamics model. Our method
successfully learns control policies capable of generating diverse quadrupedal
gait patterns and maintaining stability against unexpected external
perturbations in both simulation and hardware experiments. Furthermore, we
demonstrate the adaptability of our method to more complex locomotion tasks on
uneven terrain without the need for excessive reward shaping or hyperparameter
tuning.
- Abstract(参考訳): 本文は,モデルベース最適制御と強化学習(RL)を統合した動的で頑健な足歩行のための多目的制御法を提案する。
本手法では,有限ホライゾン最適制御問題の解法を用いて,オンデマンドで発生する参照動作を模倣するrlポリシーを訓練する。
この統合によってポリシーは、模倣する動きを生成する人間の専門知識を活用できると同時に、より複雑なダイナミクスモデルを必要とするより複雑なシナリオに一般化することができる。
本手法は,シミュレーションおよびハードウェア実験において,多様な四脚歩行パターンを生成し,予期せぬ外乱に対する安定性を維持することができる制御ポリシーをうまく学習する。
さらに,過度の報酬整形やハイパーパラメータチューニングを必要とせず,不均一な地形上のより複雑なロコモーションタスクへの適応性を示す。
関連論文リスト
- Reinforcement Learning for Versatile, Dynamic, and Robust Bipedal
Locomotion Control [112.66677641636299]
本稿では,二足歩行ロボットのための動的移動制御系を構築するために,深層強化学習を用いた研究について述べる。
本研究では、周期歩行やランニングから周期ジャンプや立位に至るまで、様々な動的二足歩行技術に使用できる汎用的な制御ソリューションを開発する。
この研究は、二足歩行ロボットの俊敏性の限界を、現実世界での広範な実験を通じて押し上げる。
論文 参考訳(メタデータ) (2024-01-30T10:48:43Z) - Learning Exactly Linearizable Deep Dynamics Models [0.07366405857677226]
本稿では, 安定度, 信頼性, 信頼性を確保するために, 様々な制御理論を容易に適用可能な, 線形化可能な動的モデルの学習法を提案する。
提案手法は, 自動車エンジンのリアルタイム制御に応用され, 予測性能と制約下での安定制御が良好であることを示す。
論文 参考訳(メタデータ) (2023-11-30T05:40:55Z) - Grow Your Limits: Continuous Improvement with Real-World RL for Robotic
Locomotion [66.69666636971922]
本稿では,ロボットの学習過程における探索を調節するポリシー正規化フレームワークであるAPRLを提案する。
APRLは四足歩行ロボットを、数分で完全に現実世界を歩けるように効率よく学習する。
論文 参考訳(メタデータ) (2023-10-26T17:51:46Z) - Tracking Control for a Spherical Pendulum via Curriculum Reinforcement
Learning [27.73555826776087]
強化学習(RL)は、データから純粋に非自明なロボット制御法を学習することを可能にする。
本稿では,大規模並列化シミュレーションに基づいてRLでキュリキュラを自動構築するアルゴリズムを提案する。
非線形トラッキングタスクに対する状態推定と制御を共同で学習するカリキュラムRLの可能性を示す。
論文 参考訳(メタデータ) (2023-09-25T12:48:47Z) - Controllable Motion Diffusion Model [59.52889433954535]
制御可能な運動拡散モデル(COMODO)の枠組みを提案する。
我々のフレームワークは自動回帰運動拡散モデル(A-MDM)から始まり、ステップごとに動きのシーケンスを生成する。
そこで本研究では,A-MDMモデル上での強化学習に基づく制御手法を提案する。
論文 参考訳(メタデータ) (2023-06-01T07:48:34Z) - An Adaptable Approach to Learn Realistic Legged Locomotion without
Examples [38.81854337592694]
本研究は,バネ装荷逆振り子モデルを用いて学習プロセスを導くことで,移動における現実性を保証するための汎用的アプローチを提案する。
モデルのない設定であっても、2足歩行ロボットと4足歩行ロボットに対して、学習したポリシーが現実的でエネルギー効率のよい移動歩行を生成できることを示す実験結果を示す。
論文 参考訳(メタデータ) (2021-10-28T10:14:47Z) - Reinforcement Learning for Robust Parameterized Locomotion Control of
Bipedal Robots [121.42930679076574]
シミュレーションにおけるロコモーションポリシをトレーニングするためのモデルフリー強化学習フレームワークを提案する。
ドメインランダム化は、システムダイナミクスのバリエーションにまたがる堅牢な振る舞いを学ぶためのポリシーを奨励するために使用されます。
本研究では、目標歩行速度、歩行高さ、旋回ヨーなどの多目的歩行行動について示す。
論文 参考訳(メタデータ) (2021-03-26T07:14:01Z) - RL-Controller: a reinforcement learning framework for active structural
control [0.0]
フレキシブルでスケーラブルなシミュレーション環境であるRL-Controllerを導入することで,アクティブコントローラを設計するための新しいRLベースのアプローチを提案する。
提案するフレームワークは,5階建てのベンチマークビルディングに対して,平均65%の削減率で,容易に学習可能であることを示す。
LQG 能動制御法との比較研究において,提案したモデルフリーアルゴリズムはより最適なアクチュエータ強制戦略を学習することを示した。
論文 参考訳(メタデータ) (2021-03-13T04:42:13Z) - Guided Constrained Policy Optimization for Dynamic Quadrupedal Robot
Locomotion [78.46388769788405]
我々は,制約付きポリシー最適化(CPPO)の実装に基づくRLフレームワークであるGCPOを紹介する。
誘導制約付きRLは所望の最適値に近い高速収束を実現し,正確な報酬関数チューニングを必要とせず,最適かつ物理的に実現可能なロボット制御動作を実現することを示す。
論文 参考訳(メタデータ) (2020-02-22T10:15:53Z) - Information Theoretic Model Predictive Q-Learning [64.74041985237105]
本稿では,情報理論的MPCとエントロピー正規化RLとの新たな理論的関連性を示す。
バイアスモデルを利用したQ-ラーニングアルゴリズムを開発した。
論文 参考訳(メタデータ) (2019-12-31T00:29:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。