論文の概要: Combining model-predictive control and predictive reinforcement learning
for stable quadrupedal robot locomotion
- arxiv url: http://arxiv.org/abs/2307.07752v1
- Date: Sat, 15 Jul 2023 09:22:37 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-18 17:57:18.169508
- Title: Combining model-predictive control and predictive reinforcement learning
for stable quadrupedal robot locomotion
- Title（参考訳）: 安定四足歩行ロボットのモデル予測制御と予測強化学習の組み合わせ
- Authors: Vyacheslav Kovalev, Anna Shkromada, Henni Ouerdane and Pavel Osinenko
- Abstract要約: モデル予測型と予測型強化型学習コントローラの組み合わせによりこれを実現できるかを検討する。
本研究では,両制御手法を組み合わせて,四足歩行ロボットの安定ゲート生成問題に対処する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Stable gait generation is a crucial problem for legged robot locomotion as
this impacts other critical performance factors such as, e.g. mobility over an
uneven terrain and power consumption. Gait generation stability results from
the efficient control of the interaction between the legged robot's body and
the environment where it moves. Here, we study how this can be achieved by a
combination of model-predictive and predictive reinforcement learning
controllers. Model-predictive control (MPC) is a well-established method that
does not utilize any online learning (except for some adaptive variations) as
it provides a convenient interface for state constraints management.
Reinforcement learning (RL), in contrast, relies on adaptation based on pure
experience. In its bare-bone variants, RL is not always suitable for robots due
to their high complexity and expensive simulation/experimentation. In this
work, we combine both control methods to address the quadrupedal robot stable
gate generation problem. The hybrid approach that we develop and apply uses a
cost roll-out algorithm with a tail cost in the form of a Q-function modeled by
a neural network; this allows to alleviate the computational complexity, which
grows exponentially with the prediction horizon in a purely MPC approach. We
demonstrate that our RL gait controller achieves stable locomotion at short
horizons, where a nominal MP controller fails. Further, our controller is
capable of live operation, meaning that it does not require previous training.
Our results suggest that the hybridization of MPC with RL, as presented here,
is beneficial to achieve a good balance between online control capabilities and
computational complexity.
- Abstract（参考訳）: 安定歩行生成は足歩行にとって重要な問題であり、例えば不均一な地形での移動や電力消費など他の重要な性能要因に影響を及ぼす。
歩行の安定性は、足のついたロボットの体とそれが動く環境との相互作用の効率的な制御から生じる。
本稿では,モデル予測型と予測型強化型学習コントローラの組み合わせによりこれを実現できるかを検討する。
モデル予測制御(MPC)は、状態制約管理に便利なインターフェースを提供するため、オンライン学習(適応的なバリエーションを除く)を一切利用しない確立された手法である。
強化学習(RL)とは対照的に、純粋な経験に基づく適応に依存している。
ベアボーンのバリエーションでは、RLは高い複雑さと高価なシミュレーション/実験のため、ロボットに必ずしも適していない。
本研究では,両制御法を組み合わせることで,四足ロボットの安定ゲート生成問題に対処する。
ニューラルネットワークによってモデル化されたQ-関数の形で、コストのかかるロールアウトアルゴリズムを用いて、我々が開発し、適用したハイブリッドアプローチは、純粋にMPCアプローチで予測地平線とともに指数関数的に成長する計算複雑性を緩和する。
我々のRL歩行制御器は,名目MP制御器が故障する短時間で安定な移動を実現することを示す。
さらに,我々のコントローラはライブ操作が可能であり,従来のトレーニングを必要としない。
この結果から,MPCとRLのハイブリッド化は,オンライン制御能力と計算複雑性のバランスをとる上で有益であることが示唆された。
関連論文リスト
- Neural Internal Model Control: Learning a Robust Control Policy via Predictive Error Feedback [16.46487826869775]
本稿では,モデルベース制御とRLベース制御を統合し,ロバスト性を高めるニューラル内部モデル制御を提案する。
我々のフレームワークは、剛体力学にニュートン・オイラー方程式を適用することで予測モデルを合理化し、複雑な高次元非線形性を捉える必要がなくなる。
本研究では,四足歩行ロボットと四足歩行ロボットにおけるフレームワークの有効性を実証し,最先端の手法と比較して優れた性能を実現する。
論文 参考訳（メタデータ） (2024-11-20T07:07:42Z) - Autotuning Bipedal Locomotion MPC with GRFM-Net for Efficient Sim-to-Real Transfer [10.52309107195141]
DiffTune を用いた二足歩行制御におけるパラメータ選択の課題に対処する。
大きな困難は、モデルの忠実さと差別性とのバランスにある。
ハードウェア実験においてDiffTuneとGRFM-Netで得られたパラメータを検証する。
論文 参考訳（メタデータ） (2024-09-24T03:58:18Z) - Reinforcement Learning for Versatile, Dynamic, and Robust Bipedal Locomotion Control [106.32794844077534]
本稿では,二足歩行ロボットのための動的移動制御系を構築するために,深層強化学習を用いた研究について述べる。
本研究では、周期歩行やランニングから周期ジャンプや立位に至るまで、様々な動的二足歩行技術に使用できる汎用的な制御ソリューションを開発する。
この研究は、二足歩行ロボットの俊敏性の限界を、現実世界での広範な実験を通じて押し上げる。
論文 参考訳（メタデータ） (2024-01-30T10:48:43Z) - SERL: A Software Suite for Sample-Efficient Robotic Reinforcement
Learning [85.21378553454672]
筆者らは,報酬の計算と環境のリセットを行う手法とともに,効率的なオフ・ポリティクス・ディープ・RL法を含むライブラリを開発した。
我々は,PCBボードアセンブリ,ケーブルルーティング,オブジェクトの移動に関するポリシを,非常に効率的な学習を実現することができることを発見した。
これらの政策は完全な成功率またはほぼ完全な成功率、摂動下でさえ極端な堅牢性を実現し、突発的な堅牢性回復と修正行動を示す。
論文 参考訳（メタデータ） (2024-01-29T10:01:10Z) - Reaching the Limit in Autonomous Racing: Optimal Control versus
Reinforcement Learning [66.10854214036605]
ロボット工学における中心的な問題は、アジャイルなモバイルロボットの制御システムをどうやって設計するかである。
本稿では、強化学習(RL)で訓練されたニューラルネットワークコントローラが最適制御(OC)法より優れていることを示す。
その結果、アジャイルドローンを最大性能に押し上げることができ、最大加速速度は重力加速度の12倍以上、ピーク速度は時速108kmに達しました。
論文 参考訳（メタデータ） (2023-10-17T02:40:27Z) - A Real-World Quadrupedal Locomotion Benchmark for Offline Reinforcement
Learning [27.00483962026472]
現実的な四足歩行データセットにおける11のオフライン強化学習アルゴリズムをベンチマークした。
実験の結果,ORLアルゴリズムはモデルフリーのRLに比べて競争性能がよいことがわかった。
提案するベンチマークは,実世界の歩行作業におけるORLアルゴリズムの性能をテスト・評価するための開発プラットフォームとして機能する。
論文 参考訳（メタデータ） (2023-09-13T13:18:29Z) - Learning Bipedal Walking for Humanoids with Current Feedback [5.429166905724048]
アクチュエータレベルでの不正確なトルクトラッキングから生じるヒューマノイドロボットのシム2リアルギャップ問題を克服するためのアプローチを提案する。
提案手法は、実際のHRP-5Pヒューマノイドロボットに展開して二足歩行を実現するシミュレーションにおいて、一貫したエンドツーエンドのポリシーをトレーニングする。
論文 参考訳（メタデータ） (2023-03-07T08:16:46Z) - Bayesian Optimization Meets Hybrid Zero Dynamics: Safe Parameter
Learning for Bipedal Locomotion Control [17.37169551675587]
両足歩行ロボットの移動制御のためのマルチドメイン制御パラメータ学習フレームワークを提案する。
BOを利用して、HZDベースのコントローラで使用される制御パラメータを学習する。
次に、物理ロボットに学習プロセスを適用し、シミュレーションで学習した制御パラメータの修正を学習する。
論文 参考訳（メタデータ） (2022-03-04T20:48:17Z) - OSCAR: Data-Driven Operational Space Control for Adaptive and Robust
Robot Manipulation [50.59541802645156]
オペレーショナル・スペース・コントロール(OSC)は、操作のための効果的なタスクスペース・コントローラとして使われてきた。
本稿では,データ駆動型OSCのモデル誤差を補償するOSC for Adaptation and Robustness (OSCAR)を提案する。
本手法は,様々なシミュレーション操作問題に対して評価し,制御器のベースラインの配列よりも大幅に改善されていることを示す。
論文 参考訳（メタデータ） (2021-10-02T01:21:38Z) - Learning a Contact-Adaptive Controller for Robust, Efficient Legged
Locomotion [95.1825179206694]
四足歩行ロボットのためのロバストコントローラを合成するフレームワークを提案する。
高レベルコントローラは、環境の変化に応じてプリミティブのセットを選択することを学習する。
確立された制御方法を使用してプリミティブを堅牢に実行する低レベルコントローラ。
論文 参考訳（メタデータ） (2020-09-21T16:49:26Z) - Improving Input-Output Linearizing Controllers for Bipedal Robots via
Reinforcement Learning [85.13138591433635]
入力出力線形化コントローラの主な欠点は、正確な力学モデルが必要であり、入力制約を考慮できないことである。
本稿では,強化学習技術を用いた二足歩行ロボット制御の具体例について,両課題に対処する。
論文 参考訳（メタデータ） (2020-04-15T18:15:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。