論文の概要: RL + Model-based Control: Using On-demand Optimal Control to Learn Versatile Legged Locomotion

• arxiv url: http://arxiv.org/abs/2305.17842v1
• Date: Mon, 29 May 2023 01:33:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-30 16:29:26.512326
• Title: RL + Model-based Control: Using On-demand Optimal Control to Learn Versatile Legged Locomotion
• Title（参考訳）: rl + model-based control: オンデマンド最適制御を用いた多目的歩行学習
• Authors: Dongho Kang, Jin Cheng, Miguel Zamora, Fatemeh Zargarbashi, Stelian Coros
• Abstract要約: モデルベース最適制御と強化学習(RL)を統合した動的で頑健な足歩行のための多目的制御法を提案する。 我々のアプローチは、有限水平最適制御問題を解くことで、オンデマンドで発生する参照動作を模倣するRLポリシーを訓練することである。 本手法は, 多様な四脚歩行パターンを生成し, 予期せぬ外乱に対する安定性を維持することができる制御ポリシーをうまく学習する。
• 参考スコア（独自算出の注目度）: 20.289248652275404
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This letter presents a versatile control method for dynamic and robust legged locomotion that integrates model-based optimal control with reinforcement learning (RL). Our approach involves training an RL policy to imitate reference motions generated on-demand through solving a finite-horizon optimal control problem. This integration enables the policy to leverage human expertise in generating motions to imitate while also allowing it to generalize to more complex scenarios that require a more complex dynamics model. Our method successfully learns control policies capable of generating diverse quadrupedal gait patterns and maintaining stability against unexpected external perturbations in both simulation and hardware experiments. Furthermore, we demonstrate the adaptability of our method to more complex locomotion tasks on uneven terrain without the need for excessive reward shaping or hyperparameter tuning.
• Abstract（参考訳）: 本文は,モデルベース最適制御と強化学習(RL)を統合した動的で頑健な足歩行のための多目的制御法を提案する。 本手法では,有限ホライゾン最適制御問題の解法を用いて,オンデマンドで発生する参照動作を模倣するrlポリシーを訓練する。 この統合によってポリシーは、模倣する動きを生成する人間の専門知識を活用できると同時に、より複雑なダイナミクスモデルを必要とするより複雑なシナリオに一般化することができる。 本手法は,シミュレーションおよびハードウェア実験において,多様な四脚歩行パターンを生成し,予期せぬ外乱に対する安定性を維持することができる制御ポリシーをうまく学習する。 さらに,過度の報酬整形やハイパーパラメータチューニングを必要とせず,不均一な地形上のより複雑なロコモーションタスクへの適応性を示す。

関連論文リスト

• Large Language Model-Enhanced Reinforcement Learning for Generic Bus Holding Control Strategies [12.599164162404994]
  本研究では,Large Language Models(LLMs)の文脈内学習と推論機能を活用した自動報酬生成パラダイムを提案する。 提案するLLM拡張RLパラダイムの実現可能性を評価するため,合成単線システムや実世界の多線システムなど,様々なバス保持制御シナリオに適用した。
  論文  参考訳（メタデータ） (2024-10-14T07:10:16Z)
• Traffic expertise meets residual RL: Knowledge-informed model-based residual reinforcement learning for CAV trajectory control [1.5361702135159845]
  本稿では,知識インフォームドモデルに基づく残留強化学習フレームワークを提案する。 交通専門家の知識を仮想環境モデルに統合し、基本力学にIntelligent Driver Model(IDM)、残留力学にニューラルネットワークを使用する。 本稿では,従来の制御手法を残差RLと組み合わせて,スクラッチから学習することなく,効率的な学習と政策最適化を容易にする新しい戦略を提案する。
  論文  参考訳（メタデータ） (2024-08-30T16:16:57Z)
• Reinforcement Learning for Versatile, Dynamic, and Robust Bipedal Locomotion Control [106.32794844077534]
  本稿では,二足歩行ロボットのための動的移動制御系を構築するために,深層強化学習を用いた研究について述べる。 本研究では、周期歩行やランニングから周期ジャンプや立位に至るまで、様々な動的二足歩行技術に使用できる汎用的な制御ソリューションを開発する。 この研究は、二足歩行ロボットの俊敏性の限界を、現実世界での広範な実験を通じて押し上げる。
  論文  参考訳（メタデータ） (2024-01-30T10:48:43Z)
• Learning Exactly Linearizable Deep Dynamics Models [0.07366405857677226]
  本稿では, 安定度, 信頼性, 信頼性を確保するために, 様々な制御理論を容易に適用可能な, 線形化可能な動的モデルの学習法を提案する。 提案手法は, 自動車エンジンのリアルタイム制御に応用され, 予測性能と制約下での安定制御が良好であることを示す。
  論文  参考訳（メタデータ） (2023-11-30T05:40:55Z)
• Grow Your Limits: Continuous Improvement with Real-World RL for Robotic Locomotion [66.69666636971922]
  本稿では,ロボットの学習過程における探索を調節するポリシー正規化フレームワークであるAPRLを提案する。 APRLは四足歩行ロボットを、数分で完全に現実世界を歩けるように効率よく学習する。
  論文  参考訳（メタデータ） (2023-10-26T17:51:46Z)
• On Transforming Reinforcement Learning by Transformer: The Development Trajectory [97.79247023389445]
  Transformerは元々自然言語処理用に開発されたもので、コンピュータビジョンでも大きな成功を収めている。 既存の開発をアーキテクチャ拡張と軌道最適化の2つのカテゴリに分類する。 ロボット操作,テキストベースのゲーム,ナビゲーション,自律運転におけるTRLの主な応用について検討する。
  論文  参考訳（メタデータ） (2022-12-29T03:15:59Z)
• Reinforcement Learning for Robust Parameterized Locomotion Control of Bipedal Robots [121.42930679076574]
  シミュレーションにおけるロコモーションポリシをトレーニングするためのモデルフリー強化学習フレームワークを提案する。 ドメインランダム化は、システムダイナミクスのバリエーションにまたがる堅牢な振る舞いを学ぶためのポリシーを奨励するために使用されます。 本研究では、目標歩行速度、歩行高さ、旋回ヨーなどの多目的歩行行動について示す。
  論文  参考訳（メタデータ） (2021-03-26T07:14:01Z)
• RL-Controller: a reinforcement learning framework for active structural control [0.0]
  フレキシブルでスケーラブルなシミュレーション環境であるRL-Controllerを導入することで,アクティブコントローラを設計するための新しいRLベースのアプローチを提案する。 提案するフレームワークは,5階建てのベンチマークビルディングに対して,平均65%の削減率で,容易に学習可能であることを示す。 LQG 能動制御法との比較研究において,提案したモデルフリーアルゴリズムはより最適なアクチュエータ強制戦略を学習することを示した。
  論文  参考訳（メタデータ） (2021-03-13T04:42:13Z)
• Guided Constrained Policy Optimization for Dynamic Quadrupedal Robot Locomotion [78.46388769788405]
  我々は,制約付きポリシー最適化(CPPO)の実装に基づくRLフレームワークであるGCPOを紹介する。 誘導制約付きRLは所望の最適値に近い高速収束を実現し,正確な報酬関数チューニングを必要とせず,最適かつ物理的に実現可能なロボット制御動作を実現することを示す。
  論文  参考訳（メタデータ） (2020-02-22T10:15:53Z)
• Information Theoretic Model Predictive Q-Learning [64.74041985237105]
  本稿では,情報理論的MPCとエントロピー正規化RLとの新たな理論的関連性を示す。 バイアスモデルを利用したQ-ラーニングアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2019-12-31T00:29:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。