論文の概要: Not Only Rewards But Also Constraints: Applications on Legged Robot Locomotion
- arxiv url: http://arxiv.org/abs/2308.12517v3
- Date: Mon, 6 May 2024 16:01:39 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-08 01:06:19.513748
- Title: Not Only Rewards But Also Constraints: Applications on Legged Robot Locomotion
- Title（参考訳）: RewardsだけでなくConstraintsも:レッグロボットのロコモーションへの応用
- Authors: Yunho Kim, Hyunsik Oh, Jeonghyun Lee, Jinhyeok Choi, Gwanghyeon Ji, Moonkyu Jung, Donghoon Youm, Jemin Hwangbo,
- Abstract要約: 本稿では,報酬と制約の両方からなる複雑なロボットシステムのためのニューラルネットワークコントローラをトレーニングするための,新しい強化学習フレームワークを提案する。
学習フレームワークは、異なる形態と物理的特性を持つ複数の脚を持つロボットのトレーニングコントローラに適用され、困難な地形を横断する。
- 参考スコア（独自算出の注目度）: 2.7052274816160966
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Several earlier studies have shown impressive control performance in complex robotic systems by designing the controller using a neural network and training it with model-free reinforcement learning. However, these outstanding controllers with natural motion style and high task performance are developed through extensive reward engineering, which is a highly laborious and time-consuming process of designing numerous reward terms and determining suitable reward coefficients. In this work, we propose a novel reinforcement learning framework for training neural network controllers for complex robotic systems consisting of both rewards and constraints. To let the engineers appropriately reflect their intent to constraints and handle them with minimal computation overhead, two constraint types and an efficient policy optimization algorithm are suggested. The learning framework is applied to train locomotion controllers for several legged robots with different morphology and physical attributes to traverse challenging terrains. Extensive simulation and real-world experiments demonstrate that performant controllers can be trained with significantly less reward engineering, by tuning only a single reward coefficient. Furthermore, a more straightforward and intuitive engineering process can be utilized, thanks to the interpretability and generalizability of constraints. The summary video is available at https://youtu.be/KAlm3yskhvM.
- Abstract（参考訳）: ニューラルネットワークを使ってコントローラを設計し、モデルなしの強化学習でそれを訓練することで、複雑なロボットシステムにおいて印象的な制御性能を示している。
しかし、これらの優れた動作スタイルと高いタスク性能を持つコントローラは、多数の報酬項を設計し、適切な報酬係数を決定するのに非常に手間と時間を要する、広範囲な報酬工学によって開発されている。
本研究では,複雑なロボットシステムのためのニューラルネットワークコントローラをトレーニングするための,報酬と制約の両方からなる新しい強化学習フレームワークを提案する。
エンジニアが制約に対する意図を適切に反映し、最小の計算オーバーヘッドで処理できるように、2つの制約タイプと効率的なポリシー最適化アルゴリズムが提案されている。
学習フレームワークは、異なる形態と物理的特性を持つ複数の脚を持つロボットに対して、困難な地形を横断する移動制御器の訓練に応用される。
大規模なシミュレーションと実世界の実験により、単一の報酬係数だけをチューニングすることで、パフォーマンスコントローラをかなり少ない報酬工学で訓練できることが示される。
さらに、制約の解釈可能性と一般化性のおかげで、より単純で直感的なエンジニアリングプロセスが利用できる。
要約ビデオはhttps://youtu.be/KAlm3yskhvM.comで公開されている。
関連論文リスト
- Tiny Reinforcement Learning for Quadruped Locomotion using Decision
Transformers [0.9217021281095907]
リソース制約のあるロボットプラットフォームは、低コストのハードウェア代替品を必要とするタスクに役立ちます。
本稿では,資源制約のあるロボットプラットフォーム上での模倣学習を実現する手法を提案する。
本手法は資源制約された四足歩行ロボットであるBittleの自然視運動を実現する。
論文 参考訳（メタデータ） (2024-02-20T18:10:39Z) - Robot Fine-Tuning Made Easy: Pre-Training Rewards and Policies for
Autonomous Real-World Reinforcement Learning [58.3994826169858]
ロボット強化学習のためのリセット不要な微調整システムであるRoboFuMEを紹介する。
我々の洞察は、オフラインの強化学習技術を利用して、事前訓練されたポリシーの効率的なオンライン微調整を確保することである。
提案手法では,既存のロボットデータセットからのデータを組み込んで,目標タスクを3時間以内の自律現実体験で改善することができる。
論文 参考訳（メタデータ） (2023-10-23T17:50:08Z) - Learning and Adapting Agile Locomotion Skills by Transferring Experience [71.8926510772552]
本稿では,既存のコントローラから新しいタスクを学習するために経験を移譲することで,複雑なロボティクススキルを訓練するためのフレームワークを提案する。
提案手法は,複雑なアジャイルジャンプ行動の学習,後肢を歩いたまま目標地点への移動,新しい環境への適応を可能にする。
論文 参考訳（メタデータ） (2023-04-19T17:37:54Z) - Hindsight States: Blending Sim and Real Task Elements for Efficient
Reinforcement Learning [61.3506230781327]
ロボット工学では、第一原理から導かれた力学モデルに基づくシミュレーションに基づいて、トレーニングデータを生成する方法がある。
ここでは、力学の複雑さの不均衡を利用して、より標本効率のよい学習を行う。
提案手法をいくつかの課題に対して検証し,既存の近視アルゴリズムと組み合わせた場合の学習改善を実証する。
論文 参考訳（メタデータ） (2023-03-03T21:55:04Z) - Self-Improving Robots: End-to-End Autonomous Visuomotor Reinforcement
Learning [54.636562516974884]
模倣と強化学習において、人間の監督コストは、ロボットが訓練できるデータの量を制限する。
本研究では,自己改善型ロボットシステムのための新しい設計手法であるMEDAL++を提案する。
ロボットは、タスクの実施と解除の両方を学ぶことで、自律的にタスクを練習し、同時にデモンストレーションから報酬関数を推論する。
論文 参考訳（メタデータ） (2023-03-02T18:51:38Z) - Obstacle Avoidance for Robotic Manipulator in Joint Space via Improved
Proximal Policy Optimization [6.067589886362815]
本稿では,6-DoFマニピュレータのタスク空間から関節空間にマップするために,改良されたPPOアルゴリズムを用いて深層ニューラルネットワークを訓練する。
実ロボットでそのようなタスクを訓練するのは時間を要するので、モデルを訓練するためのシミュレーション環境を開発する。
実験結果から,ロボットは非構造環境下で1つの目標をトラッキングしたり,複数の目標に到達することができた。
論文 参考訳（メタデータ） (2022-10-03T10:21:57Z) - Complex Locomotion Skill Learning via Differentiable Physics [30.868690308658174]
微分物理学は、ニューラルネットワーク(NN)コントローラの効率的な最適化を可能にする。
本稿では,複雑度と多様性を著しく向上したタスクが可能な統一NNコントローラを出力する実践的学習フレームワークを提案する。
論文 参考訳（メタデータ） (2022-06-06T04:01:12Z) - Towards General and Autonomous Learning of Core Skills: A Case Study in
Locomotion [19.285099263193622]
我々は,足の広いロボットに対して,洗練された移動動作を学習できる学習フレームワークを開発した。
我々の学習フレームワークは、データ効率のよいマルチタスクRLアルゴリズムと、ロボット間で意味論的に同一の報酬関数のセットに依存している。
現実世界の四足ロボットを含む9種類のロボットに対して、同じアルゴリズムが、多種多様な再利用可能な運動スキルを迅速に学習できることを実証する。
論文 参考訳（メタデータ） (2020-08-06T08:23:55Z) - Emergent Real-World Robotic Skills via Unsupervised Off-Policy
Reinforcement Learning [81.12201426668894]
報奨関数を使わずに多様なスキルを習得し,これらのスキルを下流のタスクに再利用する効率的な強化学習手法を開発した。
提案アルゴリズムは学習効率を大幅に向上させ,報酬のない実世界のトレーニングを実現する。
また,学習スキルは,目標指向ナビゲーションのためのモデル予測制御を用いて,追加のトレーニングを伴わずに構成可能であることも実証した。
論文 参考訳（メタデータ） (2020-04-27T17:38:53Z) - Learning Agile Robotic Locomotion Skills by Imitating Animals [72.36395376558984]
動物の多様でアジャイルな運動スキルを再現することは、ロボット工学における長年の課題である。
そこで本研究では,現実世界の動物を模倣することで,足のロボットがアジャイルな運動能力を学ぶことができる模倣学習システムを提案する。
論文 参考訳（メタデータ） (2020-04-02T02:56:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。