論文の概要: Learning Agile Soccer Skills for a Bipedal Robot with Deep Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2304.13653v2
• Date: Thu, 11 Apr 2024 09:50:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-12 19:27:55.903435
• Title: Learning Agile Soccer Skills for a Bipedal Robot with Deep Reinforcement Learning
• Title（参考訳）: 深層強化学習による二足歩行ロボットのアジャイルサッカースキルの学習
• Authors: Tuomas Haarnoja, Ben Moran, Guy Lever, Sandy H. Huang, Dhruva Tirumala, Jan Humplik, Markus Wulfmeier, Saran Tunyasuvunakool, Noah Y. Siegel, Roland Hafner, Michael Bloesch, Kristian Hartikainen, Arunkumar Byravan, Leonard Hasenclever, Yuval Tassa, Fereshteh Sadeghi, Nathan Batchelor, Federico Casarini, Stefano Saliceti, Charles Game, Neil Sreendra, Kushal Patel, Marlon Gwira, Andrea Huber, Nicole Hurley, Francesco Nori, Raia Hadsell, Nicolas Heess,
• Abstract要約: Deep Reinforcement Learning (Deep RL)は、低コストでミニチュアなヒューマノイドロボットのための洗練された安全な運動スキルを合成することができる。 我々はDeep RLを使って、20個の関節を持つヒューマノイドロボットを訓練し、1対1(1v1)のサッカーゲームを単純化した。 結果として得られるエージェントは、急激な転倒回復、歩行、回転、蹴りなど、堅牢でダイナミックな動きのスキルを示す。
• 参考スコア（独自算出の注目度）: 26.13655448415553
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We investigate whether Deep Reinforcement Learning (Deep RL) is able to synthesize sophisticated and safe movement skills for a low-cost, miniature humanoid robot that can be composed into complex behavioral strategies in dynamic environments. We used Deep RL to train a humanoid robot with 20 actuated joints to play a simplified one-versus-one (1v1) soccer game. The resulting agent exhibits robust and dynamic movement skills such as rapid fall recovery, walking, turning, kicking and more; and it transitions between them in a smooth, stable, and efficient manner. The agent's locomotion and tactical behavior adapts to specific game contexts in a way that would be impractical to manually design. The agent also developed a basic strategic understanding of the game, and learned, for instance, to anticipate ball movements and to block opponent shots. Our agent was trained in simulation and transferred to real robots zero-shot. We found that a combination of sufficiently high-frequency control, targeted dynamics randomization, and perturbations during training in simulation enabled good-quality transfer. Although the robots are inherently fragile, basic regularization of the behavior during training led the robots to learn safe and effective movements while still performing in a dynamic and agile way -- well beyond what is intuitively expected from the robot. Indeed, in experiments, they walked 181% faster, turned 302% faster, took 63% less time to get up, and kicked a ball 34% faster than a scripted baseline, while efficiently combining the skills to achieve the longer term objectives.
• Abstract（参考訳）: 本研究では,Deep Reinforcement Learning (Deep RL) が,動的環境における複雑な行動戦略を構成することができる,低コストで小型なヒューマノイドロボットの高度で安全な動作スキルを合成できるかどうかを検討する。 我々はDeep RLを使って、20個の関節を持つヒューマノイドロボットを訓練し、1対1(1v1)のサッカーゲームを単純化した。 結果として得られるエージェントは、急激な転倒回復、歩行、回転、蹴りなど、堅牢でダイナミックな動きのスキルを示し、その間を滑らかで安定的で効率的な方法で遷移させる。 エージェントの移動と戦術行動は、手動で設計するには実用的でない方法で特定のゲームコンテキストに適応する。 エージェントはまた、ゲームの基本的な戦略的理解を発展させ、例えばボールの動きを予測し、相手のショットをブロックすることを学ぶ。 我々のエージェントはシミュレーションの訓練を受け、実際のロボットにゼロショットで転送された。 シミュレーションにおけるトレーニング中の十分な高周波制御,ターゲットの動的ランダム化,摂動の組み合わせにより,良質な伝達が可能となった。 ロボットは本質的に脆弱だが、トレーニング中の行動の基本的な規則化は、ロボットが動的でアジャイルな方法で動作しながら、安全で効果的な動作を学ぶことにつながった。 実際、実験では181%の速さで歩いたり、302%の速さで回転させたり、立ち上がるのに63%の時間を要したり、スクリプトベースラインよりも34%の速さでボールを蹴ったりした。

関連論文リスト

• SoloParkour: Constrained Reinforcement Learning for Visual Locomotion from Privileged Experience [19.817578964184147]
  Parkourは、足のついたロボットにとって重要な課題であり、限られた感覚入力に基づいて、俊敏性と精度で複雑な環境をナビゲートする必要がある。 本稿では,深度画素からロボット制御コマンドに至るまでのエンドツーエンドの視覚ポリシーをトレーニングし,アジャイルで安全な四足歩行を実現するための新しい手法を提案する。 本研究では,実際のSolo-12ロボットにおいて,歩行,登山,跳躍,クロールなど,さまざまなパーキングスキルを実行する能力を示す。
  論文  参考訳（メタデータ） (2024-09-20T17:39:20Z)
• DexDribbler: Learning Dexterous Soccer Manipulation via Dynamic Supervision [26.9579556496875]
  移動物体の協調操作と,サッカーなどの足による移動は,学習コミュニティにおいて目立たない注目を集める。 出力をダイナミックな関節レベル移動監視として使用し,必要な身体レベルの動きを正確に計算するフィードバック制御ブロックを提案する。 我々は,我々の学習手法が政策ネットワークをより早く収束させるだけでなく,サッカーロボットが高度な操作を行うことを可能にすることを観察した。
  論文  参考訳（メタデータ） (2024-03-21T11:16:28Z)
• Reinforcement Learning for Versatile, Dynamic, and Robust Bipedal Locomotion Control [106.32794844077534]
  本稿では,二足歩行ロボットのための動的移動制御系を構築するために,深層強化学習を用いた研究について述べる。 本研究では、周期歩行やランニングから周期ジャンプや立位に至るまで、様々な動的二足歩行技術に使用できる汎用的な制御ソリューションを開発する。 この研究は、二足歩行ロボットの俊敏性の限界を、現実世界での広範な実験を通じて押し上げる。
  論文  参考訳（メタデータ） (2024-01-30T10:48:43Z)
• Barkour: Benchmarking Animal-level Agility with Quadruped Robots [70.97471756305463]
  脚付きロボットのアジリティを定量化するための障害物コースであるBarkourベンチマークを導入する。 犬の機敏性の競争に触発され、様々な障害と時間に基づくスコアリング機構から構成される。 ベンチマークに対処する2つの方法を提案する。
  論文  参考訳（メタデータ） (2023-05-24T02:49:43Z)
• Hierarchical Reinforcement Learning for Precise Soccer Shooting Skills using a Quadrupedal Robot [76.04391023228081]
  本研究では,四足歩行ロボットが実世界において,強化学習を用いて精度の高い射撃技術を実現できるという課題に対処する。 本研究では, 深層強化学習を活用して頑健な動作制御政策を訓練する階層的枠組みを提案する。 提案するフレームワークをA1四足歩行ロボットに展開し、実世界のランダムなターゲットに向けて正確にボールを発射できるようにする。
  論文  参考訳（メタデータ） (2022-08-01T22:34:51Z)
• Adaptation of Quadruped Robot Locomotion with Meta-Learning [64.71260357476602]
  本研究では,多岐にわたる移動課題を解くロボットの訓練にメタ強化学習を用いることを実証する。 メタトレーニングロボットのパフォーマンスは、単一のタスクでトレーニングされたロボットと似ている。
  論文  参考訳（メタデータ） (2021-07-08T10:37:18Z)
• Learning Bipedal Robot Locomotion from Human Movement [0.791553652441325]
  本研究では、実世界の二足歩行ロボットに、モーションキャプチャーデータから直接の動きを教えるための強化学習に基づく手法を提案する。 本手法は,シミュレーション環境下でのトレーニングから,物理ロボット上での実行へシームレスに移行する。 本研究では,ダイナミックウォークサイクルから複雑なバランスや手振りに至るまでの動作を内製したヒューマノイドロボットについて実演する。
  論文  参考訳（メタデータ） (2021-05-26T00:49:37Z)
• Learning Agile Locomotion via Adversarial Training [59.03007947334165]
  本稿では,四足歩行ロボット(主人公)が他のロボット(敵)を追いかけるのを学習し,後者が逃げることを学習するマルチエージェント学習システムを提案する。 この敵対的なトレーニングプロセスは、アジャイルの振る舞いを促進するだけでなく、退屈な環境設計の努力を効果的に軽減します。 1つの敵のみを使用した以前の作品とは対照的に、異なる逃走戦略を専門とする敵のアンサンブルを訓練することは、主人公がアジリティを習得するために不可欠である。
  論文  参考訳（メタデータ） (2020-08-03T01:20:37Z)
• Learning Agile Robotic Locomotion Skills by Imitating Animals [72.36395376558984]
  動物の多様でアジャイルな運動スキルを再現することは、ロボット工学における長年の課題である。 そこで本研究では,現実世界の動物を模倣することで,足のロボットがアジャイルな運動能力を学ぶことができる模倣学習システムを提案する。
  論文  参考訳（メタデータ） (2020-04-02T02:56:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。