論文の概要: Learning to Play Table Tennis From Scratch using Muscular Robots
- arxiv url: http://arxiv.org/abs/2006.05935v1
- Date: Wed, 10 Jun 2020 16:43:27 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-23 06:26:25.331516
- Title: Learning to Play Table Tennis From Scratch using Muscular Robots
- Title（参考訳）: 筋ロボットを用いたスクラッチからのテーブルテニスの学習
- Authors: Dieter B\"uchler, Simon Guist, Roberto Calandra, Vincent Berenz,
Bernhard Sch\"olkopf, Jan Peters
- Abstract要約: この研究は、(a)人為的ロボットアームを用いた安全クリティカルな動的タスクを初めて学習し、(b)PAM駆動システムで精度の高い要求問題を学び、(c)本物のボールなしで卓球をするようにロボットを訓練する。
ビデオとデータセットは muscleTT.embodied.ml で入手できる。
- 参考スコア（独自算出の注目度）: 34.34824536814943
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Dynamic tasks like table tennis are relatively easy to learn for humans but
pose significant challenges to robots. Such tasks require accurate control of
fast movements and precise timing in the presence of imprecise state estimation
of the flying ball and the robot. Reinforcement Learning (RL) has shown promise
in learning of complex control tasks from data. However, applying step-based RL
to dynamic tasks on real systems is safety-critical as RL requires exploring
and failing safely for millions of time steps in high-speed regimes. In this
paper, we demonstrate that safe learning of table tennis using model-free
Reinforcement Learning can be achieved by using robot arms driven by pneumatic
artificial muscles (PAMs). Softness and back-drivability properties of PAMs
prevent the system from leaving the safe region of its state space. In this
manner, RL empowers the robot to return and smash real balls with 5 m\s and
12m\s on average to a desired landing point. Our setup allows the agent to
learn this safety-critical task (i) without safety constraints in the
algorithm, (ii) while maximizing the speed of returned balls directly in the
reward function (iii) using a stochastic policy that acts directly on the
low-level controls of the real system and (iv) trains for thousands of trials
(v) from scratch without any prior knowledge. Additionally, we present HYSR, a
practical hybrid sim and real training that avoids playing real balls during
training by randomly replaying recorded ball trajectories in simulation and
applying actions to the real robot. This work is the first to (a) fail-safe
learn of a safety-critical dynamic task using anthropomorphic robot arms, (b)
learn a precision-demanding problem with a PAM-driven system despite the
control challenges and (c) train robots to play table tennis without real
balls. Videos and datasets are available at muscularTT.embodied.ml.
- Abstract（参考訳）: テーブルテニスのようなダイナミックなタスクは人間にとって比較的簡単に学べるが、ロボットにとって大きな課題となる。
このようなタスクは、飛球とロボットの不正確な状態推定が存在する場合に、高速動作の正確な制御と正確なタイミングを必要とする。
強化学習(rl)は、データから複雑な制御タスクを学ぶことに有望である。
しかし、ステップベースのRLを実際のシステムの動的タスクに適用することは安全性に重要であり、RLは高速なシステムにおいて数百万の時間ステップで安全に探索および失敗する必要がある。
本稿では,空気圧人工筋肉(pams)によって駆動されるロボットアームを用いて,モデルフリーの強化学習を用いた卓球の安全学習を実現する。
pamsのソフトネスとバックドラビティ特性は、システムが状態空間の安全な領域を離れることを妨げる。
このようにして、RLはロボットに5m\sと12m\sの実際のボールを平均して所望の着地点に戻す権限を与える。
我々の設定により、エージェントはこの安全クリティカルなタスクを学習できる
(i)アルゴリズムに安全性の制約がないもの
(ii)返却球の速さを最大化しつつ
(三)実システムの低レベルな制御に直接作用する確率的方針の使用、及び
(iv)数千回の試用列車
(v)事前の知識のないゼロから。
さらに,シミュレーションで記録された球軌道をランダムに再生し,実際のロボットにアクションを適用することにより,練習中の実球の演奏を回避できる実用的ハイブリッドシミュレータHYSRを提案する。
この仕事は初めてです
(a)擬人化ロボットアームを用いた安全クリティカルダイナミックタスクのフェールセーフ学習
(b)制御課題にも拘わらず、PAM駆動システムで精度要求問題を学ぶ
(c)本物のボールなしで卓球をするロボットを訓練する。
ビデオとデータセットは muscleTT.embodied.ml で入手できる。
関連論文リスト
- Learning Diverse Robot Striking Motions with Diffusion Models and Kinematically Constrained Gradient Guidance [0.3613661942047476]
私たちは、オフラインで制約付きで、多様なアジャイルの振る舞いを表現する、新しい拡散モデリングアプローチを開発しています。
エアホッケーとリアル卓球の2つの課題領域において, KCGG を評価することで, 時間クリティカルなロボット作業に対するアプローチの有効性を実証する。
論文 参考訳（メタデータ） (2024-09-23T20:26:51Z) - Reinforcement Learning for Versatile, Dynamic, and Robust Bipedal Locomotion Control [106.32794844077534]
本稿では,二足歩行ロボットのための動的移動制御系を構築するために,深層強化学習を用いた研究について述べる。
本研究では、周期歩行やランニングから周期ジャンプや立位に至るまで、様々な動的二足歩行技術に使用できる汎用的な制御ソリューションを開発する。
この研究は、二足歩行ロボットの俊敏性の限界を、現実世界での広範な実験を通じて押し上げる。
論文 参考訳（メタデータ） (2024-01-30T10:48:43Z) - Robot Fine-Tuning Made Easy: Pre-Training Rewards and Policies for
Autonomous Real-World Reinforcement Learning [58.3994826169858]
ロボット強化学習のためのリセット不要な微調整システムであるRoboFuMEを紹介する。
我々の洞察は、オフラインの強化学習技術を利用して、事前訓練されたポリシーの効率的なオンライン微調整を確保することである。
提案手法では,既存のロボットデータセットからのデータを組み込んで,目標タスクを3時間以内の自律現実体験で改善することができる。
論文 参考訳（メタデータ） (2023-10-23T17:50:08Z) - Robotic Table Tennis: A Case Study into a High Speed Learning System [30.30242337602385]
本研究では,人間と数百の卓球アライグが可能な実世界のロボット学習システムを提案する。
本システムは,高度に最適化された知覚サブシステム,高速低遅延ロボットコントローラ,現実世界の損傷を防ぐシミュレーションパラダイムを組み込んだ。
論文 参考訳（メタデータ） (2023-09-06T18:56:20Z) - Quality-Diversity Optimisation on a Physical Robot Through
Dynamics-Aware and Reset-Free Learning [4.260312058817663]
本研究では,リセットフリーQD(RF-QD)アルゴリズムを用いて,物理ロボット上で直接コントローラを学習する。
本手法は,ロボットと環境との相互作用から学習したダイナミクスモデルを用いて,ロボットの動作を予測する。
RF-QDには、ロボットが外を歩いたときに安全なゾーンに戻すリカバリポリシーも含まれており、継続的な学習を可能にしている。
論文 参考訳（メタデータ） (2023-04-24T13:24:00Z) - Hindsight States: Blending Sim and Real Task Elements for Efficient
Reinforcement Learning [61.3506230781327]
ロボット工学では、第一原理から導かれた力学モデルに基づくシミュレーションに基づいて、トレーニングデータを生成する方法がある。
ここでは、力学の複雑さの不均衡を利用して、より標本効率のよい学習を行う。
提案手法をいくつかの課題に対して検証し,既存の近視アルゴリズムと組み合わせた場合の学習改善を実証する。
論文 参考訳（メタデータ） (2023-03-03T21:55:04Z) - Hierarchical Reinforcement Learning for Precise Soccer Shooting Skills
using a Quadrupedal Robot [76.04391023228081]
本研究では,四足歩行ロボットが実世界において,強化学習を用いて精度の高い射撃技術を実現できるという課題に対処する。
本研究では, 深層強化学習を活用して頑健な動作制御政策を訓練する階層的枠組みを提案する。
提案するフレームワークをA1四足歩行ロボットに展開し、実世界のランダムなターゲットに向けて正確にボールを発射できるようにする。
論文 参考訳（メタデータ） (2022-08-01T22:34:51Z) - Accelerating Robotic Reinforcement Learning via Parameterized Action
Primitives [92.0321404272942]
強化学習は汎用ロボットシステムの構築に使用することができる。
しかし、ロボット工学の課題を解決するためにRLエージェントを訓練することは依然として困難である。
本研究では,ロボット行動プリミティブ(RAPS)のライブラリを手動で指定し,RLポリシーで学習した引数をパラメータ化する。
動作インターフェースへの簡単な変更は、学習効率とタスクパフォーマンスの両方を大幅に改善する。
論文 参考訳（メタデータ） (2021-10-28T17:59:30Z) - Learning of Parameters in Behavior Trees for Movement Skills [0.9562145896371784]
振舞い木(BT)は、モジュラーと構成可能なスキルをサポートするポリシー表現を提供することができる。
本稿では,BTポリシーのパラメータをシミュレーションで学習し,追加のトレーニングを伴わずに物理ロボットに一般化するアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-09-27T13:46:39Z) - RL STaR Platform: Reinforcement Learning for Simulation based Training
of Robots [3.249853429482705]
強化学習(Reinforcement Learning, RL)は、宇宙ロボット工学における自律性と意思決定能力を高めるための、有望な分野である。
本稿では,RL STaRプラットフォームについて紹介する。
論文 参考訳（メタデータ） (2020-09-21T03:09:53Z) - Meta-Reinforcement Learning for Robotic Industrial Insertion Tasks [70.56451186797436]
本研究では,メタ強化学習を用いてシミュレーションの課題の大部分を解決する方法について検討する。
エージェントを訓練して現実の挿入タスクを成功させる手法を実証する。
論文 参考訳（メタデータ） (2020-04-29T18:00:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。