論文の概要: Real Robot Challenge using Deep Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2109.15233v1
- Date: Thu, 30 Sep 2021 16:12:17 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-01 17:20:33.038600
- Title: Real Robot Challenge using Deep Reinforcement Learning
- Title(参考訳): 深層強化学習を用いたリアルロボットチャレンジ
- Authors: Robert McCarthy, Francisco Roldan Sanchez, Kevin McGuinness, Noel
O'Connor, Stephen J. Redmond
- Abstract要約: 本稿では,2021年リアルロボットチャレンジの第1フェーズの優勝を詳述する。
課題は、3本指のロボットが特定の目標軌道に沿って立方体を運ばなければならないことだ。
我々は、ロボットシステムの知識を最小限にする必要のある、純粋な強化学習アプローチを使用している。
- 参考スコア(独自算出の注目度): 6.332038240397164
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper details our winning submission to Phase 1 of the 2021 Real Robot
Challenge, a challenge in which a three fingered robot must carry a cube along
specified goal trajectories. To solve Phase 1, we use a pure reinforcement
learning approach which requires minimal expert knowledge of the robotic system
or of robotic grasping in general. A sparse goal-based reward is employed in
conjunction with Hindsight Experience Replay to teach the control policy to
move the cube to the desired x and y coordinates. Simultaneously, a dense
distance-based reward is employed to teach the policy to lift the cube to the
desired z coordinate. The policy is trained in simulation with domain
randomization before being transferred to the real robot for evaluation.
Although performance tends to worsen after this transfer, our best trained
policy can successfully lift the real cube along goal trajectories via the use
of an effective pinching grasp. Our approach outperforms all other submissions,
including those leveraging more traditional robotic control techniques, and is
the first learning-based approach to solve this challenge.
- Abstract(参考訳): 本稿は,2021年現実ロボットチャレンジの第1フェーズにおいて,3本指ロボットが特定のゴールの軌跡に沿って立方体を運ぶことの課題である。
第1相を解決するために,ロボットシステムや一般にロボット把持に関する専門知識を最小限に抑える純粋強化学習手法を用いる。
後見経験リプレイと連動して、キューブを所望のx,y座標に移動させる制御ポリシーを教えるため、スパース目標ベースの報酬が使用される。
同時に、キューブを所望のz座標に持ち上げる方針を教えるために、密接な距離に基づく報酬が用いられる。
このポリシーは、評価のために実際のロボットに移される前に、ドメインランダム化によるシミュレーションで訓練される。
この移行後に性能が悪化する傾向にあるが、効果的なピンチグリップを用いてゴール軌道に沿って実際の立方体を持ち上げることができる。
私たちのアプローチは、従来のロボット制御技術を活用するものを含む、他のすべての提案よりも優れており、この課題を解決する最初の学習ベースのアプローチです。
関連論文リスト
- Single-Shot Learning of Stable Dynamical Systems for Long-Horizon Manipulation Tasks [48.54757719504994]
本稿では,必要なトレーニングデータ量を削減しつつ,タスク成功率の向上に焦点をあてる。
提案手法では,長距離実証をウェイポイントとサブゴールで定義された離散ステップに分割する手法を提案する。
シミュレーションと実世界の両方の実験を通して,本手法を検証し,シミュレーションから物理ロボットプラットフォームへの効果的移行を実証した。
論文 参考訳(メタデータ) (2024-10-01T19:49:56Z) - Offline Imitation Learning Through Graph Search and Retrieval [57.57306578140857]
模倣学習は、ロボットが操作スキルを取得するための強力な機械学習アルゴリズムである。
本稿では,グラフ検索と検索により,最適下実験から学習する,シンプルで効果的なアルゴリズムGSRを提案する。
GSRは、ベースラインに比べて10%から30%高い成功率、30%以上の熟練を達成できる。
論文 参考訳(メタデータ) (2024-07-22T06:12:21Z) - Towards Real-World Efficiency: Domain Randomization in Reinforcement Learning for Pre-Capture of Free-Floating Moving Targets by Autonomous Robots [0.0]
本研究では,微小重力環境下でのロボットプレグラスピングの複雑な課題に対処するために,深層強化学習に基づく制御手法を提案する。
本手法は,ソフトアクター・クリティックな手法を用いて,自由な移動物体にグリッパーが十分に接近できるように,非政治強化学習の枠組みを取り入れたものである。
プレグラスピングのアプローチタスクを効果的に学習するために,エージェントに明確で洞察に富んだフィードバックを提供する報酬関数を開発した。
論文 参考訳(メタデータ) (2024-06-10T16:54:51Z) - Contact Energy Based Hindsight Experience Prioritization [19.42106651692228]
強化学習(RL)アルゴリズムでは,報酬の少ないマルチゴールロボット操作作業が困難である。
Hindsight Experience Replay (HER)のような最近のアルゴリズムは、失敗軌跡を生かして学習を高速化している。
本稿では,コンタクトによるリッチな情報に基づいて,リプレイバッファからサンプルを選択するための,CEBP(Contact Energy Based Prioritization)を提案する。
論文 参考訳(メタデータ) (2023-12-05T11:32:25Z) - Robot Fine-Tuning Made Easy: Pre-Training Rewards and Policies for
Autonomous Real-World Reinforcement Learning [58.3994826169858]
ロボット強化学習のためのリセット不要な微調整システムであるRoboFuMEを紹介する。
我々の洞察は、オフラインの強化学習技術を利用して、事前訓練されたポリシーの効率的なオンライン微調整を確保することである。
提案手法では,既存のロボットデータセットからのデータを組み込んで,目標タスクを3時間以内の自律現実体験で改善することができる。
論文 参考訳(メタデータ) (2023-10-23T17:50:08Z) - Stabilizing Contrastive RL: Techniques for Robotic Goal Reaching from
Offline Data [101.43350024175157]
自己指導型学習は、制御戦略を学ぶのに必要な人間のアノテーションとエンジニアリングの労力を減らす可能性がある。
我々の研究は、強化学習(RL)自体が自己監督的な問題であることを示す先行研究に基づいている。
コントラスト学習に基づく自己教師付きRLアルゴリズムは,実世界の画像に基づくロボット操作タスクを解くことができることを示す。
論文 参考訳(メタデータ) (2023-06-06T01:36:56Z) - Self-Improving Robots: End-to-End Autonomous Visuomotor Reinforcement
Learning [54.636562516974884]
模倣と強化学習において、人間の監督コストは、ロボットが訓練できるデータの量を制限する。
本研究では,自己改善型ロボットシステムのための新しい設計手法であるMEDAL++を提案する。
ロボットは、タスクの実施と解除の両方を学ぶことで、自律的にタスクを練習し、同時にデモンストレーションから報酬関数を推論する。
論文 参考訳(メタデータ) (2023-03-02T18:51:38Z) - Leveraging Sequentiality in Reinforcement Learning from a Single
Demonstration [68.94506047556412]
本稿では,複雑なロボットタスクの制御ポリシーを1つの実演で学習するために,シーケンシャルなバイアスを活用することを提案する。
本研究は, ヒューマノイド移動やスタンドアップなど, 模擬課題のいくつかを, 前例のないサンプル効率で解くことができることを示す。
論文 参考訳(メタデータ) (2022-11-09T10:28:40Z) - Advanced Skills by Learning Locomotion and Local Navigation End-to-End [10.872193480485596]
本研究は, 深層強化学習によるエンドツーエンド政策の訓練により, 完全な問題を解決することを提案する。
実際の四足歩行ロボットにおけるポリシーの展開を実演する。
論文 参考訳(メタデータ) (2022-09-26T16:35:00Z) - Dexterous Robotic Manipulation using Deep Reinforcement Learning and
Knowledge Transfer for Complex Sparse Reward-based Tasks [23.855931395239747]
本稿では,Real Robot Challenge (RRC) 2021のフェーズ1で優勝した深層強化学習(DRL)アプローチについて述べる。
本手法は,ロボットが特定の方向に立方体を維持するために,RCのフェーズ1のタスクを変更することで拡張する。
論文 参考訳(メタデータ) (2022-05-19T16:40:22Z) - Reinforcement Learning Experiments and Benchmark for Solving Robotic
Reaching Tasks [0.0]
強化学習はロボットアームによる到達タスクの解決に成功している。
ハイドサイト体験再生探索技術により報奨信号の増大が, オフ・ポリティクス・エージェントの平均リターンを増加させることが示されている。
論文 参考訳(メタデータ) (2020-11-11T14:00:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。