論文の概要: Bi-Manual Block Assembly via Sim-to-Real Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2303.14870v1
- Date: Mon, 27 Mar 2023 01:25:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-28 17:16:12.561230
- Title: Bi-Manual Block Assembly via Sim-to-Real Reinforcement Learning
- Title（参考訳）: Sim-to-Real Reinforcement Learningによる双方向ブロックアセンブリ
- Authors: Satoshi Kataoka, Youngseog Chung, Seyed Kamyar Seyed Ghasemipour,
Pannag Sanketi, Shixiang Shane Gu, Igor Mordatch
- Abstract要約: 2つのxArm6ロボットがU字型組立タスクを、シミュレーションで90%以上、実際のハードウェアで50%の確率で解決する。
以上の結果から,本システムは今後,深部RLおよびSim2Real転送バイマニュアルポリアの研究を刺激していきたいと願っている。
- 参考スコア（独自算出の注目度）: 24.223788665601678
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Most successes in robotic manipulation have been restricted to single-arm
gripper robots, whose low dexterity limits the range of solvable tasks to
pick-and-place, inser-tion, and object rearrangement. More complex tasks such
as assembly require dual and multi-arm platforms, but entail a suite of unique
challenges such as bi-arm coordination and collision avoidance, robust
grasping, and long-horizon planning. In this work we investigate the
feasibility of training deep reinforcement learning (RL) policies in simulation
and transferring them to the real world (Sim2Real) as a generic methodology for
obtaining performant controllers for real-world bi-manual robotic manipulation
tasks. As a testbed for bi-manual manipulation, we develop the U-Shape Magnetic
BlockAssembly Task, wherein two robots with parallel grippers must connect 3
magnetic blocks to form a U-shape. Without manually-designed controller nor
human demonstrations, we demonstrate that with careful Sim2Real considerations,
our policies trained with RL in simulation enable two xArm6 robots to solve the
U-shape assembly task with a success rate of above90% in simulation, and 50% on
real hardware without any additional real-world fine-tuning. Through careful
ablations,we highlight how each component of the system is critical for such
simple and successful policy learning and transfer,including task
specification, learning algorithm, direct joint-space control, behavior
constraints, perception and actuation noises, action delays and action
interpolation. Our results present a significant step forward for bi-arm
capability on real hardware, and we hope our system can inspire future research
on deep RL and Sim2Real transfer of bi-manualpolicies, drastically scaling up
the capability of real-world robot manipulators.
- Abstract（参考訳）: ロボット操作におけるほとんどの成功は単発グリップロボットに限られており、低デキスタリティは、ピック・アンド・プレイス、インサーション、オブジェクト・アレンジメントまでの解決可能なタスクの範囲を制限する。
アセンブリのようなより複雑なタスクには、デュアルとマルチアームのプラットフォームが必要ですが、バイアームの調整や衝突回避、ロバストな把持、ロングホリゾン計画といったユニークな課題が伴います。
本研究は,実世界のロボット操作タスクにおいて,実世界(Sim2Real)にシミュレーションおよび転送を行うための訓練的深部強化学習(RL)ポリシーの実現可能性について検討する。
両手動操作のためのテストベッドとして,並列グリップを持つ2つのロボットが3つの磁気ブロックを接続し,U字形を形成するU字型磁気ブロックアセンブリタスクを開発した。
手動で設計したコントローラや人間によるデモンストレーションがなければ、RLを用いてシミュレーションで訓練されたポリシーにより、2つのxArm6ロボットがU字組立タスクを、90%以上の成功率で解決でき、実際のハードウェア上では、追加の現実世界の微調整が不要であることを示す。
本稿では,タスク仕様,学習アルゴリズム,直接共同空間制御,行動制約,知覚とアクティベーションノイズ,行動遅延,行動補間など,システムの各コンポーネントが,このようなシンプルかつ成功的な政策学習と伝達にいかに重要かを強調した。
この結果から,実ハードウェア上での両腕能力の大幅な向上が期待できる。本システムは,実世界のロボットマニピュレータの能力を大幅に拡大し,深層rlとsim2実機移行に関する今後の研究を刺激できることを期待する。
関連論文リスト
- Generalize by Touching: Tactile Ensemble Skill Transfer for Robotic Furniture Assembly [24.161856591498825]
TEST(Tactile Ensemble Skill Transfer)は、制御ループに触覚フィードバックを組み込んだオフライン強化学習(RL)アプローチのパイオニアである。
TESTの中核となる設計は、高度計画のためのスキル移行モデルと、適応的なスキル内目標達成ポリシーのセットを学ぶことである。
その結果, TESTは90%以上の成功率を達成でき, 一般化政策の4倍以上の効率であることがわかった。
論文 参考訳（メタデータ） (2024-04-26T20:27:10Z) - Twisting Lids Off with Two Hands [82.21668778600414]
シミュレーションで訓練された政策を実世界へ効果的かつ効率的に移行する方法を示す。
具体的には,ボトル状物体の蓋を両手でねじる問題について考察する。
これは、バイマガル・マルチフィンガーハンドでそのような機能を実現する最初のsim-to-real RLシステムである。
論文 参考訳（メタデータ） (2024-03-04T18:59:30Z) - Nonprehensile Planar Manipulation through Reinforcement Learning with
Multimodal Categorical Exploration [8.343657309038285]
強化学習はそのようなロボットコントローラを開発するための強力なフレームワークである。
分類分布を用いたマルチモーダル探索手法を提案する。
学習したポリシは外部の障害や観測ノイズに対して堅牢であり、複数のプッシュ器でタスクにスケールできることが示される。
論文 参考訳（メタデータ） (2023-08-04T16:55:00Z) - Leveraging Sequentiality in Reinforcement Learning from a Single
Demonstration [68.94506047556412]
本稿では,複雑なロボットタスクの制御ポリシーを1つの実演で学習するために,シーケンシャルなバイアスを活用することを提案する。
本研究は, ヒューマノイド移動やスタンドアップなど, 模擬課題のいくつかを, 前例のないサンプル効率で解くことができることを示す。
論文 参考訳（メタデータ） (2022-11-09T10:28:40Z) - DeXtreme: Transfer of Agile In-hand Manipulation from Simulation to
Reality [64.51295032956118]
我々は人型ロボットの手で頑健な操作を行える政策を訓練する。
本研究は,各種ハードウェアおよびシミュレータのデクスタラス操作におけるsim-to-real転送の可能性を再確認する。
論文 参考訳（メタデータ） (2022-10-25T01:51:36Z) - Active Predicting Coding: Brain-Inspired Reinforcement Learning for
Sparse Reward Robotic Control Problems [79.07468367923619]
ニューラルジェネレーティブ・コーディング(NGC)の神経認知計算フレームワークによるロボット制御へのバックプロパゲーションフリーアプローチを提案する。
我々は、スパース報酬から動的オンライン学習を容易にする強力な予測符号化/処理回路から完全に構築されたエージェントを設計する。
提案するActPCエージェントは,スパース(外部)報酬信号に対して良好に動作し,複数の強力なバックプロップベースのRLアプローチと競合し,性能が優れていることを示す。
論文 参考訳（メタデータ） (2022-09-19T16:49:32Z) - Bi-Manual Manipulation and Attachment via Sim-to-Real Reinforcement
Learning [23.164743388342803]
シミュレーションで訓練された強化学習を用いて,両手作業の解法について検討する。
また、RLポリシーの効果的なトレーニングにつながるシミュレーション環境の変更についても検討する。
本研究では,2つのロボットアームが磁気的接続点を持つ2つのブロックを拾い上げるための接続タスクを設計する。
論文 参考訳（メタデータ） (2022-03-15T21:49:20Z) - Learning to Centralize Dual-Arm Assembly [0.6091702876917281]
この研究は、デュアルアームペグ・イン・ホール操作のためのフレームワークを提供することで、ヒューマノイドロボットの組み立てに焦点を当てている。
スパース報酬のみを用いることで、モデリングの労力を最小限に抑える。
両腕ペグインホールにおけるフレームワークの有効性を実証し、異なるアクション空間におけるサンプル効率と成功率を解析した。
論文 参考訳（メタデータ） (2021-10-08T09:59:12Z) - Learning Multi-Arm Manipulation Through Collaborative Teleoperation [63.35924708783826]
模倣学習(il)はロボットに操作タスクを実行するための強力なパラダイムである。
多くの現実世界のタスクは、重い物体を持ち上げる、デスクを組み立てるなど、複数のアームを必要とする。
複数のリモートユーザが同時にロボットアームを遠隔操作できるマルチユーザデータ収集プラットフォームであるMulti-Arm RoboTurk(MART)を紹介した。
論文 参考訳（メタデータ） (2020-12-12T05:43:43Z) - ReLMoGen: Leveraging Motion Generation in Reinforcement Learning for
Mobile Manipulation [99.2543521972137]
ReLMoGenは、サブゴールを予測するための学習されたポリシーと、これらのサブゴールに到達するために必要な動作を計画し実行するためのモーションジェネレータを組み合わせたフレームワークである。
本手法は,フォトリアリスティック・シミュレーション環境における7つのロボットタスクの多種多様なセットをベンチマークする。
ReLMoGenは、テスト時に異なるモーションジェネレータ間で顕著な転送可能性を示し、実際のロボットに転送する大きな可能性を示している。
論文 参考訳（メタデータ） (2020-08-18T08:05:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。