論文の概要: Distributed Reinforcement Learning of Targeted Grasping with Active
Vision for Mobile Manipulators
- arxiv url: http://arxiv.org/abs/2007.08082v2
- Date: Wed, 14 Oct 2020 08:59:39 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-09 21:55:08.832958
- Title: Distributed Reinforcement Learning of Targeted Grasping with Active
Vision for Mobile Manipulators
- Title(参考訳): 移動マニピュレータのアクティブビジョンを用いた目標グラスピングの分散強化学習
- Authors: Yasuhiro Fujita, Kota Uenishi, Avinash Ummadisingu, Prabhat Nagarajan,
Shimpei Masuda, and Mario Ynocente Castro
- Abstract要約: 移動体マニピュレータのための最初のRLベースのシステムを提案する。これは、(a)対象対象物に対する目標把握の一般化を実現し、(b)隠蔽対象物による乱れたシーンの複雑な把握戦略を学習し、(c)可動式手首カメラでアクティブなビジョンを実行し、オブジェクトの発見をより良くする。
シミュレーション環境でシステムのトレーニングと評価を行い,性能向上,動作解析,実環境への移動といった重要なコンポーネントを特定した。
- 参考スコア(独自算出の注目度): 4.317864702902075
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Developing personal robots that can perform a diverse range of manipulation
tasks in unstructured environments necessitates solving several challenges for
robotic grasping systems. We take a step towards this broader goal by
presenting the first RL-based system, to our knowledge, for a mobile
manipulator that can (a) achieve targeted grasping generalizing to unseen
target objects, (b) learn complex grasping strategies for cluttered scenes with
occluded objects, and (c) perform active vision through its movable wrist
camera to better locate objects. The system is informed of the desired target
object in the form of a single, arbitrary-pose RGB image of that object,
enabling the system to generalize to unseen objects without retraining. To
achieve such a system, we combine several advances in deep reinforcement
learning and present a large-scale distributed training system using
synchronous SGD that seamlessly scales to multi-node, multi-GPU infrastructure
to make rapid prototyping easier. We train and evaluate our system in a
simulated environment, identify key components for improving performance,
analyze its behaviors, and transfer to a real-world setup.
- Abstract(参考訳): 非構造環境で多様な操作タスクを実行できるパーソナルロボットの開発は、ロボットの把握システムにおけるいくつかの課題を解決する必要がある。
私たちは、私たちの知識に最初のrlベースのシステムを提示することで、この広範な目標に向かって一歩踏み出します。
(a)見当たらない対象物に一般化した目標把握を実現する。
(b)ごちゃごちゃした場面の複雑な把持方略を学習し、
(c)可動式手首カメラでアクティブビジョンを行い、物体の発見を良くする。
このシステムは、所望のターゲットオブジェクトに対して、そのオブジェクトの任意のrgbイメージの形で通知され、システムが再トレーニングすることなく、未認識のオブジェクトに一般化することができる。
このようなシステムを実現するために、深層強化学習のいくつかの進歩を組み合わせることで、高速プロトタイピングを容易にするために、マルチノードマルチgpuインフラストラクチャにシームレスに拡張可能な同期sgdを用いた大規模分散トレーニングシステムを提案する。
シミュレーション環境でシステムをトレーニングし,評価し,性能向上のための重要なコンポーネントを特定し,その動作を分析し,実環境へ移行する。
関連論文リスト
- Modular Neural Network Policies for Learning In-Flight Object Catching
with a Robot Hand-Arm System [55.94648383147838]
本稿では,ロボットハンドアームシステムによる飛行物体の捕獲方法の学習を可能にするモジュラーフレームワークを提案する。
本フレームワークは,物体の軌跡予測を学習するオブジェクト状態推定器,(ii)捕捉対象のポーズのスコアとランク付けを学ぶキャッチポーズ品質ネットワーク,(iii)ロボットハンドをキャッチ前ポーズに移動させるように訓練されたリーチ制御ポリシ,(iv)ソフトキャッチ動作を行うように訓練された把握制御ポリシの5つのコアモジュールから構成される。
各モジュールと統合システムのシミュレーションにおいて、我々のフレームワークを広範囲に評価し、飛行における高い成功率を示す。
論文 参考訳(メタデータ) (2023-12-21T16:20:12Z) - Kinematic-aware Prompting for Generalizable Articulated Object
Manipulation with LLMs [53.66070434419739]
汎用的なオブジェクト操作は、ホームアシストロボットにとって不可欠である。
本稿では,物体のキネマティックな知識を持つ大規模言語モデルに対して,低レベル動作経路を生成するキネマティック・アウェア・プロンプト・フレームワークを提案する。
我々のフレームワークは8つのカテゴリで従来の手法よりも優れており、8つの未確認対象カテゴリに対して強力なゼロショット能力を示している。
論文 参考訳(メタデータ) (2023-11-06T03:26:41Z) - Pave the Way to Grasp Anything: Transferring Foundation Models for
Universal Pick-Place Robots [50.73735524550534]
そこで本稿では,最先端基礎モデルによって生成された言語基底セグメンテーションマスクを効果的に活用する新しいパラダイムを提案する。
マスクから伝達される正確なセマンティクスとジオメトリを多視点ポリシーモデルに統合することにより、正確なオブジェクトのポーズを認識し、サンプル効率のよい学習を可能にする。
論文 参考訳(メタデータ) (2023-06-09T07:22:12Z) - Deep Reinforcement Learning Based on Local GNN for Goal-conditioned
Deformable Object Rearranging [1.807492010338763]
オブジェクトの再配置は、ロボットが変形可能なオブジェクトを目標設定に再構成する必要がある、最も一般的な変形可能な操作タスクの1つである。
従来の研究は、モデルベースまたはデータ駆動アプローチによる各タスクのエキスパートシステムの設計に重点を置いていた。
画像から検出されたキーポイントを2つの表現グラフを用いて符号化する局所GNN(Graph Neural Network)に基づく学習法を設計する。
我々のフレームワークはシミュレーションにおける複数の1-D(ロープリング、ロープリング)と2-D(クロース)の再構成作業に有効であり、キーポイント検出器を微調整することで、実際のロボットに容易に移行できる。
論文 参考訳(メタデータ) (2023-02-21T05:21:26Z) - Dexterous Manipulation from Images: Autonomous Real-World RL via Substep
Guidance [71.36749876465618]
本稿では,ユーザが新しいタスクを定義するための"プログラミング不要"なアプローチを提供する,視覚に基づくデクスタラスな操作システムについて述べる。
本システムには,最終タスクと中間タスクを画像例で定義するためのフレームワークが組み込まれている。
実世界における多段階物体操作の4指ロボットハンドラーによる実験結果
論文 参考訳(メタデータ) (2022-12-19T22:50:40Z) - Efficient and Robust Training of Dense Object Nets for Multi-Object
Robot Manipulation [8.321536457963655]
我々はDense Object Nets(DON)の堅牢で効率的なトレーニングのためのフレームワークを提案する。
本研究は,多目的データを用いた学習に重点を置いている。
実世界のロボットによる把握作業において,提案手法の頑健さと精度を実証する。
論文 参考訳(メタデータ) (2022-06-24T08:24:42Z) - Visuomotor Control in Multi-Object Scenes Using Object-Aware
Representations [25.33452947179541]
ロボット作業におけるオブジェクト指向表現学習の有効性を示す。
本モデルは,サンプル効率のよい制御ポリシーを学習し,最先端のオブジェクト技術より優れている。
論文 参考訳(メタデータ) (2022-05-12T19:48:11Z) - V-MAO: Generative Modeling for Multi-Arm Manipulation of Articulated
Objects [51.79035249464852]
本稿では,音声による物体のマルチアーム操作を学習するためのフレームワークを提案する。
本フレームワークは,各ロボットアームの剛部上の接触点分布を学習する変動生成モデルを含む。
論文 参考訳(メタデータ) (2021-11-07T02:31:09Z) - Long-Horizon Manipulation of Unknown Objects via Task and Motion
Planning with Estimated Affordances [26.082034134908785]
操作可能なオブジェクトの集合に関する事前知識がなくても,タスク・アンド・モーション・プランナが知的行動の計画に利用できることを示す。
この戦略により、単一のシステムが様々な実世界のマルチステップ操作タスクを実行できることを実証する。
論文 参考訳(メタデータ) (2021-08-09T16:13:47Z) - MT-Opt: Continuous Multi-Task Robotic Reinforcement Learning at Scale [103.7609761511652]
大規模集団ロボット学習システムが,行動のレパートリーを同時に獲得できることを示す。
新しいタスクは、以前学んだタスクから継続的にインスタンス化できる。
我々は,7台のロボットから収集したデータを用いて,実世界のタスク12組でシステムを訓練し,評価する。
論文 参考訳(メタデータ) (2021-04-16T16:38:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。