論文の概要: Attribute-Based Robotic Grasping with One-Grasp Adaptation
- arxiv url: http://arxiv.org/abs/2104.02271v1
- Date: Tue, 6 Apr 2021 03:40:46 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-07 13:57:42.215285
- Title: Attribute-Based Robotic Grasping with One-Grasp Adaptation
- Title(参考訳): 1-Grasp適応を用いた属性ベースロボットグラスピング
- Authors: Yang Yang, Yuanhao Liu, Hengyue Liang, Xibai Lou, Changhyun Choi
- Abstract要約: 本稿では,属性に基づくロボットグリップのエンドツーエンド学習手法を提案する。
提案手法は,作業空間の画像とクエリテキストの埋め込みをゲートアテンション機構を用いて融合し,インスタンスの把握能力の予測を学習する。
シミュレーションと実世界での実験結果は、私たちのアプローチが80%以上のインスタンスで未知のオブジェクトの成功率を把握できることを示しています。
- 参考スコア(独自算出の注目度): 9.255994599301712
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Robotic grasping is one of the most fundamental robotic manipulation tasks
and has been actively studied. However, how to quickly teach a robot to grasp a
novel target object in clutter remains challenging. This paper attempts to
tackle the challenge by leveraging object attributes that facilitate
recognition, grasping, and quick adaptation. In this work, we introduce an
end-to-end learning method of attribute-based robotic grasping with one-grasp
adaptation capability. Our approach fuses the embeddings of a workspace image
and a query text using a gated-attention mechanism and learns to predict
instance grasping affordances. Besides, we utilize object persistence before
and after grasping to learn a joint metric space of visual and textual
attributes. Our model is self-supervised in a simulation that only uses basic
objects of various colors and shapes but generalizes to novel objects and
real-world scenes. We further demonstrate that our model is capable of adapting
to novel objects with only one grasp data and improving instance grasping
performance significantly. Experimental results in both simulation and the real
world demonstrate that our approach achieves over 80\% instance grasping
success rate on unknown objects, which outperforms several baselines by large
margins.
- Abstract(参考訳): ロボットハンドリングは、最も基本的なロボット操作タスクの1つであり、積極的に研究されている。
しかし, ロボットに新たな対象物を手軽に把握する方法は, いまだに困難である。
本稿では,認識,把握,迅速な適応を容易にするオブジェクト属性を活用することで,課題に挑戦する。
本稿では,片粒適応機能を有する属性に基づくロボット把持のエンドツーエンド学習手法を提案する。
提案手法は,作業空間の画像とクエリテキストの埋め込みをゲートアテンション機構を用いて融合し,インスタンスの把握能力を予測する。
さらに,視覚属性とテキスト属性の合同距離空間を学習するために,把持前後のオブジェクト持続性を利用する。
シミュレーションでは様々な色や形状の基本的なオブジェクトのみを使用し,新しいオブジェクトや実世界のシーンに一般化する。
さらに,1つの把握データだけで新たなオブジェクトに適応でき,インスタンス把握性能が大幅に向上することを示す。
シミュレーションと実世界における実験結果から, 未知の物体に対する成功率を80%以上獲得し, 多数のベースラインを大きなマージンで上回る結果が得られた。
関連論文リスト
- Self-Explainable Affordance Learning with Embodied Caption [63.88435741872204]
具体的キャプションを具現化したSelf-Explainable Affordance Learning (SEA)を紹介する。
SEAは、ロボットが意図を明確に表現し、説明可能な視覚言語キャプションと視覚能力学習のギャップを埋めることを可能にする。
本稿では, 簡便かつ効率的な方法で, 空き地と自己説明を効果的に組み合わせた新しいモデルを提案する。
論文 参考訳(メタデータ) (2024-04-08T15:22:38Z) - Learning active tactile perception through belief-space control [21.708391958446274]
本稿では,創造的世界モデルを開発することにより,触覚探索政策を自律的に学習する手法を提案する。
本手法は,目的が所望のオブジェクト特性を推定することである3つのシミュレーションタスクに対して評価する。
提案手法は, 所望のプロパティに関する情報を直感的に収集するポリシーを発見できることがわかった。
論文 参考訳(メタデータ) (2023-11-30T21:54:42Z) - Learning Extrinsic Dexterity with Parameterized Manipulation Primitives [8.7221770019454]
我々は、オブジェクトのポーズを変えるために環境を利用する一連のアクションを学習する。
我々のアプローチは、オブジェクトとグリップと環境の間の相互作用を利用してオブジェクトの状態を制御することができる。
拘束されたテーブルトップワークスペースから様々な重量,形状,摩擦特性の箱状物体を選別する手法の評価を行った。
論文 参考訳(メタデータ) (2023-10-26T21:28:23Z) - Transferring Foundation Models for Generalizable Robotic Manipulation [82.12754319808197]
インターネット規模の基盤モデルによって生成された言語推論セグメンテーションマスクを効果的に活用する新しいパラダイムを提案する。
提案手法は,オブジェクトのポーズを効果的かつ堅牢に知覚し,サンプル効率のよい一般化学習を可能にする。
デモは提出されたビデオで見ることができ、より包括的なデモはlink1またはlink2で見ることができます。
論文 参考訳(メタデータ) (2023-06-09T07:22:12Z) - Lifelong Ensemble Learning based on Multiple Representations for
Few-Shot Object Recognition [6.282068591820947]
本稿では,複数表現に基づく一生涯のアンサンブル学習手法を提案する。
生涯学習を容易にするため、各アプローチは、オブジェクト情報を即座に保存して検索するメモリユニットを備える。
提案手法の有効性を,オフラインおよびオープンエンドシナリオで評価するために,幅広い実験を行った。
論文 参考訳(メタデータ) (2022-05-04T10:29:10Z) - Learning Generalizable Dexterous Manipulation from Human Grasp
Affordance [11.060931225148936]
マルチフィンガーハンドによる有害な操作は、ロボット工学における最も難しい問題の1つだ。
模倣学習の最近の進歩は、強化学習と比較してサンプル効率を大幅に改善した。
本稿では,様々な3Dオブジェクトをカテゴリ内に配置した大規模実演を用いて,デクスタラスな操作を学習することを提案する。
論文 参考訳(メタデータ) (2022-04-05T16:26:22Z) - DiffSkill: Skill Abstraction from Differentiable Physics for Deformable
Object Manipulations with Tools [96.38972082580294]
DiffSkillは、変形可能なオブジェクト操作タスクを解決するために、スキル抽象化に微分可能な物理シミュレータを使用する新しいフレームワークである。
特に、勾配に基づくシミュレーターから個々のツールを用いて、まず短距離のスキルを得る。
次に、RGBD画像を入力として取り込む実演軌跡から、ニューラルネットワークの抽象体を学習する。
論文 参考訳(メタデータ) (2022-03-31T17:59:38Z) - MetaGraspNet: A Large-Scale Benchmark Dataset for Vision-driven Robotic
Grasping via Physics-based Metaverse Synthesis [78.26022688167133]
本稿では,物理に基づくメタバース合成による視覚駆動型ロボットグルーピングのための大規模ベンチマークデータセットを提案する。
提案するデータセットには,10万の画像と25種類のオブジェクトが含まれている。
また,オブジェクト検出とセグメンテーション性能を評価するためのデータセットとともに,新しいレイアウト重み付け性能指標を提案する。
論文 参考訳(メタデータ) (2021-12-29T17:23:24Z) - Model-Based Visual Planning with Self-Supervised Functional Distances [104.83979811803466]
モデルに基づく視覚的目標達成のための自己監視手法を提案する。
私たちのアプローチは、オフラインでラベルなしのデータを使って完全に学習します。
このアプローチは,モデルフリーとモデルベース先行手法の両方で大幅に性能が向上することがわかった。
論文 参考訳(メタデータ) (2020-12-30T23:59:09Z) - Visual Imitation Made Easy [102.36509665008732]
本稿では,ロボットへのデータ転送を容易にしながら,データ収集プロセスを単純化する,模倣のための代替インターフェースを提案する。
我々は、データ収集装置やロボットのエンドエフェクターとして、市販のリーチ・グラブラー補助具を使用する。
我々は,非包括的プッシュと包括的積み重ねという2つの課題について実験的に評価した。
論文 参考訳(メタデータ) (2020-08-11T17:58:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。