論文の概要: Attribute-Based Robotic Grasping with Data-Efficient Adaptation
- arxiv url: http://arxiv.org/abs/2501.02149v1
- Date: Sat, 04 Jan 2025 00:37:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-07 17:06:28.699335
- Title: Attribute-Based Robotic Grasping with Data-Efficient Adaptation
- Title（参考訳）: データ効率適応型属性ベースロボットグラスピング
- Authors: Yang Yang, Houjian Yu, Xibai Lou, Yuanhao Liu, Changhyun Choi,
- Abstract要約: 属性に基づくロボットグルーピングを学習するエンド・ツー・エンドのエンコーダ・デコーダネットワークを提案する。
提案手法は,未知のオブジェクトに対して,成功率を81%以上獲得する。
- 参考スコア（独自算出の注目度）: 19.683833436076313
- License:
- Abstract: Robotic grasping is one of the most fundamental robotic manipulation tasks and has been the subject of extensive research. However, swiftly teaching a robot to grasp a novel target object in clutter remains challenging. This paper attempts to address the challenge by leveraging object attributes that facilitate recognition, grasping, and rapid adaptation to new domains. In this work, we present an end-to-end encoder-decoder network to learn attribute-based robotic grasping with data-efficient adaptation capability. We first pre-train the end-to-end model with a variety of basic objects to learn generic attribute representation for recognition and grasping. Our approach fuses the embeddings of a workspace image and a query text using a gated-attention mechanism and learns to predict instance grasping affordances. To train the joint embedding space of visual and textual attributes, the robot utilizes object persistence before and after grasping. Our model is self-supervised in a simulation that only uses basic objects of various colors and shapes but generalizes to novel objects in new environments. To further facilitate generalization, we propose two adaptation methods, adversarial adaption and one-grasp adaptation. Adversarial adaptation regulates the image encoder using augmented data of unlabeled images, whereas one-grasp adaptation updates the overall end-to-end model using augmented data from one grasp trial. Both adaptation methods are data-efficient and considerably improve instance grasping performance. Experimental results in both simulation and the real world demonstrate that our approach achieves over 81% instance grasping success rate on unknown objects, which outperforms several baselines by large margins.
- Abstract（参考訳）: ロボットの把握は、ロボット操作の最も基本的なタスクの1つであり、広範な研究の対象となっている。
しかし,ロボットに新たな対象物を把握するように素早く教えることは,いまだに困難である。
本稿では、認識、把握、新しいドメインへの迅速な適応を容易にするオブジェクト属性を活用することで、この問題に対処する。
本研究では,データ効率適応機能を備えた属性に基づくロボットグリップ学習のためのエンド・ツー・エンドエンコーダ・デコーダネットワークを提案する。
まずエンド・ツー・エンドのモデルを様々な基本オブジェクトで事前学習し、認識と把握のための汎用属性表現を学習する。
提案手法は,作業空間の画像とクエリテキストの埋め込みをゲートアテンション機構を用いて融合し,インスタンスの把握能力の予測を学習する。
視覚的属性とテキスト的属性の結合埋め込み空間を訓練するために、ロボットは、つかむ前後の物体の永続性を利用する。
我々のモデルは,様々な色や形状の基本的なオブジェクトのみを用いるシミュレーションで自己管理されているが,新しい環境における新しいオブジェクトに一般化する。
一般化の促進を図るため,逆適応法と1グラフ適応法という2つの適応法を提案する。
逆順応はラベルなし画像の付加データを用いて画像エンコーダを規制するが、一方のグレープ適応は1つのグリップトライアルからの付加データを用いて全体エンドツーエンドモデルを更新する。
いずれの手法もデータ効率が良く、インスタンスの把握性能が大幅に向上する。
シミュレーションと実世界の両方における実験結果から, 未知の物体に対する成功率を 81% 以上の精度で把握できることが証明された。
関連論文リスト
- Constrained Equation Learner Networks for Precision-Preserving
Extrapolation of Robotic Skills [6.144680854063937]
本稿では,実証によるプログラミングにおける軌道適応問題に対処する,教師付き学習フレームワークを提案する。
方程式学習ネットワークを用いて解析式を学習し,基礎関数として利用する。
提案手法は, ロボット軌道の適応における3つの課題に対処する。1) 軌道の歪みを最小限に抑えること,2) 適応の精度を保つこと,3) 基本機能の構造に関する直観の欠如に対処すること。
論文 参考訳（メタデータ） (2023-11-04T18:16:18Z) - Class Incremental Learning with Pre-trained Vision-Language Models [59.15538370859431]
本稿では、事前学習された視覚言語モデル(例えば、CLIP)を利用して、さらなる適応を可能にするアプローチを提案する。
いくつかの従来のベンチマークの実験は、常に現在の最先端よりも顕著な改善のマージンを示している。
論文 参考訳（メタデータ） (2023-10-31T10:45:03Z) - Transferring Foundation Models for Generalizable Robotic Manipulation [82.12754319808197]
インターネット規模の基盤モデルによって生成された言語推論セグメンテーションマスクを効果的に活用する新しいパラダイムを提案する。
提案手法は,オブジェクトのポーズを効果的かつ堅牢に知覚し,サンプル効率のよい一般化学習を可能にする。
デモは提出されたビデオで見ることができ、より包括的なデモはlink1またはlink2で見ることができます。
論文 参考訳（メタデータ） (2023-06-09T07:22:12Z) - HyperImpute: Generalized Iterative Imputation with Automatic Model
Selection [77.86861638371926]
カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。
既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
論文 参考訳（メタデータ） (2022-06-15T19:10:35Z) - DiffSkill: Skill Abstraction from Differentiable Physics for Deformable
Object Manipulations with Tools [96.38972082580294]
DiffSkillは、変形可能なオブジェクト操作タスクを解決するために、スキル抽象化に微分可能な物理シミュレータを使用する新しいフレームワークである。
特に、勾配に基づくシミュレーターから個々のツールを用いて、まず短距離のスキルを得る。
次に、RGBD画像を入力として取り込む実演軌跡から、ニューラルネットワークの抽象体を学習する。
論文 参考訳（メタデータ） (2022-03-31T17:59:38Z) - ProFormer: Learning Data-efficient Representations of Body Movement with
Prototype-based Feature Augmentation and Visual Transformers [31.908276711898548]
身体からのデータ効率の高い認識法は、画像のような配列として構造化された骨格配列をますます活用している。
我々は、このパラダイムをトランスフォーマーネットワークの観点から見て、初めて、骨格運動のデータ効率の高いエンコーダとして視覚トランスフォーマーを探索する。
私たちのパイプラインでは、画像のような表現としてキャストされたボディポーズシーケンスをパッチ埋め込みに変換し、深いメトリック学習に最適化されたビジュアルトランスフォーマーバックボーンに渡します。
論文 参考訳（メタデータ） (2022-02-23T11:11:54Z) - MetaGraspNet: A Large-Scale Benchmark Dataset for Vision-driven Robotic
Grasping via Physics-based Metaverse Synthesis [78.26022688167133]
本稿では,物理に基づくメタバース合成による視覚駆動型ロボットグルーピングのための大規模ベンチマークデータセットを提案する。
提案するデータセットには,10万の画像と25種類のオブジェクトが含まれている。
また,オブジェクト検出とセグメンテーション性能を評価するためのデータセットとともに,新しいレイアウト重み付け性能指標を提案する。
論文 参考訳（メタデータ） (2021-12-29T17:23:24Z) - Attribute-Based Robotic Grasping with One-Grasp Adaptation [9.255994599301712]
本稿では,属性に基づくロボットグリップのエンドツーエンド学習手法を提案する。
提案手法は,作業空間の画像とクエリテキストの埋め込みをゲートアテンション機構を用いて融合し,インスタンスの把握能力の予測を学習する。
シミュレーションと実世界での実験結果は、私たちのアプローチが80%以上のインスタンスで未知のオブジェクトの成功率を把握できることを示しています。
論文 参考訳（メタデータ） (2021-04-06T03:40:46Z) - One to Many: Adaptive Instrument Segmentation via Meta Learning and
Dynamic Online Adaptation in Robotic Surgical Video [71.43912903508765]
MDALは、ロボット支援手術における機器セグメンテーションのための動的オンライン適応学習スキームです。
ビデオ固有のメタ学習パラダイムを通じて、楽器の一般的な知識と高速適応能力を学ぶ。
2つのデータセットで他の最先端のメソッドよりも優れています。
論文 参考訳（メタデータ） (2021-03-24T05:02:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。