論文の概要: GAMMA: Generalizable Articulation Modeling and Manipulation for
Articulated Objects
- arxiv url: http://arxiv.org/abs/2309.16264v2
- Date: Wed, 4 Oct 2023 13:16:25 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-05 20:36:49.258854
- Title: GAMMA: Generalizable Articulation Modeling and Manipulation for
Articulated Objects
- Title(参考訳): GAMMA:Articulated Objectsの一般化可能なArticulation ModelとManipulation
- Authors: Qiaojun Yu, Junbo Wang, Wenhai Liu, Ce Hao, Liu Liu, Lin Shao, Weiming
Wang and Cewu Lu
- Abstract要約: 本稿では,GAMMA(Generalizable Articulation Modeling and Manipulating for Articulated Objects)の新たな枠組みを提案する。
GAMMAは,異なるカテゴリーの多種多様な調音オブジェクトから,調音モデルと手取りポーズの相違を学習する。
その結果, GAMMA はSOTA の調音モデルおよび操作アルゴリズムを, 目に見えない, 横断的な調音オブジェクトで著しく上回っていることがわかった。
- 参考スコア(独自算出の注目度): 53.965581080954905
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Articulated objects like cabinets and doors are widespread in daily life.
However, directly manipulating 3D articulated objects is challenging because
they have diverse geometrical shapes, semantic categories, and kinetic
constraints. Prior works mostly focused on recognizing and manipulating
articulated objects with specific joint types. They can either estimate the
joint parameters or distinguish suitable grasp poses to facilitate trajectory
planning. Although these approaches have succeeded in certain types of
articulated objects, they lack generalizability to unseen objects, which
significantly impedes their application in broader scenarios. In this paper, we
propose a novel framework of Generalizable Articulation Modeling and
Manipulating for Articulated Objects (GAMMA), which learns both articulation
modeling and grasp pose affordance from diverse articulated objects with
different categories. In addition, GAMMA adopts adaptive manipulation to
iteratively reduce the modeling errors and enhance manipulation performance. We
train GAMMA with the PartNet-Mobility dataset and evaluate with comprehensive
experiments in SAPIEN simulation and real-world Franka robot. Results show that
GAMMA significantly outperforms SOTA articulation modeling and manipulation
algorithms in unseen and cross-category articulated objects. We will
open-source all codes and datasets in both simulation and real robots for
reproduction in the final version. Images and videos are published on the
project website at: http://sites.google.com/view/gamma-articulation
- Abstract(参考訳): キャビネットやドアなどの人工物は日常生活に広く普及している。
しかし, 3次元関節オブジェクトを直接操作することは, 幾何学的形状, 意味的カテゴリ, 運動論的制約が多様であるため, 困難である。
先行研究は主に特定の関節型を持つ関節オブジェクトの認識と操作に焦点を当てた。
ジョイントパラメータを推定するか、軌道計画を容易にする適切な把持姿勢を区別するかのどちらかである。
これらのアプローチは、特定の種類の明瞭なオブジェクトに成功しているが、見つからないオブジェクトに対する一般化性に欠けており、より広いシナリオでのアプリケーションを大幅に妨げている。
本稿では,異なるカテゴリーの多種多様な調音オブジェクトから,調音モデリングとポーズの相性の両方を学習するGAMMA(Generalizable Articulation Modeling and Manipulating for Articulated Objects)の枠組みを提案する。
さらに、ガンマは適応操作を採用し、モデリングエラーを反復的に低減し、操作性能を向上させる。
我々は,partnet-mobilityデータセットを用いてガンマを訓練し,サピエンシミュレーションと実世界のフランカロボットを用いた総合実験により評価する。
その結果, GAMMA はSOTA の調音モデルおよび操作アルゴリズムを, 目に見えない, 横断的な調音オブジェクトで著しく上回っていることがわかった。
最終バージョンでは、シミュレーションと実際のロボットの両方で、すべてのコードとデータセットをオープンソース化します。
画像とビデオはプロジェクトのwebサイトで公開される。 http://sites.google.com/view/gamma-articulation
関連論文リスト
- RPMArt: Towards Robust Perception and Manipulation for Articulated Objects [56.73978941406907]
本稿では,Articulated Objects (RPMArt) のロバスト知覚と操作のためのフレームワークを提案する。
RPMArtは、調音パラメータを推定し、雑音の多い点雲から調音部分を操作することを学習する。
我々は,シミュレート・トゥ・リアル・トランスファーの能力を高めるための調音認識型分類手法を提案する。
論文 参考訳(メタデータ) (2024-03-24T05:55:39Z) - CAGE: Controllable Articulation GEneration [14.002289666443529]
分割拡散法を用いて, 部品形状, 接続性, 動きの相互作用を利用する。
本手法では,オブジェクトカテゴリラベルと部分接続グラフを入力として,オブジェクトの形状と運動パラメータを生成する。
実験の結果,本手法は音声オブジェクト生成における最先端の手法よりも優れていることがわかった。
論文 参考訳(メタデータ) (2023-12-15T07:04:27Z) - Kinematic-aware Prompting for Generalizable Articulated Object
Manipulation with LLMs [53.66070434419739]
汎用的なオブジェクト操作は、ホームアシストロボットにとって不可欠である。
本稿では,物体のキネマティックな知識を持つ大規模言語モデルに対して,低レベル動作経路を生成するキネマティック・アウェア・プロンプト・フレームワークを提案する。
我々のフレームワークは8つのカテゴリで従来の手法よりも優れており、8つの未確認対象カテゴリに対して強力なゼロショット能力を示している。
論文 参考訳(メタデータ) (2023-11-06T03:26:41Z) - Transferring Foundation Models for Generalizable Robotic Manipulation [82.12754319808197]
インターネット規模の基盤モデルによって生成された言語推論セグメンテーションマスクを効果的に活用する新しいパラダイムを提案する。
提案手法は,オブジェクトのポーズを効果的かつ堅牢に知覚し,サンプル効率のよい一般化学習を可能にする。
デモは提出されたビデオで見ることができ、より包括的なデモはlink1またはlink2で見ることができます。
論文 参考訳(メタデータ) (2023-06-09T07:22:12Z) - Decoupling Skill Learning from Robotic Control for Generalizable Object
Manipulation [35.34044822433743]
ロボット操作の最近の研究は、様々なタスクに取り組む可能性を示している。
これは関節制御のための高次元の作用空間によるものであると推測する。
本稿では,「何をすべきか」を「どうやるか」から「どうやるか」を学習するタスクを,別のアプローチで分離する。
ロボットキネマティック・コントロールは、作業空間のゴールに到達するために高次元の関節運動を実行するように最適化されている。
論文 参考訳(メタデータ) (2023-03-07T16:31:13Z) - Category-Independent Articulated Object Tracking with Factor Graphs [14.574389906480867]
アーティキュレートされた物体は、カテゴリー的先行と矛盾する予期せぬ調音機構を持つ。
RGB-D画像のシーケンスから未知物体の調音モデルを予測するためのカテゴリ非依存のフレームワークを提案する。
我々の視覚知覚と因子グラフモジュールは、シミュレーションデータに基づくベースラインよりも優れており、実世界のデータに対する因子グラフの適用性を示している。
論文 参考訳(メタデータ) (2022-05-07T20:59:44Z) - AKB-48: A Real-World Articulated Object Knowledge Base [38.4899076076656]
提案するAKB-48は,48種類の実世界2,037個のオブジェクトモデルからなる大規模Articulated Object Knowledge Baseである。
AKB-48を構築するために,約10~15分でArtiKGを満たす高速調音知識モデリング(FArM)パイプラインを提案する。
提案するAKBNetは,C-VAM(Calegory-level Visual Articulation Manipulation)タスクのための新しい積分パイプラインである。
論文 参考訳(メタデータ) (2022-02-17T03:24:07Z) - MetaGraspNet: A Large-Scale Benchmark Dataset for Vision-driven Robotic
Grasping via Physics-based Metaverse Synthesis [78.26022688167133]
本稿では,物理に基づくメタバース合成による視覚駆動型ロボットグルーピングのための大規模ベンチマークデータセットを提案する。
提案するデータセットには,10万の画像と25種類のオブジェクトが含まれている。
また,オブジェクト検出とセグメンテーション性能を評価するためのデータセットとともに,新しいレイアウト重み付け性能指標を提案する。
論文 参考訳(メタデータ) (2021-12-29T17:23:24Z) - V-MAO: Generative Modeling for Multi-Arm Manipulation of Articulated
Objects [51.79035249464852]
本稿では,音声による物体のマルチアーム操作を学習するためのフレームワークを提案する。
本フレームワークは,各ロボットアームの剛部上の接触点分布を学習する変動生成モデルを含む。
論文 参考訳(メタデータ) (2021-11-07T02:31:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。