論文の概要: GAPartNet: Cross-Category Domain-Generalizable Object Perception and Manipulation via Generalizable and Actionable Parts

• arxiv url: http://arxiv.org/abs/2211.05272v1
• Date: Thu, 10 Nov 2022 00:30:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-11 15:25:26.529029
• Title: GAPartNet: Cross-Category Domain-Generalizable Object Perception and Manipulation via Generalizable and Actionable Parts
• Title（参考訳）: GAPartNet: 汎用および動作可能なパーツによるクロスカテゴリドメイン一般化可能なオブジェクト認識と操作
• Authors: Haoran Geng, Helin Xu, Chengyang Zhao, Chao Xu, Li Yi, Siyuan Huang, He Wang
• Abstract要約: 汎用的な物体の認識と操作はコンピュータビジョンとロボティクスのコミュニティによって活発に研究されている。 本研究では、GAParts(Generalizable and Actionable Parts)を通して、そのような一般化可能な知覚と操作を学ぶことを提案する。 本手法は,見知らぬカテゴリーによらず,既存の手法を大きなマージンで上回っている。
• 参考スコア（独自算出の注目度）: 28.922958261132475
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Perceiving and manipulating objects in a generalizable way has been actively studied by the computer vision and robotics communities, where cross-category generalizable manipulation skills are highly desired yet underexplored. In this work, we propose to learn such generalizable perception and manipulation via Generalizable and Actionable Parts (GAParts). By identifying and defining 9 GAPart classes (e.g. buttons, handles, etc), we show that our part-centric approach allows our method to learn object perception and manipulation skills from seen object categories and directly generalize to unseen categories. Following the GAPart definition, we construct a large-scale part-centric interactive dataset, GAPartNet, where rich, part-level annotations (semantics, poses) are provided for 1166 objects and 8489 part instances. Based on GAPartNet, we investigate three cross-category tasks: part segmentation, part pose estimation, and part-based object manipulation. Given the large domain gaps between seen and unseen object categories, we propose a strong 3D segmentation method from the perspective of domain generalization by integrating adversarial learning techniques. Our method outperforms all existing methods by a large margin, no matter on seen or unseen categories. Furthermore, with part segmentation and pose estimation results, we leverage the GAPart pose definition to design part-based manipulation heuristics that can generalize well to unseen object categories in both simulation and real world. The dataset and code will be released.
• Abstract（参考訳）: 汎用的な方法で物体を知覚し操作することは、コンピュータビジョンとロボティクスコミュニティによって積極的に研究されている。 本研究では,GAParts(Generalizable and Actionable Parts)を通じて,そのような一般化可能な認識と操作を学習することを提案する。 9つのgapartクラス(ボタン、ハンドルなど)を特定して定義することで、我々のパートセントリックなアプローチにより、視対象のカテゴリからオブジェクトの知覚と操作スキルを学習し、目に見えないカテゴリに直接一般化できることを示します。 GAPartの定義に従って,1166のオブジェクトと8489のパートインスタンスに対して,リッチな部分レベルのアノテーション(セマンティック,ポーズ)を提供する大規模部分中心対話型データセットGAPartNetを構築した。 GAPartNetに基づいて,部分分割,部分ポーズ推定,部分ベースオブジェクト操作という3つのクロスカテゴリタスクについて検討する。 被写体カテゴリと被写体カテゴリの間の大きな領域ギャップを考慮し、逆学習手法の統合による領域一般化の観点から強力な3次元セグメンテーション手法を提案する。 本手法は,見知らぬカテゴリーによらず,既存の手法を大きなマージンで上回っている。 さらに,パートセグメンテーションとポーズ推定結果を用いてGAPartのポーズ定義を利用して,シミュレーションと実世界の両方において見えない対象カテゴリによく対応できる部分ベースの操作ヒューリスティックを設計する。 データセットとコードがリリースされる。

関連論文リスト

• PartGLEE: A Foundation Model for Recognizing and Parsing Any Objects [104.34288029037141]
  画像中の物体と部分の位置と識別のための部分レベル基礎モデルであるPartGLEEを提案する。 PartGLEEは、オープンワールドシナリオにおけるあらゆる粒度のインスタンスの検出、セグメンテーション、グラウンド化を達成する。
  論文  参考訳（メタデータ） (2024-07-23T17:58:26Z)
• OMG-Seg: Is One Model Good Enough For All Segmentation? [83.17068644513144]
  OMG-Segは、タスク固有のクエリと出力を持つトランスフォーマーベースのエンコーダデコーダアーキテクチャである。 OMG-Segは10以上の異なるセグメンテーションタスクをサポートできるが、計算とパラメータのオーバーヘッドを大幅に削減できることを示す。
  論文  参考訳（メタデータ） (2024-01-18T18:59:34Z)
• Towards Open-World Segmentation of Parts [16.056921233445784]
  本稿では,クラスに依存しない部分分割タスクを提案する。 パートクラスなしでトレーニングされたモデルは、トレーニング時に見えない部分のローカライズとオブジェクトへのセグメンテーションを改善することができる、と私たちは主張する。 当社のアプローチでは,オープンワールドのパートセグメンテーションに向けた重要なステップとして,注目すべきかつ一貫した成果をあげています。
  論文  参考訳（メタデータ） (2023-05-26T10:34:58Z)
• Semi-Weakly Supervised Object Kinematic Motion Prediction [56.282759127180306]
  3Dオブジェクトが与えられた場合、運動予測は移動部と対応する運動パラメータを識別することを目的としている。 階層的部分分割と移動部パラメータのマップを学習するグラフニューラルネットワークを提案する。 ネットワーク予測は、擬似ラベル付き移動情報を持つ大規模な3Dオブジェクトを生成する。
  論文  参考訳（メタデータ） (2023-03-31T02:37:36Z)
• PartManip: Learning Cross-Category Generalizable Part Manipulation Policy from Point Cloud Observations [12.552149411655355]
  私たちは、最初の大規模、パートベースのクロスカテゴリオブジェクト操作ベンチマーク、PartManipを構築しました。 我々は、提案したパートベース標準化とパートアウェア報酬で州ベースのエキスパートを訓練し、その知識をビジョンベースの学生に蒸留する。 クロスカテゴリの一般化のために,ドメイン不変特徴抽出のためのドメイン逆学習を導入する。
  論文  参考訳（メタデータ） (2023-03-29T18:29:30Z)
• Towards Robust Part-aware Instance Segmentation for Industrial Bin Picking [113.79582950811348]
  産業用ビンピッキングのための新しい部分認識型インスタンスセグメンテーションパイプラインを定式化する。 我々は、部品マスクと部品間オフセットを予測する部分認識ネットワークを設計し、続いて認識された部品をインスタンスに組み立てる部分集約モジュールを設計する。 このデータセットは、細く、非自明な形状の様々な産業オブジェクトを含む。
  論文  参考訳（メタデータ） (2022-03-05T14:58:05Z)
• 3D Compositional Zero-shot Learning with DeCompositional Consensus [102.7571947144639]
  我々は、部分的知識は観察されたオブジェクトクラスを超えて構成可能であるべきだと論じる。 本稿では、視覚から見えないオブジェクトクラスへの部分一般化の問題として、3D合成ゼロショット学習を提案する。
  論文  参考訳（メタデータ） (2021-11-29T16:34:53Z)
• CGPart: A Part Segmentation Dataset Based on 3D Computer Graphics Models [19.691187561807475]
  CGPartは3DCADモデル、合成画像、実際のテスト画像に関する詳細なアノテーションを提供する。 CGPartには、$ 5$の車両カテゴリをカバーする221$ 3D CADモデルが含まれています。 これらのCADモデルから168,000ドル(約1万6000円)の合成画像を作成しています。
  論文  参考訳（メタデータ） (2021-03-25T19:34:21Z)
• Commonality-Parsing Network across Shape and Appearance for Partially Supervised Instance Segmentation [71.59275788106622]
  そこで本稿では,マスク付分類から新しい分類へ一般化可能な,クラス非依存の共通性について考察する。 本モデルでは,COCOデータセット上のサンプルセグメンテーションにおける部分教師付き設定と少数ショット設定の両方において,最先端の手法を著しく上回っている。
  論文  参考訳（メタデータ） (2020-07-24T07:23:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。