論文の概要: GAPartNet: Cross-Category Domain-Generalizable Object Perception and
Manipulation via Generalizable and Actionable Parts
- arxiv url: http://arxiv.org/abs/2211.05272v2
- Date: Sun, 26 Mar 2023 23:59:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-29 02:00:32.920295
- Title: GAPartNet: Cross-Category Domain-Generalizable Object Perception and
Manipulation via Generalizable and Actionable Parts
- Title（参考訳）: GAPartNet: 汎用および動作可能なパーツによるクロスカテゴリドメイン一般化可能なオブジェクト認識と操作
- Authors: Haoran Geng, Helin Xu, Chengyang Zhao, Chao Xu, Li Yi, Siyuan Huang,
He Wang
- Abstract要約: 我々はGAParts(Generalizable and Actionable Parts)を通してクロスカテゴリスキルを学ぶ
GAPartNetに基づいて,部分分割,部分ポーズ推定,部分ベースオブジェクト操作という3つのクロスカテゴリタスクについて検討する。
本手法は,見知らぬカテゴリーによらず,既存の手法を大きなマージンで上回っている。
- 参考スコア（独自算出の注目度）: 28.922958261132475
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: For years, researchers have been devoted to generalizable object perception
and manipulation, where cross-category generalizability is highly desired yet
underexplored. In this work, we propose to learn such cross-category skills via
Generalizable and Actionable Parts (GAParts). By identifying and defining 9
GAPart classes (lids, handles, etc.) in 27 object categories, we construct a
large-scale part-centric interactive dataset, GAPartNet, where we provide rich,
part-level annotations (semantics, poses) for 8,489 part instances on 1,166
objects. Based on GAPartNet, we investigate three cross-category tasks: part
segmentation, part pose estimation, and part-based object manipulation. Given
the significant domain gaps between seen and unseen object categories, we
propose a robust 3D segmentation method from the perspective of domain
generalization by integrating adversarial learning techniques. Our method
outperforms all existing methods by a large margin, no matter on seen or unseen
categories. Furthermore, with part segmentation and pose estimation results, we
leverage the GAPart pose definition to design part-based manipulation
heuristics that can generalize well to unseen object categories in both the
simulator and the real world. Our dataset, code, and demos are available on our
project page.
- Abstract（参考訳）: 長年にわたり、研究者は一般化可能な物体の認識と操作に力を入れてきた。
本稿では,GAParts(Generalizable and Actionable Parts)を通じて,このようなクロスカテゴリスキルを学ぶことを提案する。
27のオブジェクトカテゴリで9つのGAPartクラス(lid, handlesなど)を識別して定義することにより、大規模部分中心の対話型データセットGAPartNetを構築し、1,166のオブジェクトに対して8,489のパートインスタンスに対してリッチな部分レベルのアノテーション(セマンティック,ポーズ)を提供する。
GAPartNetに基づいて,部分分割,部分ポーズ推定,部分ベースオブジェクト操作という3つのクロスカテゴリタスクについて検討する。
そこで本研究では, 対向学習技術を統合することで, 領域一般化の観点から頑健な3次元セグメンテーション手法を提案する。
本手法は,見知らぬカテゴリーによらず,既存の手法を大きなマージンで上回っている。
さらに,部分分割とポーズ推定結果を用いてGAPartのポーズ定義を利用して,シミュレータと実世界の両方の未確認対象カテゴリによく対応できる部分ベースの操作ヒューリスティックを設計する。
私たちのデータセット、コード、デモは、プロジェクトのページで利用可能です。
関連論文リスト
- PartGLEE: A Foundation Model for Recognizing and Parsing Any Objects [104.34288029037141]
画像中の物体と部分の位置と識別のための部分レベル基礎モデルであるPartGLEEを提案する。
PartGLEEは、オープンワールドシナリオにおけるあらゆる粒度のインスタンスの検出、セグメンテーション、グラウンド化を達成する。
論文 参考訳（メタデータ） (2024-07-23T17:58:26Z) - OMG-Seg: Is One Model Good Enough For All Segmentation? [83.17068644513144]
OMG-Segは、タスク固有のクエリと出力を持つトランスフォーマーベースのエンコーダデコーダアーキテクチャである。
OMG-Segは10以上の異なるセグメンテーションタスクをサポートできるが、計算とパラメータのオーバーヘッドを大幅に削減できることを示す。
論文 参考訳（メタデータ） (2024-01-18T18:59:34Z) - Towards Open-World Segmentation of Parts [16.056921233445784]
本稿では,クラスに依存しない部分分割タスクを提案する。
パートクラスなしでトレーニングされたモデルは、トレーニング時に見えない部分のローカライズとオブジェクトへのセグメンテーションを改善することができる、と私たちは主張する。
当社のアプローチでは,オープンワールドのパートセグメンテーションに向けた重要なステップとして,注目すべきかつ一貫した成果をあげています。
論文 参考訳（メタデータ） (2023-05-26T10:34:58Z) - Semi-Weakly Supervised Object Kinematic Motion Prediction [56.282759127180306]
3Dオブジェクトが与えられた場合、運動予測は移動部と対応する運動パラメータを識別することを目的としている。
階層的部分分割と移動部パラメータのマップを学習するグラフニューラルネットワークを提案する。
ネットワーク予測は、擬似ラベル付き移動情報を持つ大規模な3Dオブジェクトを生成する。
論文 参考訳（メタデータ） (2023-03-31T02:37:36Z) - PartManip: Learning Cross-Category Generalizable Part Manipulation
Policy from Point Cloud Observations [12.552149411655355]
私たちは、最初の大規模、パートベースのクロスカテゴリオブジェクト操作ベンチマーク、PartManipを構築しました。
我々は、提案したパートベース標準化とパートアウェア報酬で州ベースのエキスパートを訓練し、その知識をビジョンベースの学生に蒸留する。
クロスカテゴリの一般化のために,ドメイン不変特徴抽出のためのドメイン逆学習を導入する。
論文 参考訳（メタデータ） (2023-03-29T18:29:30Z) - Towards Robust Part-aware Instance Segmentation for Industrial Bin
Picking [113.79582950811348]
産業用ビンピッキングのための新しい部分認識型インスタンスセグメンテーションパイプラインを定式化する。
我々は、部品マスクと部品間オフセットを予測する部分認識ネットワークを設計し、続いて認識された部品をインスタンスに組み立てる部分集約モジュールを設計する。
このデータセットは、細く、非自明な形状の様々な産業オブジェクトを含む。
論文 参考訳（メタデータ） (2022-03-05T14:58:05Z) - 3D Compositional Zero-shot Learning with DeCompositional Consensus [102.7571947144639]
我々は、部分的知識は観察されたオブジェクトクラスを超えて構成可能であるべきだと論じる。
本稿では、視覚から見えないオブジェクトクラスへの部分一般化の問題として、3D合成ゼロショット学習を提案する。
論文 参考訳（メタデータ） (2021-11-29T16:34:53Z) - CGPart: A Part Segmentation Dataset Based on 3D Computer Graphics Models [19.691187561807475]
CGPartは3DCADモデル、合成画像、実際のテスト画像に関する詳細なアノテーションを提供する。
CGPartには、$ 5$の車両カテゴリをカバーする221$ 3D CADモデルが含まれています。
これらのCADモデルから168,000ドル(約1万6000円)の合成画像を作成しています。
論文 参考訳（メタデータ） (2021-03-25T19:34:21Z) - Commonality-Parsing Network across Shape and Appearance for Partially
Supervised Instance Segmentation [71.59275788106622]
そこで本稿では,マスク付分類から新しい分類へ一般化可能な,クラス非依存の共通性について考察する。
本モデルでは,COCOデータセット上のサンプルセグメンテーションにおける部分教師付き設定と少数ショット設定の両方において,最先端の手法を著しく上回っている。
論文 参考訳（メタデータ） (2020-07-24T07:23:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。