論文の概要: PartAfford: Part-level Affordance Discovery from 3D Objects

• arxiv url: http://arxiv.org/abs/2202.13519v1
• Date: Mon, 28 Feb 2022 02:58:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-01 16:37:30.957577
• Title: PartAfford: Part-level Affordance Discovery from 3D Objects
• Title（参考訳）: PartAfford: 3Dオブジェクトからのパートレベルのアフォーマンスディスカバリ
• Authors: Chao Xu, Yixin Chen, He Wang, Song-Chun Zhu, Yixin Zhu, Siyuan Huang
• Abstract要約: パートレベルの空き地探索(PartAfford)の課題について紹介する。 対象物当たりの空きラベルのみを考慮し、(i)3D形状を部品に分解し、(ii)各部品が特定の空きカテゴリに対応する方法を検出する。 本稿では,パーセンテージ・セットの監督と幾何学的原始正規化のみを活用することで,パートレベルの表現を発見する新しい学習フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 113.91774531972855
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Understanding what objects could furnish for humans-namely, learning object affordance-is the crux to bridge perception and action. In the vision community, prior work primarily focuses on learning object affordance with dense (e.g., at a per-pixel level) supervision. In stark contrast, we humans learn the object affordance without dense labels. As such, the fundamental question to devise a computational model is: What is the natural way to learn the object affordance from visual appearance and geometry with humanlike sparse supervision? In this work, we present a new task of part-level affordance discovery (PartAfford): Given only the affordance labels per object, the machine is tasked to (i) decompose 3D shapes into parts and (ii) discover how each part of the object corresponds to a certain affordance category. We propose a novel learning framework for PartAfford, which discovers part-level representations by leveraging only the affordance set supervision and geometric primitive regularization, without dense supervision. The proposed approach consists of two main components: (i) an abstraction encoder with slot attention for unsupervised clustering and abstraction, and (ii) an affordance decoder with branches for part reconstruction, affordance prediction, and cuboidal primitive regularization. To learn and evaluate PartAfford, we construct a part-level, cross-category 3D object affordance dataset, annotated with 24 affordance categories shared among >25, 000 objects. We demonstrate that our method enables both the abstraction of 3D objects and part-level affordance discovery, with generalizability to difficult and cross-category examples. Further ablations reveal the contribution of each component.
• Abstract（参考訳）: 物体が人間にとって何をもたらすかを理解することは、知覚と行動の橋渡しとなる。 ビジョンコミュニティでは、先行研究は主に、高密度な(例えばピクセル単位の)監督でオブジェクトの余裕を学習することに焦点を当てている。 対照的に、人間は高密度ラベルなしで物体の余裕を学ぶ。 このように、計算モデルを考案する上での根本的な疑問は、 視覚的な外観や幾何学からオブジェクトの余裕を学ぶための自然な方法は何か? 本研究では,オブジェクト毎のアフォーマンスラベルのみを与えられた場合,そのマシンにタスクを課す,part-level affordance discovery (partafford) という新しいタスクを提案する。 (i)3d形状を部品に分解する (ii)対象のそれぞれの部分が特定の空き圏に対応する方法を発見する。 本稿では,高密度な監督を伴わずに,手頃な集合の監督と幾何学的原始正規化のみを活用することで,部分レベルの表現を発見する新しい学習フレームワークを提案する。 提案手法は2つの主成分から構成される。 (i)教師なしクラスタリングと抽象化のためのスロットアテンションを備えた抽象化エンコーダ (ii)部分復元、代価予測、立方体プリミティブ正規化のための分枝付き代価復号器 PartAffordを学習し、評価するために、25,000件のオブジェクト間で24種類のアノテートカテゴリをアノテートしたパートレベルの3Dオブジェクトアプライアンスデータセットを構築した。 本手法は3dオブジェクトの抽象化と部品レベルのアフォーアンス発見を両立させ,難易度とクロスカテゴリの例を一般化できることを実証する。 さらに、各コンポーネントの貢献を明らかにします。

関連論文リスト

• Going Denser with Open-Vocabulary Part Segmentation [38.395986723880505]
  開語彙オブジェクトとその部分セグメンテーションの両方を予測することができる検出器を提案する。 まず、部分レベル、オブジェクトレベル、画像レベルのデータのジョイント上で検出器を訓練し、言語と画像間の多粒度アライメントを構築する。 第二に、新しいオブジェクトを、ベースオブジェクトとの密接なセマンティック対応によって、そのパーツにパースする。
  論文  参考訳（メタデータ） (2023-05-18T17:59:10Z)
• Self-Supervised Visual Representation Learning with Semantic Grouping [50.14703605659837]
  我々は、未ラベルのシーン中心のデータから視覚表現を学習する問題に取り組む。 本研究では,データ駆動型セマンティックスロット,すなわちSlotConによる協調型セマンティックグルーピングと表現学習のためのコントラスト学習を提案する。
  論文  参考訳（メタデータ） (2022-05-30T17:50:59Z)
• Self-Supervised Learning of Object Parts for Semantic Segmentation [7.99536002595393]
  我々は、オブジェクト部品の自己教師型学習がこの問題の解決策であると主張している。 本手法は3つのセマンティックセグメンテーションベンチマークの最先端を17%-3%超える。
  論文  参考訳（メタデータ） (2022-04-27T17:55:17Z)
• 3D Compositional Zero-shot Learning with DeCompositional Consensus [102.7571947144639]
  我々は、部分的知識は観察されたオブジェクトクラスを超えて構成可能であるべきだと論じる。 本稿では、視覚から見えないオブジェクトクラスへの部分一般化の問題として、3D合成ゼロショット学習を提案する。
  論文  参考訳（メタデータ） (2021-11-29T16:34:53Z)
• Unsupervised Part Discovery from Contrastive Reconstruction [90.88501867321573]
  自己監督型視覚表現学習の目標は、強く伝達可能な画像表現を学習することである。 対象部分の発見とセグメンテーションに対する教師なしアプローチを提案する。 本手法は, 細粒度, 視覚的に異なるカテゴリ間でセマンティックな部分を生成する。
  論文  参考訳（メタデータ） (2021-11-11T17:59:42Z)
• 3D AffordanceNet: A Benchmark for Visual Object Affordance Understanding [33.68455617113953]
  本稿では,23のセマンティックオブジェクトカテゴリから23kの形状のベンチマークである3D AffordanceNetデータセットについて述べる。 3つの最先端のポイントクラウドディープラーニングネットワークがすべてのタスクで評価されます。
  論文  参考訳（メタデータ） (2021-03-30T14:46:27Z)
• Fine-Grained 3D Shape Classification with Hierarchical Part-View Attentions [70.0171362989609]
  本稿では,FG3D-Netと呼ばれる新しい3次元形状分類手法を提案する。 詳細な3次元形状データセットに基づく結果から,本手法が他の最先端手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2020-05-26T06:53:19Z)
• A Deep Learning Approach to Object Affordance Segmentation [31.221897360610114]
  我々は,ビデオと静的画像の両方において,画素単位の価格ラベルを推定するオートエンコーダを設計する。 本モデルは,ソフトアテンション機構を用いて,オブジェクトラベルやバウンディングボックスの必要性を克服する。 本モデルは,SOR3D-AFF上での強い教師付き手法と比較して,競争力のある結果が得られることを示す。
  論文  参考訳（メタデータ） (2020-04-18T15:34:41Z)
• Global-Local Bidirectional Reasoning for Unsupervised Representation Learning of 3D Point Clouds [109.0016923028653]
  局所構造とグローバル形状の双方向推論による点雲表現を人間の監督なしに学習する。 本研究では, 実世界の3次元オブジェクト分類データセットにおいて, 教師なしモデルが最先端の教師付き手法を超越していることを示す。
  論文  参考訳（メタデータ） (2020-03-29T08:26:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。