論文の概要: Generative 3D Part Assembly via Part-Whole-Hierarchy Message Passing
- arxiv url: http://arxiv.org/abs/2402.17464v3
- Date: Wed, 27 Mar 2024 03:13:52 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-28 11:56:31.511099
- Title: Generative 3D Part Assembly via Part-Whole-Hierarchy Message Passing
- Title（参考訳）: 部分Whole-Hierarchy Message Passingによる3次元部品組み立て
- Authors: Bi'an Du, Xiang Gao, Wei Hu, Renjie Liao,
- Abstract要約: 生成3D部品の組み立ては、部品の関係を理解し、現実的な3D形状を組み立てるための6-DoFのポーズを予測する。
効率的な3次元部分集合のための部分階層型メッセージパッシングネットワークを提案する。
PartNetデータセットを用いた実験結果から,本手法は部分的な最先端性能と接続精度を実現していることがわかった。
- 参考スコア（独自算出の注目度）: 26.366915258021866
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generative 3D part assembly involves understanding part relationships and predicting their 6-DoF poses for assembling a realistic 3D shape. Prior work often focus on the geometry of individual parts, neglecting part-whole hierarchies of objects. Leveraging two key observations: 1) super-part poses provide strong hints about part poses, and 2) predicting super-part poses is easier due to fewer superparts, we propose a part-whole-hierarchy message passing network for efficient 3D part assembly. We first introduce super-parts by grouping geometrically similar parts without any semantic labels. Then we employ a part-whole hierarchical encoder, wherein a super-part encoder predicts latent super-part poses based on input parts. Subsequently, we transform the point cloud using the latent poses, feeding it to the part encoder for aggregating super-part information and reasoning about part relationships to predict all part poses. In training, only ground-truth part poses are required. During inference, the predicted latent poses of super-parts enhance interpretability. Experimental results on the PartNet dataset show that our method achieves state-of-the-art performance in part and connectivity accuracy and enables an interpretable hierarchical part assembly. Code is available at https://github.com/pkudba/3DHPA.
- Abstract（参考訳）: 生成3D部品の組み立ては、部品の関係を理解し、現実的な3D形状を組み立てるための6-DoFのポーズを予測する。
先行研究はしばしば個々の部分の幾何学に焦点を合わせ、対象の全体階層を無視している。
2つの重要な観察を活用。
1)スーパーパートポーズはパートポーズに関する強いヒントを与え、
2) より少ないスーパーパーツによりスーパーパーツのポーズを予測しやすく, 効率的な3次元部品組立のための部分階層型メッセージパッシングネットワークを提案する。
まず、意味ラベルを使わずに幾何学的に類似した部分をグループ化してスーパーパーツを導入する。
次に、部分全体階層エンコーダを用い、スーパーパートエンコーダは入力部分に基づいて潜在スーパーパートポーズを予測する。
その後、潜在ポーズを用いて点雲を変換し、超部分情報を集約する部分エンコーダに供給し、部分関係を推論して全ての部分ポーズを予測する。
練習では、地道な部分のみのポーズが求められる。
推論中、予測された超部分の潜在ポーズは解釈可能性を高める。
PartNetデータセットを用いた実験結果から,本手法は部分的および接続精度が向上し,解釈可能な階層的部品の組み立てが可能となった。
コードはhttps://github.com/pkudba/3DHPAで入手できる。
関連論文リスト
- PartSLIP++: Enhancing Low-Shot 3D Part Segmentation via Multi-View
Instance Segmentation and Maximum Likelihood Estimation [32.2861030554128]
最近の進歩であるPartSLIPは、ゼロと少数ショットの3D部分セグメンテーションにおいて大きな進歩を遂げている。
先代の制限を克服するために設計された拡張バージョンであるPartSLIP++を紹介する。
ローショットな3Dセマンティクスとインスタンスベースのオブジェクト部分分割タスクの両方において、PartSLIP++はPartSLIPよりも優れたパフォーマンスを示す。
論文 参考訳（メタデータ） (2023-12-05T01:33:04Z) - Iterative Superquadric Recomposition of 3D Objects from Multiple Views [77.53142165205283]
2次元ビューから直接3次元スーパークワッドリックを意味部品として用いたオブジェクトを再構成するフレームワークISCOを提案する。
我々のフレームワークは、再構成エラーが高い場合に、反復的に新しいスーパークワッドリックを追加します。
これは、野生の画像からでも、より正確な3D再構成を提供する。
論文 参考訳（メタデータ） (2023-09-05T10:21:37Z) - Semi-Weakly Supervised Object Kinematic Motion Prediction [56.282759127180306]
3Dオブジェクトが与えられた場合、運動予測は移動部と対応する運動パラメータを識別することを目的としている。
階層的部分分割と移動部パラメータのマップを学習するグラフニューラルネットワークを提案する。
ネットワーク予測は、擬似ラベル付き移動情報を持つ大規模な3Dオブジェクトを生成する。
論文 参考訳（メタデータ） (2023-03-31T02:37:36Z) - PartSLIP: Low-Shot Part Segmentation for 3D Point Clouds via Pretrained
Image-Language Models [56.324516906160234]
一般化可能な3D部分分割は重要だが、ビジョンとロボティクスでは難しい。
本稿では,事前学習した画像言語モデルGLIPを利用して,3次元点雲の低ショット部分分割法を提案する。
我々は2Dから3Dへの豊富な知識を、ポイントクラウドレンダリングにおけるGLIPに基づく部分検出と新しい2D-to-3Dラベルリフトアルゴリズムにより転送する。
論文 参考訳（メタデータ） (2022-12-03T06:59:01Z) - PartAfford: Part-level Affordance Discovery from 3D Objects [113.91774531972855]
パートレベルの空き地探索(PartAfford)の課題について紹介する。
対象物当たりの空きラベルのみを考慮し、(i)3D形状を部品に分解し、(ii)各部品が特定の空きカテゴリに対応する方法を検出する。
本稿では,パーセンテージ・セットの監督と幾何学的原始正規化のみを活用することで,パートレベルの表現を発見する新しい学習フレームワークを提案する。
論文 参考訳（メタデータ） (2022-02-28T02:58:36Z) - Unsupervised Pose-Aware Part Decomposition for 3D Articulated Objects [68.73163598790255]
本研究では,機械的関節を有する人工関節オブジェクトを対象とする新しい環境に対処するため,PD(unsupervised Pose-aware Part Decomposition)を提案する。
本研究は,(1)非原始的な暗黙的表現による部分分解の教師なし学習を促進させ,(2)単一フレーム形状の監督下での協調パラメータとして機能することを示す。
論文 参考訳（メタデータ） (2021-10-08T23:53:56Z) - Discovering 3D Parts from Image Collections [98.16987919686709]
本稿では,2次元画像収集のみによる3次元部分発見の問題に対処する。
そこで我々は,手動で注釈付部品を監督する代わりに,自己監督型アプローチを提案する。
私たちのキーとなる洞察は、前もって新しい部分の形状を学習することで、各部分は、単純な幾何学を持つように制約されたまま、忠実にオブジェクトの形状に適合できるようにします。
論文 参考訳（メタデータ） (2021-07-28T20:29:16Z) - Generative 3D Part Assembly via Dynamic Graph Learning [34.108515032411695]
部品組み立ては、3Dコンピュータビジョンとロボット工学において難しいが重要な課題だ。
本稿では,反復グラフニューラルネットワークをバックボーンとして活用する,アセンブリ指向の動的グラフ学習フレームワークを提案する。
論文 参考訳（メタデータ） (2020-06-14T04:26:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。