論文の概要: HoloPart: Generative 3D Part Amodal Segmentation
- arxiv url: http://arxiv.org/abs/2504.07943v1
- Date: Thu, 10 Apr 2025 17:53:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-11 12:20:39.203330
- Title: HoloPart: Generative 3D Part Amodal Segmentation
- Title（参考訳）: HoloPart: 生成3次元部分のアモーダルセグメンテーション
- Authors: Yunhan Yang, Yuan-Chen Guo, Yukun Huang, Zi-Xin Zou, Zhipeng Yu, Yangguang Li, Yan-Pei Cao, Xihui Liu,
- Abstract要約: 3D部分のアモーダルセグメンテーションは難しいが、3Dコンテンツの作成と理解にとって重要な課題だ。
2Dアモーダルセグメンテーションにインスパイアされたこの新しいタスクを3Dドメインに導入し、実用的な2段階のアプローチを提案する。
我々は,ABOおよびPart-Tinyデータセットに基づく新しいベンチマークを導入し,HoloPartが最先端の形状補完法を大幅に上回っていることを示す。
- 参考スコア（独自算出の注目度）: 23.84639726216676
- License:
- Abstract: 3D part amodal segmentation--decomposing a 3D shape into complete, semantically meaningful parts, even when occluded--is a challenging but crucial task for 3D content creation and understanding. Existing 3D part segmentation methods only identify visible surface patches, limiting their utility. Inspired by 2D amodal segmentation, we introduce this novel task to the 3D domain and propose a practical, two-stage approach, addressing the key challenges of inferring occluded 3D geometry, maintaining global shape consistency, and handling diverse shapes with limited training data. First, we leverage existing 3D part segmentation to obtain initial, incomplete part segments. Second, we introduce HoloPart, a novel diffusion-based model, to complete these segments into full 3D parts. HoloPart utilizes a specialized architecture with local attention to capture fine-grained part geometry and global shape context attention to ensure overall shape consistency. We introduce new benchmarks based on the ABO and PartObjaverse-Tiny datasets and demonstrate that HoloPart significantly outperforms state-of-the-art shape completion methods. By incorporating HoloPart with existing segmentation techniques, we achieve promising results on 3D part amodal segmentation, opening new avenues for applications in geometry editing, animation, and material assignment.
- Abstract（参考訳）: 3D部分のアモーダルセグメンテーション(amodal segmentation) - 3Dの形状を完全で意味のある部分に分解する。
既存の3D部分分割法は、可視表面パッチのみを識別し、有用性を制限している。
2Dアモーダルセグメンテーションにインスパイアされたこの新しいタスクを3Dドメインに導入し、Occluded 3D幾何を推定し、大域的な形状の整合性を維持し、限られたトレーニングデータで多様な形状を扱うという重要な課題に対処する実践的な2段階アプローチを提案する。
まず、既存の3次元部分分割を利用して、初期不完全部分セグメントを得る。
第2に,新しい拡散モデルであるHoloPartを導入し,これらのセグメントを完全な3Dパーツに分割する。
HoloPartは、局所的な注意を伴う特殊なアーキテクチャを使用して、きめ細かい部分形状とグローバルな形状コンテキストの注意を捉え、全体的な形状の整合性を確保する。
我々は,ABOおよびPartObjaverse-Tinyデータセットに基づく新しいベンチマークを導入し,HoloPartが最先端の形状補完法を大幅に上回っていることを示す。
HoloPartを既存のセグメンテーション技術に組み込むことで、3次元部分アモーダルセグメンテーションにおける有望な結果を達成し、幾何学的編集、アニメーション、材料割り当てに新たな道を開く。
関連論文リスト
- PartGen: Part-level 3D Generation and Reconstruction with Multi-View Diffusion Models [63.1432721793683]
テキスト,画像,構造化されていない3Dオブジェクトから意味のある部分からなる3Dオブジェクトを生成する新しいアプローチであるPartGenを紹介する。
提案手法は, 生成された実物および実物の3次元資産に対して評価し, セグメンテーションおよび部分抽出ベースラインを大きなマージンで上回っていることを示す。
論文 参考訳（メタデータ） (2024-12-24T18:59:43Z) - 3D Part Segmentation via Geometric Aggregation of 2D Visual Features [57.20161517451834]
監督された3D部分分割モデルは、固定されたオブジェクトと部品のセットに合わせて調整されており、それらの転送可能性は、オープンセットの現実世界のシナリオに制限される。
近年、視覚言語モデル(VLM)を多視点レンダリングとテキストプロンプトを用いてオブジェクト部品の識別に活用する研究が進められている。
これらの制約に対処するために,視覚概念から抽出した意味論と3次元幾何学をブレンドし,対象部品を効果的に同定するCOPSを提案する。
論文 参考訳（メタデータ） (2024-12-05T15:27:58Z) - SAMPart3D: Segment Any Part in 3D Objects [23.97392239910013]
3D部分のセグメンテーションは、3D知覚において重要な課題であり、ロボット工学、3D生成、および3D編集などのアプリケーションにおいて重要な役割を果たす。
最近の手法では、2次元から3次元の知識蒸留に強力なビジョン言語モデル(VLM)を用いており、ゼロショットの3次元部分分割を実現している。
本研究では,任意の3Dオブジェクトを複数の粒度のセマンティックな部分に分割する,スケーラブルなゼロショット3D部分分割フレームワークであるSAMPart3Dを紹介する。
論文 参考訳（メタデータ） (2024-11-11T17:59:10Z) - MeshSegmenter: Zero-Shot Mesh Semantic Segmentation via Texture Synthesis [27.703204488877038]
MeshSegmenterは、ゼロショット3Dセマンティックセグメンテーション用に設計されたフレームワークである。
さまざまなメッシュとセグメント記述の正確な3Dセグメンテーションを提供する。
論文 参考訳（メタデータ） (2024-07-18T16:50:59Z) - 3x2: 3D Object Part Segmentation by 2D Semantic Correspondences [33.99493183183571]
本稿では,いくつかのアノテーション付き3D形状やリッチアノテーション付き2Dデータセットを活用して3Dオブジェクト部分のセグメンテーションを実現することを提案する。
我々は,様々な粒度レベルのベンチマークでSOTA性能を実現する3-By-2という新しい手法を提案する。
論文 参考訳（メタデータ） (2024-07-12T19:08:00Z) - Reasoning3D -- Grounding and Reasoning in 3D: Fine-Grained Zero-Shot Open-Vocabulary 3D Reasoning Part Segmentation via Large Vision-Language Models [20.277479473218513]
オブジェクトの検索とローカライズのためのZero-Shot 3D Reasoningを提案する。
複雑なコマンドを理解し実行するためのシンプルなベースラインメソッドReasoning3Dを設計する。
Reasoning3Dは、暗黙のテキストクエリに基づいて、3Dオブジェクトの一部を効果的にローカライズし、ハイライトすることができることを示す。
論文 参考訳（メタデータ） (2024-05-29T17:56:07Z) - SAM-guided Graph Cut for 3D Instance Segmentation [60.75119991853605]
本稿では,3次元画像情報と多視点画像情報の同時利用による3次元インスタンス分割の課題に対処する。
本稿では,3次元インスタンスセグメンテーションのための2次元セグメンテーションモデルを効果的に活用する新しい3D-to-2Dクエリフレームワークを提案する。
本手法は,ロバストなセグメンテーション性能を実現し,異なるタイプのシーンにまたがる一般化を実現する。
論文 参考訳（メタデータ） (2023-12-13T18:59:58Z) - PartSLIP++: Enhancing Low-Shot 3D Part Segmentation via Multi-View
Instance Segmentation and Maximum Likelihood Estimation [32.2861030554128]
最近の進歩であるPartSLIPは、ゼロと少数ショットの3D部分セグメンテーションにおいて大きな進歩を遂げている。
先代の制限を克服するために設計された拡張バージョンであるPartSLIP++を紹介する。
ローショットな3Dセマンティクスとインスタンスベースのオブジェクト部分分割タスクの両方において、PartSLIP++はPartSLIPよりも優れたパフォーマンスを示す。
論文 参考訳（メタデータ） (2023-12-05T01:33:04Z) - Segment Any 3D Gaussians [85.93694310363325]
本稿では, 3次元ガウススプレイティング(3D-GS)に基づく高効率3Dプロンプト可能なセグメンテーション法であるSAGAについて述べる。
入力として2D視覚的プロンプトが与えられたとき、SAGAは対応する3Dターゲットを4ミリ秒以内に3Dガウスで表現できる。
我々は,SAGAが最先端の手法に匹敵する品質で,リアルタイムな多粒度セグメンテーションを実現することを示す。
論文 参考訳（メタデータ） (2023-12-01T17:15:24Z) - PartSLIP: Low-Shot Part Segmentation for 3D Point Clouds via Pretrained
Image-Language Models [56.324516906160234]
一般化可能な3D部分分割は重要だが、ビジョンとロボティクスでは難しい。
本稿では,事前学習した画像言語モデルGLIPを利用して,3次元点雲の低ショット部分分割法を提案する。
我々は2Dから3Dへの豊富な知識を、ポイントクラウドレンダリングにおけるGLIPに基づく部分検出と新しい2D-to-3Dラベルリフトアルゴリズムにより転送する。
論文 参考訳（メタデータ） (2022-12-03T06:59:01Z) - Discovering 3D Parts from Image Collections [98.16987919686709]
本稿では,2次元画像収集のみによる3次元部分発見の問題に対処する。
そこで我々は,手動で注釈付部品を監督する代わりに,自己監督型アプローチを提案する。
私たちのキーとなる洞察は、前もって新しい部分の形状を学習することで、各部分は、単純な幾何学を持つように制約されたまま、忠実にオブジェクトの形状に適合できるようにします。
論文 参考訳（メタデータ） (2021-07-28T20:29:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。