論文の概要: SAMPart3D: Segment Any Part in 3D Objects

• arxiv url: http://arxiv.org/abs/2411.07184v1
• Date: Mon, 11 Nov 2024 17:59:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-12 14:09:00.578653
• Title: SAMPart3D: Segment Any Part in 3D Objects
• Title（参考訳）: SAMPart3D: 3Dオブジェクトの任意の部分をセグメント化する
• Authors: Yunhan Yang, Yukun Huang, Yuan-Chen Guo, Liangjun Lu, Xiaoyang Wu, Edmund Y. Lam, Yan-Pei Cao, Xihui Liu,
• Abstract要約: 3D部分のセグメンテーションは、3D知覚において重要な課題であり、ロボット工学、3D生成、および3D編集などのアプリケーションにおいて重要な役割を果たす。 最近の手法では、2次元から3次元の知識蒸留に強力なビジョン言語モデル(VLM)を用いており、ゼロショットの3次元部分分割を実現している。 本研究では,任意の3Dオブジェクトを複数の粒度のセマンティックな部分に分割する,スケーラブルなゼロショット3D部分分割フレームワークであるSAMPart3Dを紹介する。
• 参考スコア（独自算出の注目度）: 23.97392239910013
• License:
• Abstract: 3D part segmentation is a crucial and challenging task in 3D perception, playing a vital role in applications such as robotics, 3D generation, and 3D editing. Recent methods harness the powerful Vision Language Models (VLMs) for 2D-to-3D knowledge distillation, achieving zero-shot 3D part segmentation. However, these methods are limited by their reliance on text prompts, which restricts the scalability to large-scale unlabeled datasets and the flexibility in handling part ambiguities. In this work, we introduce SAMPart3D, a scalable zero-shot 3D part segmentation framework that segments any 3D object into semantic parts at multiple granularities, without requiring predefined part label sets as text prompts. For scalability, we use text-agnostic vision foundation models to distill a 3D feature extraction backbone, allowing scaling to large unlabeled 3D datasets to learn rich 3D priors. For flexibility, we distill scale-conditioned part-aware 3D features for 3D part segmentation at multiple granularities. Once the segmented parts are obtained from the scale-conditioned part-aware 3D features, we use VLMs to assign semantic labels to each part based on the multi-view renderings. Compared to previous methods, our SAMPart3D can scale to the recent large-scale 3D object dataset Objaverse and handle complex, non-ordinary objects. Additionally, we contribute a new 3D part segmentation benchmark to address the lack of diversity and complexity of objects and parts in existing benchmarks. Experiments show that our SAMPart3D significantly outperforms existing zero-shot 3D part segmentation methods, and can facilitate various applications such as part-level editing and interactive segmentation.
• Abstract（参考訳）: 3D部分のセグメンテーションは、3D知覚において重要な課題であり、ロボット工学、3D生成、および3D編集などのアプリケーションにおいて重要な役割を果たす。 最近の手法では、2次元から3次元の知識蒸留に強力なビジョン言語モデル(VLM)を用いており、ゼロショットの3次元部分分割を実現している。 しかし、これらの手法はテキストプロンプトに依存しているため、大規模にラベルのないデータセットにスケーラビリティを制限し、部品のあいまいさを扱う柔軟性が制限される。 本研究では,任意の3Dオブジェクトを,テキストプロンプトとして定義済みの部分ラベルセットを必要とせず,複数の粒度のセマンティックな部分に分割する,スケーラブルなゼロショット3D部分分割フレームワークであるSAMPart3Dを紹介する。 スケーラビリティのために、テキストに依存しない視覚基盤モデルを使用して、3D特徴抽出バックボーンを蒸留し、ラベルなしの大きな3Dデータセットへのスケーリングにより、リッチな3D事前学習を可能にします。 フレキシビリティのために,複数の粒度で3次元部分分割を行うために,スケールコンディショニングされた3次元特徴を蒸留する。 スケールコンディショニングされた部分認識3D特徴からセグメント化された部品が得られたら、VLMを使って各部分にセマンティックラベルを割り当てる。 従来の方法と比較して,SAMPart3D は最近の大規模3Dオブジェクトデータセット Objaverse にスケールでき,複雑な非正規オブジェクトを処理できる。 さらに、既存のベンチマークにおけるオブジェクトと部品の多様性と複雑さの欠如に対処するため、新しい3D部分分割ベンチマークをコントリビュートする。 実験の結果,SAMPart3Dは既存のゼロショット3D部分分割法よりも優れており,パートレベルの編集やインタラクティブなセグメンテーションなど,様々な応用が容易であることがわかった。

関連論文リスト

• 3x2: 3D Object Part Segmentation by 2D Semantic Correspondences [33.99493183183571]
  本稿では,いくつかのアノテーション付き3D形状やリッチアノテーション付き2Dデータセットを活用して3Dオブジェクト部分のセグメンテーションを実現することを提案する。 我々は,様々な粒度レベルのベンチマークでSOTA性能を実現する3-By-2という新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-07-12T19:08:00Z)
• Reasoning3D -- Grounding and Reasoning in 3D: Fine-Grained Zero-Shot Open-Vocabulary 3D Reasoning Part Segmentation via Large Vision-Language Models [20.277479473218513]
  オブジェクトの検索とローカライズのためのZero-Shot 3D Reasoningを提案する。 複雑なコマンドを理解し実行するためのシンプルなベースラインメソッドReasoning3Dを設計する。 Reasoning3Dは、暗黙のテキストクエリに基づいて、3Dオブジェクトの一部を効果的にローカライズし、ハイライトすることができることを示す。
  論文  参考訳（メタデータ） (2024-05-29T17:56:07Z)
• Reason3D: Searching and Reasoning 3D Segmentation via Large Language Model [108.35777542298224]
  本稿では,包括的3次元理解のための新しい大規模言語モデルReason3Dを紹介する。 拡張シーン内の小さな物体を見つけるための階層型マスクデコーダを提案する。 大規模なScanNetとMatterport3Dデータセットにおいて、Reason3Dが顕著な結果が得られることを検証する。
  論文  参考訳（メタデータ） (2024-05-27T17:59:41Z)
• PARIS3D: Reasoning-based 3D Part Segmentation Using Large Multimodal Model [19.333506797686695]
  本稿では,3次元オブジェクトに対する推論部分分割と呼ばれる新しいセグメンテーションタスクを提案する。 我々は3Dオブジェクトの特定の部分に関する複雑で暗黙的なテキストクエリに基づいてセグメンテーションマスクを出力する。 本稿では,暗黙のテキストクエリに基づいて3次元オブジェクトの一部を分割し,自然言語による説明を生成するモデルを提案する。
  論文  参考訳（メタデータ） (2024-04-04T23:38:45Z)
• SAI3D: Segment Any Instance in 3D Scenes [68.57002591841034]
  新規なゼロショット3Dインスタンスセグメンテーション手法であるSAI3Dを紹介する。 我々の手法は3Dシーンを幾何学的プリミティブに分割し、段階的に3Dインスタンスセグメンテーションにマージする。 ScanNet、Matterport3D、さらに難しいScanNet++データセットに関する実証的な評価は、我々のアプローチの優位性を示している。
  論文  参考訳（メタデータ） (2023-12-17T09:05:47Z)
• SAM-guided Graph Cut for 3D Instance Segmentation [60.75119991853605]
  本稿では,3次元画像情報と多視点画像情報の同時利用による3次元インスタンス分割の課題に対処する。 本稿では,3次元インスタンスセグメンテーションのための2次元セグメンテーションモデルを効果的に活用する新しい3D-to-2Dクエリフレームワークを提案する。 本手法は,ロバストなセグメンテーション性能を実現し,異なるタイプのシーンにまたがる一般化を実現する。
  論文  参考訳（メタデータ） (2023-12-13T18:59:58Z)
• DatasetNeRF: Efficient 3D-aware Data Factory with Generative Radiance Fields [68.94868475824575]
  本稿では,無限で高品質な3Dアノテーションを3Dポイントクラウドセグメンテーションとともに生成できる新しいアプローチを提案する。 我々は3次元生成モデルに先立って強力なセマンティクスを活用してセマンティクスデコーダを訓練する。 トレーニングが完了すると、デコーダは遅延空間を効率よく一般化し、無限のデータの生成を可能にする。
  論文  参考訳（メタデータ） (2023-11-18T21:58:28Z)
• A One Stop 3D Target Reconstruction and multilevel Segmentation Method [0.0]
  オープンソースのワンストップ3Dターゲット再構成とマルチレベルセグメンテーションフレームワーク(OSTRA)を提案する。 OSTRAは2D画像上でセグメンテーションを行い、画像シーケンス内のセグメンテーションラベルで複数のインスタンスを追跡し、ラベル付き3Dオブジェクトまたは複数のパーツをMulti-View Stereo(MVS)またはRGBDベースの3D再構成手法で再構成する。 本手法は,複雑なシーンにおいて,リッチなマルチスケールセグメンテーション情報に埋め込まれた3次元ターゲットを再構築するための新たな道を開く。
  論文  参考訳（メタデータ） (2023-08-14T07:12:31Z)
• PartSLIP: Low-Shot Part Segmentation for 3D Point Clouds via Pretrained Image-Language Models [56.324516906160234]
  一般化可能な3D部分分割は重要だが、ビジョンとロボティクスでは難しい。 本稿では,事前学習した画像言語モデルGLIPを利用して,3次元点雲の低ショット部分分割法を提案する。 我々は2Dから3Dへの豊富な知識を、ポイントクラウドレンダリングにおけるGLIPに基づく部分検出と新しい2D-to-3Dラベルリフトアルゴリズムにより転送する。
  論文  参考訳（メタデータ） (2022-12-03T06:59:01Z)
• ONeRF: Unsupervised 3D Object Segmentation from Multiple Views [59.445957699136564]
  OneRFは、追加のマニュアルアノテーションなしで、マルチビューのRGBイメージから3Dのオブジェクトインスタンスを自動的に分割し、再構成する手法である。 セグメント化された3Dオブジェクトは、様々な3Dシーンの編集と新しいビューレンダリングを可能にする別個のNeRF(Neural Radiance Fields)を使用して表現される。
  論文  参考訳（メタデータ） (2022-11-22T06:19:37Z)
• Semi-supervised 3D shape segmentation with multilevel consistency and part substitution [21.075426681857024]
  本稿では,ラベル付3次元形状とラベル付3次元データの量から3次元分割を効果的に学習するための半教師付き手法を提案する。 ラベルのないデータに対して,3次元形状の摂動コピー間のネットワーク予測の整合性を確保するために,新しい多レベル整合性損失を提案する。 ラベル付きデータに対して,より構造的な変化を伴ってラベル付き3次元形状を増強し,トレーニングを強化するシンプルな部分置換法を開発した。
  論文  参考訳（メタデータ） (2022-04-19T11:48:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。