論文の概要: PartSLIP++: Enhancing Low-Shot 3D Part Segmentation via Multi-View
Instance Segmentation and Maximum Likelihood Estimation
- arxiv url: http://arxiv.org/abs/2312.03015v1
- Date: Tue, 5 Dec 2023 01:33:04 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-07 17:24:51.508759
- Title: PartSLIP++: Enhancing Low-Shot 3D Part Segmentation via Multi-View
Instance Segmentation and Maximum Likelihood Estimation
- Title（参考訳）: partslip++:マルチビューインスタンスセグメンテーションと最大確率推定による低ショット3d部分セグメンテーションの拡張
- Authors: Yuchen Zhou and Jiayuan Gu and Xuanlin Li and Minghua Liu and Yunhao
Fang and Hao Su
- Abstract要約: 最近の進歩であるPartSLIPは、ゼロと少数ショットの3D部分セグメンテーションにおいて大きな進歩を遂げている。
先代の制限を克服するために設計された拡張バージョンであるPartSLIP++を紹介する。
ローショットな3Dセマンティクスとインスタンスベースのオブジェクト部分分割タスクの両方において、PartSLIP++はPartSLIPよりも優れたパフォーマンスを示す。
- 参考スコア（独自算出の注目度）: 32.2861030554128
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Open-world 3D part segmentation is pivotal in diverse applications such as
robotics and AR/VR. Traditional supervised methods often grapple with limited
3D data availability and struggle to generalize to unseen object categories.
PartSLIP, a recent advancement, has made significant strides in zero- and
few-shot 3D part segmentation. This is achieved by harnessing the capabilities
of the 2D open-vocabulary detection module, GLIP, and introducing a heuristic
method for converting and lifting multi-view 2D bounding box predictions into
3D segmentation masks. In this paper, we introduce PartSLIP++, an enhanced
version designed to overcome the limitations of its predecessor. Our approach
incorporates two major improvements. First, we utilize a pre-trained 2D
segmentation model, SAM, to produce pixel-wise 2D segmentations, yielding more
precise and accurate annotations than the 2D bounding boxes used in PartSLIP.
Second, PartSLIP++ replaces the heuristic 3D conversion process with an
innovative modified Expectation-Maximization algorithm. This algorithm
conceptualizes 3D instance segmentation as unobserved latent variables, and
then iteratively refines them through an alternating process of 2D-3D matching
and optimization with gradient descent. Through extensive evaluations, we show
that PartSLIP++ demonstrates better performance over PartSLIP in both low-shot
3D semantic and instance-based object part segmentation tasks. Code released at
https://github.com/zyc00/PartSLIP2.
- Abstract（参考訳）: オープンワールドの3D部分のセグメンテーションは、ロボティクスやAR/VRといった多様な応用において重要である。
従来の教師付き手法は、しばしば3Dデータの可用性を制限し、見えないオブジェクトカテゴリに一般化するのに苦労する。
最近の進歩であるPartSLIPは、ゼロと少数ショットの3D部分セグメンテーションにおいて大きな進歩を遂げている。
これは、2Dオープン語彙検出モジュールGLIPの機能を活用し、マルチビュー2D境界ボックス予測を3Dセグメンテーションマスクに変換して持ち上げるヒューリスティック手法を導入することで実現される。
本稿では、前者の制限を克服するために設計された拡張バージョンであるPartSLIP++を紹介する。
このアプローチには2つの大きな改善が含まれている。
まず,事前学習した2DセグメンテーションモデルSAMを用いて画素単位の2Dセグメンテーションを生成し,PartSLIPで使用される2Dバウンディングボックスよりも高精度で正確なアノテーションを生成する。
第二に、PartSLIP++はヒューリスティックな3D変換プロセスを革新的な修正期待最大化アルゴリズムで置き換える。
このアルゴリズムは、観測されていない潜在変数として3Dインスタンスセグメンテーションを概念化し、2D-3Dマッチングと勾配勾配の最適化を交互に行う。
広範に評価した結果,PartSLIP++はローショット3Dセマンティクスとインスタンスベースのオブジェクト部分分割タスクの両方において,PartSLIPよりも優れた性能を示すことがわかった。
コードリリースはhttps://github.com/zyc00/partslip2。
関連論文リスト
- SAMPart3D: Segment Any Part in 3D Objects [23.97392239910013]
3D部分のセグメンテーションは、3D知覚において重要な課題であり、ロボット工学、3D生成、および3D編集などのアプリケーションにおいて重要な役割を果たす。
最近の手法では、2次元から3次元の知識蒸留に強力なビジョン言語モデル(VLM)を用いており、ゼロショットの3次元部分分割を実現している。
本研究では,任意の3Dオブジェクトを複数の粒度のセマンティックな部分に分割する,スケーラブルなゼロショット3D部分分割フレームワークであるSAMPart3Dを紹介する。
論文 参考訳（メタデータ） (2024-11-11T17:59:10Z) - SA3DIP: Segment Any 3D Instance with Potential 3D Priors [41.907914881608995]
本稿では,SA3DIPを提案する。SA3DIPは,任意の3Dインスタンスを,潜在的3Dプライオリティを利用してセグメント化するための新しい手法である。
具体的には,幾何学的およびテクスチャ的先行性の両方に基づいて,相補的な3Dプリミティブを生成する。
一方,3次元検出器を用いて3次元空間からの補足制約を導入し,さらなるマージプロセスの導出を行う。
論文 参考訳（メタデータ） (2024-11-06T10:39:00Z) - 3x2: 3D Object Part Segmentation by 2D Semantic Correspondences [33.99493183183571]
本稿では,いくつかのアノテーション付き3D形状やリッチアノテーション付き2Dデータセットを活用して3Dオブジェクト部分のセグメンテーションを実現することを提案する。
我々は,様々な粒度レベルのベンチマークでSOTA性能を実現する3-By-2という新しい手法を提案する。
論文 参考訳（メタデータ） (2024-07-12T19:08:00Z) - Segment3D: Learning Fine-Grained Class-Agnostic 3D Segmentation without
Manual Labels [141.23836433191624]
現在の3Dシーンセグメンテーション手法は、手動で注釈付けされた3Dトレーニングデータセットに大きく依存している。
高品質な3Dセグメンテーションマスクを生成するクラス非依存の3Dシーンセグメンテーション法であるSegment3Dを提案する。
論文 参考訳（メタデータ） (2023-12-28T18:57:11Z) - SAI3D: Segment Any Instance in 3D Scenes [68.57002591841034]
新規なゼロショット3Dインスタンスセグメンテーション手法であるSAI3Dを紹介する。
我々の手法は3Dシーンを幾何学的プリミティブに分割し、段階的に3Dインスタンスセグメンテーションにマージする。
ScanNet、Matterport3D、さらに難しいScanNet++データセットに関する実証的な評価は、我々のアプローチの優位性を示している。
論文 参考訳（メタデータ） (2023-12-17T09:05:47Z) - SAM-guided Graph Cut for 3D Instance Segmentation [60.75119991853605]
本稿では,3次元画像情報と多視点画像情報の同時利用による3次元インスタンス分割の課題に対処する。
本稿では,3次元インスタンスセグメンテーションのための2次元セグメンテーションモデルを効果的に活用する新しい3D-to-2Dクエリフレームワークを提案する。
本手法は,ロバストなセグメンテーション性能を実現し,異なるタイプのシーンにまたがる一般化を実現する。
論文 参考訳（メタデータ） (2023-12-13T18:59:58Z) - Segment Any 3D Gaussians [85.93694310363325]
本稿では, 3次元ガウススプレイティング(3D-GS)に基づく高効率3Dプロンプト可能なセグメンテーション法であるSAGAについて述べる。
入力として2D視覚的プロンプトが与えられたとき、SAGAは対応する3Dターゲットを4ミリ秒以内に3Dガウスで表現できる。
我々は,SAGAが最先端の手法に匹敵する品質で,リアルタイムな多粒度セグメンテーションを実現することを示す。
論文 参考訳（メタデータ） (2023-12-01T17:15:24Z) - A One Stop 3D Target Reconstruction and multilevel Segmentation Method [0.0]
オープンソースのワンストップ3Dターゲット再構成とマルチレベルセグメンテーションフレームワーク(OSTRA)を提案する。
OSTRAは2D画像上でセグメンテーションを行い、画像シーケンス内のセグメンテーションラベルで複数のインスタンスを追跡し、ラベル付き3Dオブジェクトまたは複数のパーツをMulti-View Stereo(MVS)またはRGBDベースの3D再構成手法で再構成する。
本手法は,複雑なシーンにおいて,リッチなマルチスケールセグメンテーション情報に埋め込まれた3次元ターゲットを再構築するための新たな道を開く。
論文 参考訳（メタデータ） (2023-08-14T07:12:31Z) - PartSLIP: Low-Shot Part Segmentation for 3D Point Clouds via Pretrained
Image-Language Models [56.324516906160234]
一般化可能な3D部分分割は重要だが、ビジョンとロボティクスでは難しい。
本稿では,事前学習した画像言語モデルGLIPを利用して,3次元点雲の低ショット部分分割法を提案する。
我々は2Dから3Dへの豊富な知識を、ポイントクラウドレンダリングにおけるGLIPに基づく部分検出と新しい2D-to-3Dラベルリフトアルゴリズムにより転送する。
論文 参考訳（メタデータ） (2022-12-03T06:59:01Z) - MvDeCor: Multi-view Dense Correspondence Learning for Fine-grained 3D
Segmentation [91.6658845016214]
そこで本研究では,2次元領域における自己教師型手法を,微細な3次元形状分割作業に活用することを提案する。
複数のビューから3次元形状を描画し、コントラスト学習フレームワーク内に密接な対応学習タスクを設置する。
その結果、学習された2次元表現はビュー不変であり、幾何学的に一貫性がある。
論文 参考訳（メタデータ） (2022-08-18T00:48:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。