論文の概要: Point-SAM: Promptable 3D Segmentation Model for Point Clouds
- arxiv url: http://arxiv.org/abs/2406.17741v2
- Date: Mon, 02 Dec 2024 23:28:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-04 15:39:47.225987
- Title: Point-SAM: Promptable 3D Segmentation Model for Point Clouds
- Title（参考訳）: Point-SAM: 点雲の3次元分割モデル
- Authors: Yuchen Zhou, Jiayuan Gu, Tung Yen Chiang, Fanbo Xiang, Hao Su,
- Abstract要約: 本稿では,ポイントクラウドに着目した3Dプロンプト可能なセグメンテーションモデルであるPoint-SAMを提案する。
我々は、SAMを3Dドメインに拡張する、ポイントクラウドに適した効率的なトランスフォーマーベースのアーキテクチャを採用している。
次に、データエンジンを導入し、2D SAMから大規模に部分レベルおよびオブジェクトレベルの擬似ラベルを生成することにより、2D SAMから豊富な知識を抽出する。
- 参考スコア（独自算出の注目度）: 25.98791840584803
- License:
- Abstract: The development of 2D foundation models for image segmentation has been significantly advanced by the Segment Anything Model (SAM). However, achieving similar success in 3D models remains a challenge due to issues such as non-unified data formats, poor model scalability, and the scarcity of labeled data with diverse masks. To this end, we propose a 3D promptable segmentation model Point-SAM, focusing on point clouds. We employ an efficient transformer-based architecture tailored for point clouds, extending SAM to the 3D domain. We then distill the rich knowledge from 2D SAM for Point-SAM training by introducing a data engine to generate part-level and object-level pseudo-labels at scale from 2D SAM. Our model outperforms state-of-the-art 3D segmentation models on several indoor and outdoor benchmarks and demonstrates a variety of applications, such as interactive 3D annotation and zero-shot 3D instance proposal. Codes and demo can be found at https://github.com/zyc00/Point-SAM.
- Abstract（参考訳）: 画像セグメンテーションのための2次元基礎モデルの開発は、SAM(Segment Anything Model)によって大幅に進展した。
しかし、3Dモデルでも同様の成功は、統一されていないデータフォーマット、モデルのスケーラビリティの低さ、多彩なマスクによるラベル付きデータの不足といった問題により、依然として課題である。
そこで本研究では,ポイントクラウドに着目した3次元プロンプト可能なセグメンテーションモデルを提案する。
我々は、SAMを3Dドメインに拡張する、ポイントクラウドに適した効率的なトランスフォーマーベースのアーキテクチャを採用している。
次に、データエンジンを導入し、2D SAMから大規模に部分レベルおよびオブジェクトレベルの擬似ラベルを生成することにより、2D SAMから豊富な知識を抽出する。
本モデルは,屋内および屋外のいくつかのベンチマークにおいて最先端の3Dセグメンテーションモデルより優れており,インタラクティブな3Dアノテーションやゼロショット3Dインスタンスの提案など,様々な応用を実証している。
コードとデモはhttps://github.com/zyc00/Point-SAMで見ることができる。
関連論文リスト
- SAM2Point: Segment Any 3D as Videos in Zero-shot and Promptable Manners [87.76470518069338]
SAM2Pointは,Segment Anything Model 2 (SAM2) に適応した予備的な探索手法である。
本フレームワークは3Dポイントやボックス,マスクなど,さまざまなプロンプトタイプをサポートし,3Dオブジェクトや屋内シーン,疎外環境,生のLiDARなど,さまざまなシナリオを一般化することができる。
我々の知る限り、SAMの3Dにおける最も忠実な実装は、3Dセグメンテーションにおける将来の研究の出発点となるかもしれない。
論文 参考訳（メタデータ） (2024-08-29T17:59:45Z) - SAI3D: Segment Any Instance in 3D Scenes [68.57002591841034]
新規なゼロショット3Dインスタンスセグメンテーション手法であるSAI3Dを紹介する。
我々の手法は3Dシーンを幾何学的プリミティブに分割し、段階的に3Dインスタンスセグメンテーションにマージする。
ScanNet、Matterport3D、さらに難しいScanNet++データセットに関する実証的な評価は、我々のアプローチの優位性を示している。
論文 参考訳（メタデータ） (2023-12-17T09:05:47Z) - DatasetNeRF: Efficient 3D-aware Data Factory with Generative Radiance Fields [68.94868475824575]
本稿では,無限で高品質な3Dアノテーションを3Dポイントクラウドセグメンテーションとともに生成できる新しいアプローチを提案する。
我々は3次元生成モデルに先立って強力なセマンティクスを活用してセマンティクスデコーダを訓練する。
トレーニングが完了すると、デコーダは遅延空間を効率よく一般化し、無限のデータの生成を可能にする。
論文 参考訳（メタデータ） (2023-11-18T21:58:28Z) - Leveraging Large-Scale Pretrained Vision Foundation Models for
Label-Efficient 3D Point Cloud Segmentation [67.07112533415116]
本稿では3Dポイントクラウドセグメンテーションタスクに様々な基礎モデルを適用する新しいフレームワークを提案する。
我々のアプローチでは、異なる大きな視覚モデルを用いて2次元セマンティックマスクの初期予測を行う。
本研究では,ロバストな3Dセマンティックな擬似ラベルを生成するために,投票による全ての結果を効果的に組み合わせたセマンティックなラベル融合戦略を提案する。
論文 参考訳（メタデータ） (2023-11-03T15:41:15Z) - SAM3D: Zero-Shot 3D Object Detection via Segment Anything Model [59.04877271899894]
本稿では,SAMのゼロショット能力を3次元物体検出に適用することを検討する。
大規模オープンデータセット上でオブジェクトを検出し,有望な結果を得るために,SAMを用いたBEV処理パイプラインを提案する。
論文 参考訳（メタデータ） (2023-06-04T03:09:21Z) - Segment Anything in 3D with Radiance Fields [83.14130158502493]
本稿では,Segment Anything Model (SAM) を一般化して3次元オブジェクトをセグメント化する。
提案手法をSA3D, 略してSegment Anything in 3Dと呼ぶ。
実験では,SA3Dが様々なシーンに適応し,数秒で3Dセグメンテーションを実現することを示す。
論文 参考訳（メタデータ） (2023-04-24T17:57:15Z) - A Convolutional Architecture for 3D Model Embedding [1.3858051019755282]
入力として3Dモデルを扱うディープラーニングアーキテクチャを提案する。
埋め込み表現は3Dオブジェクトの類似性評価を扱うのに役立つセマンティック情報を伝えることを示した。
論文 参考訳（メタデータ） (2021-03-05T15:46:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。