論文の概要: Point-SAM: Promptable 3D Segmentation Model for Point Clouds
- arxiv url: http://arxiv.org/abs/2406.17741v1
- Date: Tue, 25 Jun 2024 17:28:03 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-26 13:31:24.704994
- Title: Point-SAM: Promptable 3D Segmentation Model for Point Clouds
- Title（参考訳）: Point-SAM: 点雲の3次元分割モデル
- Authors: Yuchen Zhou, Jiayuan Gu, Tung Yen Chiang, Fanbo Xiang, Hao Su,
- Abstract要約: 本稿では,点雲に着目した3次元プロンプト可能なセグメンテーションモデル(Point-SAM)を提案する。
提案手法では,SAMを3次元領域に拡張するトランスフォーマー方式を用いる。
本モデルは,室内および屋外のベンチマークにおいて,最先端のモデルよりも優れる。
- 参考スコア（独自算出の注目度）: 25.98791840584803
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The development of 2D foundation models for image segmentation has been significantly advanced by the Segment Anything Model (SAM). However, achieving similar success in 3D models remains a challenge due to issues such as non-unified data formats, lightweight models, and the scarcity of labeled data with diverse masks. To this end, we propose a 3D promptable segmentation model (Point-SAM) focusing on point clouds. Our approach utilizes a transformer-based method, extending SAM to the 3D domain. We leverage part-level and object-level annotations and introduce a data engine to generate pseudo labels from SAM, thereby distilling 2D knowledge into our 3D model. Our model outperforms state-of-the-art models on several indoor and outdoor benchmarks and demonstrates a variety of applications, such as 3D annotation. Codes and demo can be found at https://github.com/zyc00/Point-SAM.
- Abstract（参考訳）: 画像セグメンテーションのための2次元基礎モデルの開発は、SAM(Segment Anything Model)によって大幅に進展した。
しかし、3Dモデルでも同様の成功は、統一されていないデータフォーマット、軽量モデル、多彩なマスクを持つラベル付きデータの不足といった問題により、依然として課題である。
そこで本研究では,点雲に着目した3次元プロンプト可能なセグメンテーションモデル(Point-SAM)を提案する。
提案手法では,SAMを3次元領域に拡張するトランスフォーマー方式を用いる。
パートレベルのアノテーションとオブジェクトレベルのアノテーションを活用し、SAMから擬似ラベルを生成するデータエンジンを導入し、3Dモデルに2Dの知識を抽出します。
本モデルは,室内および屋外のいくつかのベンチマークにおいて最先端のモデルより優れており,3Dアノテーションなどの様々な応用を実証している。
コードとデモはhttps://github.com/zyc00/Point-SAMで見ることができる。
関連論文リスト
- Segment3D: Learning Fine-Grained Class-Agnostic 3D Segmentation without
Manual Labels [141.23836433191624]
現在の3Dシーンセグメンテーション手法は、手動で注釈付けされた3Dトレーニングデータセットに大きく依存している。
高品質な3Dセグメンテーションマスクを生成するクラス非依存の3Dシーンセグメンテーション法であるSegment3Dを提案する。
論文 参考訳（メタデータ） (2023-12-28T18:57:11Z) - SAI3D: Segment Any Instance in 3D Scenes [68.57002591841034]
新規なゼロショット3Dインスタンスセグメンテーション手法であるSAI3Dを紹介する。
我々の手法は3Dシーンを幾何学的プリミティブに分割し、段階的に3Dインスタンスセグメンテーションにマージする。
ScanNet、Matterport3D、さらに難しいScanNet++データセットに関する実証的な評価は、我々のアプローチの優位性を示している。
論文 参考訳（メタデータ） (2023-12-17T09:05:47Z) - DatasetNeRF: Efficient 3D-aware Data Factory with Generative Radiance
Fields [73.97131748433212]
本稿では,無限で高品質な3Dアノテーションを3Dポイントクラウドセグメンテーションとともに生成できる新しいアプローチを提案する。
我々は3次元生成モデルに先立って強力なセマンティクスを活用してセマンティクスデコーダを訓練する。
トレーニングが完了すると、デコーダは遅延空間を効率よく一般化し、無限のデータの生成を可能にする。
論文 参考訳（メタデータ） (2023-11-18T21:58:28Z) - Leveraging Large-Scale Pretrained Vision Foundation Models for
Label-Efficient 3D Point Cloud Segmentation [67.07112533415116]
本稿では3Dポイントクラウドセグメンテーションタスクに様々な基礎モデルを適用する新しいフレームワークを提案する。
我々のアプローチでは、異なる大きな視覚モデルを用いて2次元セマンティックマスクの初期予測を行う。
本研究では,ロバストな3Dセマンティックな擬似ラベルを生成するために,投票による全ての結果を効果的に組み合わせたセマンティックなラベル融合戦略を提案する。
論文 参考訳（メタデータ） (2023-11-03T15:41:15Z) - SAM3D: Zero-Shot 3D Object Detection via Segment Anything Model [59.04877271899894]
本稿では,SAMのゼロショット能力を3次元物体検出に適用することを検討する。
大規模オープンデータセット上でオブジェクトを検出し,有望な結果を得るために,SAMを用いたBEV処理パイプラインを提案する。
論文 参考訳（メタデータ） (2023-06-04T03:09:21Z) - Segment Anything in 3D with Radiance Fields [83.14130158502493]
本稿では,Segment Anything Model (SAM) を一般化して3次元オブジェクトをセグメント化する。
提案手法をSA3D, 略してSegment Anything in 3Dと呼ぶ。
実験では,SA3Dが様々なシーンに適応し,数秒で3Dセグメンテーションを実現することを示す。
論文 参考訳（メタデータ） (2023-04-24T17:57:15Z) - A Convolutional Architecture for 3D Model Embedding [1.3858051019755282]
入力として3Dモデルを扱うディープラーニングアーキテクチャを提案する。
埋め込み表現は3Dオブジェクトの類似性評価を扱うのに役立つセマンティック情報を伝えることを示した。
論文 参考訳（メタデータ） (2021-03-05T15:46:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。