論文の概要: When 3D Bounding-Box Meets SAM: Point Cloud Instance Segmentation with Weak-and-Noisy Supervision

• arxiv url: http://arxiv.org/abs/2309.00828v1
• Date: Sat, 2 Sep 2023 05:17:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-07 00:55:54.553368
• Title: When 3D Bounding-Box Meets SAM: Point Cloud Instance Segmentation with Weak-and-Noisy Supervision
• Title（参考訳）: 3DバウンディングボックスがSAMと出会う: 弱と雑音のスーパービジョンによるポイントクラウドインスタンスセグメンテーション
• Authors: Qingtao Yu, Heming Du, Chen Liu, Xin Yu
• Abstract要約: 本稿では,CIP-WPIS法を提案する。 2次元基礎モデルSAMと3次元幾何に埋め込まれた事前学習知識を活用し、正確なポイントワイズ・インスタンス・ラベルを実現する。 提案手法は,ノイズの多い3次元境界ボックスアノテーションに対して頑健であり,最先端の性能を実現する。
• 参考スコア（独自算出の注目度）: 20.625754683390536
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Learning from bounding-boxes annotations has shown great potential in weakly-supervised 3D point cloud instance segmentation. However, we observed that existing methods would suffer severe performance degradation with perturbed bounding box annotations. To tackle this issue, we propose a complementary image prompt-induced weakly-supervised point cloud instance segmentation (CIP-WPIS) method. CIP-WPIS leverages pretrained knowledge embedded in the 2D foundation model SAM and 3D geometric prior to achieve accurate point-wise instance labels from the bounding box annotations. Specifically, CP-WPIS first selects image views in which 3D candidate points of an instance are fully visible. Then, we generate complementary background and foreground prompts from projections to obtain SAM 2D instance mask predictions. According to these, we assign the confidence values to points indicating the likelihood of points belonging to the instance. Furthermore, we utilize 3D geometric homogeneity provided by superpoints to decide the final instance label assignments. In this fashion, we achieve high-quality 3D point-wise instance labels. Extensive experiments on both Scannet-v2 and S3DIS benchmarks demonstrate that our method is robust against noisy 3D bounding-box annotations and achieves state-of-the-art performance.
• Abstract（参考訳）: 境界ボックスアノテーションから学ぶことは、弱教師付き3Dポイントクラウドインスタンスセグメンテーションにおいて大きな可能性がある。 しかし,既存の手法では制約付きバウンディングボックスアノテーションによって性能が著しく低下することが判明した。 そこで本研究では,CIP-WPIS法を補完画像として提案する。 CIP-WPISは2DファンデーションモデルSAMと3D幾何学に埋め込まれた事前訓練された知識を活用し、境界ボックスアノテーションから正確なポイントワイズインスタンスラベルを達成する。 具体的には、cp-wpisはまずインスタンスの3d候補ポイントが完全に見える画像ビューを選択する。 そして、投影から補完的な背景と前景のプロンプトを生成し、SAM 2Dインスタンスマスク予測を得る。 これらに従って,信頼度値を,そのインスタンスに属する点の確率を示す点に割り当てる。 さらに、スーパーポイントによって提供される3次元幾何学的均質性を利用して、最終インスタンスラベル割り当てを決定する。 このような方法で,高品質な3Dポイントワイドインスタンスラベルを実現する。 Scannet-v2 と S3DIS のベンチマーク実験により,本手法はノイズの多い3次元バウンディングボックスアノテーションに対して頑健であり,最先端の性能を実現する。

関連論文リスト

• Bayesian Self-Training for Semi-Supervised 3D Segmentation [59.544558398992386]
  3Dセグメンテーションはコンピュータビジョンの中核的な問題である。 完全に教師されたトレーニングを採用するために、3Dポイントクラウドを密にラベル付けすることは、労働集約的で高価です。 半教師付きトレーニングは、ラベル付きデータの小さなセットのみを付与し、より大きなラベル付きデータセットを伴って、より実用的な代替手段を提供する。
  論文  参考訳（メタデータ） (2024-09-12T14:54:31Z)
• AutoInst: Automatic Instance-Based Segmentation of LiDAR 3D Scans [41.17467024268349]
  3D環境を理解するには、きめ細かい風景を理解する必要がある。 教師なしの方法で3次元シーンのインスタンスセグメンテーションを予測することを提案する。 平均精度は13.3%,F1スコアは9.1%向上した。
  論文  参考訳（メタデータ） (2024-03-24T22:53:16Z)
• Open3DIS: Open-Vocabulary 3D Instance Segmentation with 2D Mask Guidance [49.14140194332482]
  Open3DISは3Dシーン内でのOpen-Vocabulary Instanceの問題に対処するために設計された新しいソリューションである。 3D環境内のオブジェクトは、さまざまな形状、スケール、色を示し、正確なインスタンスレベルの識別が困難なタスクとなる。
  論文  参考訳（メタデータ） (2023-12-17T10:07:03Z)
• U3DS$^3$: Unsupervised 3D Semantic Scene Segmentation [19.706172244951116]
  本稿では,U3DS$3$について,総合的な3Dシーンに対して,完全に教師なしのポイントクラウドセグメンテーションに向けたステップとして提示する。 提案手法の最初のステップは,各シーンの幾何学的特徴に基づいてスーパーポイントを生成することである。 次に、空間クラスタリングに基づく手法を用いて学習プロセスを行い、次いで、クラスタセントロイドに応じて生成された擬似ラベルを用いて反復的なトレーニングを行う。
  論文  参考訳（メタデータ） (2023-11-10T12:05:35Z)
• Weakly Supervised 3D Instance Segmentation without Instance-level Annotations [57.615325809883636]
  3Dセマンティックシーン理解タスクは、ディープラーニングの出現によって大きな成功を収めた。 本稿では,分類的セマンティックラベルのみを監督対象とする,弱制御型3Dインスタンスセマンティクス手法を提案する。 分類的セマンティックラベルから擬似インスタンスラベルを生成することで,アノテーションコストの低減で既存の3Dインスタンスセグメンテーションの学習を支援することができる。
  論文  参考訳（メタデータ） (2023-08-03T12:30:52Z)
• Learning Inter-Superpoint Affinity for Weakly Supervised 3D Instance Segmentation [10.968271388503986]
  本稿では,各インスタンスに1点だけアノテートすることで,優れたパフォーマンスを実現する3Dインスタンスセグメンテーションフレームワークを提案する。 本手法は,弱教師付きポイントクラウドインスタンスセグメンテーションタスクにおける最先端性能を実現し,完全教師付き手法よりも優れる。
  論文  参考訳（メタデータ） (2022-10-11T15:22:22Z)
• Collaborative Propagation on Multiple Instance Graphs for 3D Instance Segmentation with Single-point Supervision [63.429704654271475]
  本稿では,1つのオブジェクトを1つのポイントでラベル付けするだけでよい,弱教師付き手法RWSegを提案する。 これらの疎いラベルにより、セマンティック情報とインスタンス情報を伝達する2つの分岐を持つ統一的なフレームワークを導入する。 具体的には、異なるインスタンスグラフ間の競合を促進するクロスグラフ競合ランダムウォークス(CRW)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-08-10T02:14:39Z)
• Box2Seg: Learning Semantics of 3D Point Clouds with Box-Level Supervision [65.19589997822155]
  我々は3Dポイントクラウドのポイントレベルのセマンティクスをバウンディングボックスレベルの監視で学習するために,Box2Segと呼ばれるニューラルアーキテクチャを導入する。 提案するネットワークは,安価な,あるいは既定のバウンディングボックスレベルのアノテーションやサブクラウドレベルのタグでトレーニング可能であることを示す。
  論文  参考訳（メタデータ） (2022-01-09T09:07:48Z)
• SASA: Semantics-Augmented Set Abstraction for Point-based 3D Object Detection [78.90102636266276]
  SASA(Semantics-Augmented Set Abstraction)と呼ばれる新しい集合抽象化手法を提案する。 そこで本研究では, 推定点前景スコアに基づいて, より重要な前景点の維持を支援するセマンティックス誘導点サンプリングアルゴリズムを提案する。 実際には、SASAは、前景オブジェクトに関連する貴重な点を識別し、ポイントベースの3D検出のための特徴学習を改善するのに有効である。
  論文  参考訳（メタデータ） (2022-01-06T08:54:47Z)
• 3D Guided Weakly Supervised Semantic Segmentation [27.269847900950943]
  本稿では,スパース境界ボックスラベルを利用可能な3次元情報に組み込むことにより,弱教師付き2次元セマンティックセマンティックセマンティックセマンティクスモデルを提案する。 手動で2D-3Dセマンティックス(2D-3D-S)データセットのサブセットにバウンディングボックスをラベル付けし、2D-3D推論モジュールを導入し、正確なピクセルワイドセグメント提案マスクを生成する。
  論文  参考訳（メタデータ） (2020-12-01T03:34:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。