論文の概要: When 3D Partial Points Meets SAM: Tooth Point Cloud Segmentation with Sparse Labels

• arxiv url: http://arxiv.org/abs/2409.01691v1
• Date: Tue, 3 Sep 2024 08:14:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-06 02:30:20.803523
• Title: When 3D Partial Points Meets SAM: Tooth Point Cloud Segmentation with Sparse Labels
• Title（参考訳）: 3次元部分点がSAMと出会う時: スパースラベルによる歯点雲の分別
• Authors: Yifan Liu, Wuyang Li, Cheng Wang, Hui Chen, Yixuan Yuan,
• Abstract要約: 歯点クラウドセグメンテーションは多くの矯正用アプリケーションにおいて基本的なタスクである。 近年, 3次元セグメンテーションに弱いラベルを用い, 有望な結果を得る方法が提案されている。 本稿では,SAMTooth という名前のフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 39.54551717450374
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Tooth point cloud segmentation is a fundamental task in many orthodontic applications. Current research mainly focuses on fully supervised learning which demands expensive and tedious manual point-wise annotation. Although recent weakly-supervised alternatives are proposed to use weak labels for 3D segmentation and achieve promising results, they tend to fail when the labels are extremely sparse. Inspired by the powerful promptable segmentation capability of the Segment Anything Model (SAM), we propose a framework named SAMTooth that leverages such capacity to complement the extremely sparse supervision. To automatically generate appropriate point prompts for SAM, we propose a novel Confidence-aware Prompt Generation strategy, where coarse category predictions are aggregated with confidence-aware filtering. Furthermore, to fully exploit the structural and shape clues in SAM's outputs for assisting the 3D feature learning, we advance a Mask-guided Representation Learning that re-projects the generated tooth masks of SAM into 3D space and constrains these points of different teeth to possess distinguished representations. To demonstrate the effectiveness of the framework, we conduct experiments on the public dataset and surprisingly find with only 0.1\% annotations (one point per tooth), our method can surpass recent weakly supervised methods by a large margin, and the performance is even comparable to the recent fully-supervised methods, showcasing the significant potential of applying SAM to 3D perception tasks with sparse labels. Code is available at https://github.com/CUHK-AIM-Group/SAMTooth.
• Abstract（参考訳）: 歯点クラウドセグメンテーションは多くの矯正用アプリケーションにおいて基本的なタスクである。 現在の研究は主に、高価で面倒な手動のポイントワイドアノテーションを必要とする完全な教師付き学習に焦点を当てている。 近年では、3Dセグメンテーションに弱いラベルを使うことや有望な結果を得ることが提案されているが、ラベルが極めて希薄な場合に失敗する傾向にある。 本稿では,Segment Anything Model (SAM) の強力なセグメンテーション能力に触発された SAMTooth というフレームワークを提案する。 SAMの適切なポイントプロンプトを自動生成する手法として,信頼を意識したフィルタリングによってカテゴリの粗い予測を集約する,信頼を意識したプロンプト生成手法を提案する。 さらに、3次元特徴学習を支援するためにSAMの出力の構造的および形状的手がかりを完全に活用するために、SAMの生成された歯面を3次元空間に再投影するマスク誘導表現学習を推進し、異なる歯の点を異なる表現を持つように制約する。 このフレームワークの有効性を実証するために,我々は公開データセット上で実験を行い,0.1\%のアノテーション(歯1点)で驚くほどの精度で検索し,最近の弱い教師付き手法を大きなマージンで上回り,その性能は最近の完全教師付き手法に匹敵するものであり,スパースラベルによるSAMを3次元知覚タスクに適用する有意義な可能性を示している。 コードはhttps://github.com/CUHK-AIM-Group/SAMToothで入手できる。

関連論文リスト

• Multi-modality Affinity Inference for Weakly Supervised 3D Semantic Segmentation [47.81638388980828]
  本稿では,マルチモーダルポイント親和性推論モジュールを新たに導入した,シンプルで効果的なシーンレベルの弱教師付きポイントクラウドセグメンテーション法を提案する。 ScanNet と S3DIS のベンチマークでは,最先端の ScanNet と S3DIS のベンチマークでは 4% から 6% の mIoU を達成している。
  論文  参考訳（メタデータ） (2023-12-27T14:01:35Z)
• Weakly Supervised 3D Instance Segmentation without Instance-level Annotations [57.615325809883636]
  3Dセマンティックシーン理解タスクは、ディープラーニングの出現によって大きな成功を収めた。 本稿では,分類的セマンティックラベルのみを監督対象とする,弱制御型3Dインスタンスセマンティクス手法を提案する。 分類的セマンティックラベルから擬似インスタンスラベルを生成することで,アノテーションコストの低減で既存の3Dインスタンスセグメンテーションの学習を支援することができる。
  論文  参考訳（メタデータ） (2023-08-03T12:30:52Z)
• How to Efficiently Adapt Large Segmentation Model(SAM) to Medical Images [15.181219203629643]
  Segment Anything (SAM)は、自然画像のゼロショットセグメンテーションにおいて印象的な機能を示す。 しかし、医療画像に適用すると、SAMは顕著なパフォーマンス低下に悩まされる。 本研究では,SAMエンコーダを凍結し,軽量なタスク固有予測ヘッドを微調整することを提案する。
  論文  参考訳（メタデータ） (2023-06-23T18:34:30Z)
• Collaborative Propagation on Multiple Instance Graphs for 3D Instance Segmentation with Single-point Supervision [63.429704654271475]
  本稿では,1つのオブジェクトを1つのポイントでラベル付けするだけでよい,弱教師付き手法RWSegを提案する。 これらの疎いラベルにより、セマンティック情報とインスタンス情報を伝達する2つの分岐を持つ統一的なフレームワークを導入する。 具体的には、異なるインスタンスグラフ間の競合を促進するクロスグラフ競合ランダムウォークス(CRW)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-08-10T02:14:39Z)
• Semi-supervised 3D Object Detection with Proficient Teachers [114.54835359657707]
  自律運転のシナリオにおけるクラウドベースの3Dオブジェクト検出器の優位性は、大量の正確なラベル付きサンプルに大きく依存している。 Pseudo-Labeling法はSSLフレームワークで一般的に使用されているが、教師モデルの低品質な予測は、その性能を著しく制限している。 そこで本研究では,教師モデルをさらに高度化することで,半教師付き3次元物体検出のためのPseudo-Labelingフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-26T04:54:03Z)
• Semi-supervised 3D Object Detection via Adaptive Pseudo-Labeling [18.209409027211404]
  3次元物体検出はコンピュータビジョンにおいて重要な課題である。 既存のほとんどのメソッドでは、多くの高品質な3Dアノテーションが必要です。 本研究では,屋外3次元物体検出タスクのための擬似ラベルに基づく新しい半教師付きフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-08-15T02:58:43Z)
• Dense Supervision Propagation for Weakly Supervised Semantic Segmentation on 3D Point Clouds [59.63231842439687]
  意味点クラウドセグメンテーションネットワークをトレーニングする。 同様の特徴を伝達し、2つのサンプルにまたがる勾配を再現するクロスサンプル機能再配置モジュールを提案する。 ラベルの10%と1%しか持たない弱教師付き手法では、完全教師付き手法と互換性のある結果が得られる。
  論文  参考訳（メタデータ） (2021-07-23T14:34:57Z)
• 3D Spatial Recognition without Spatially Labeled 3D [127.6254240158249]
  Weakly-supervised framework for Point cloud Recognitionを紹介する。 We show that WyPR can detected and segment objects in point cloud data without access any space labels at training time。
  論文  参考訳（メタデータ） (2021-05-13T17:58:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。