論文の概要: SAM-guided Pseudo Label Enhancement for Multi-modal 3D Semantic Segmentation

• arxiv url: http://arxiv.org/abs/2502.00960v1
• Date: Sun, 02 Feb 2025 23:52:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 14:59:33.624899
• Title: SAM-guided Pseudo Label Enhancement for Multi-modal 3D Semantic Segmentation
• Title（参考訳）: 多モード3次元セマンティックセマンティックセグメンテーションのためのSAM誘導擬似ラベル強調
• Authors: Mingyu Yang, Jitong Lu, Hun-Seok Kim,
• Abstract要約: 自律運転や仮想現実(VR)などの応用には多モード3Dセマンティックセマンティックセマンティックセマンティクスが不可欠である これらのモデルを現実のシナリオに効果的にデプロイするには、クロスドメイン適応技術を採用することが不可欠である。 擬似ラベルを用いた自己学習が3次元セマンティックセグメンテーションにおけるクロスドメイン適応の主要な手法として浮上している。
• 参考スコア（独自算出の注目度）: 16.019735682706163
• License:
• Abstract: Multi-modal 3D semantic segmentation is vital for applications such as autonomous driving and virtual reality (VR). To effectively deploy these models in real-world scenarios, it is essential to employ cross-domain adaptation techniques that bridge the gap between training data and real-world data. Recently, self-training with pseudo-labels has emerged as a predominant method for cross-domain adaptation in multi-modal 3D semantic segmentation. However, generating reliable pseudo-labels necessitates stringent constraints, which often result in sparse pseudo-labels after pruning. This sparsity can potentially hinder performance improvement during the adaptation process. We propose an image-guided pseudo-label enhancement approach that leverages the complementary 2D prior knowledge from the Segment Anything Model (SAM) to introduce more reliable pseudo-labels, thereby boosting domain adaptation performance. Specifically, given a 3D point cloud and the SAM masks from its paired image data, we collect all 3D points covered by each SAM mask that potentially belong to the same object. Then our method refines the pseudo-labels within each SAM mask in two steps. First, we determine the class label for each mask using majority voting and employ various constraints to filter out unreliable mask labels. Next, we introduce Geometry-Aware Progressive Propagation (GAPP) which propagates the mask label to all 3D points within the SAM mask while avoiding outliers caused by 2D-3D misalignment. Experiments conducted across multiple datasets and domain adaptation scenarios demonstrate that our proposed method significantly increases the quantity of high-quality pseudo-labels and enhances the adaptation performance over baseline methods.
• Abstract（参考訳）: 自律運転や仮想現実(VR)といったアプリケーションには,マルチモーダルな3Dセマンティックセマンティックセグメンテーションが不可欠である。 これらのモデルを実世界のシナリオで効果的にデプロイするには、トレーニングデータと実世界のデータのギャップを埋めるクロスドメイン適応技術を採用することが不可欠である。 近年,マルチモーダルな3次元セマンティックセグメンテーションにおいて,擬似ラベルを用いた自己学習がドメイン間適応の主流となっている。 しかし、信頼できる擬似ラベルを生成するには厳密な制約が必要であるため、プルーニング後にしばしばスパースな擬似ラベルが発生する。 このスパーシリティは、適応プロセスにおけるパフォーマンス改善を阻害する可能性がある。 本稿では,Segment Anything Model (SAM) の補完的2D事前知識を活用して,より信頼性の高い擬似ラベルを導入し,ドメイン適応性能を向上させる画像誘導擬似ラベル拡張手法を提案する。 具体的には、ペア画像データから3Dポイントの雲とSAMマスクが与えられた場合、同じオブジェクトに属する可能性がある各SAMマスクによってカバーされたすべての3Dポイントを収集する。 そこで本手法では,各SAMマスク内の擬似ラベルを2ステップで精査する。 まず,過半数投票を用いて各マスクのクラスラベルを決定し,信頼できないマスクラベルをフィルタリングするために様々な制約を用いる。 次に,2D-3Dミスアライメントによる外れを回避しつつ,SAMマスク内のすべての3Dポイントにマスクラベルを伝搬するGeometry-Aware Progressive Propagation (GAPP)を提案する。 複数のデータセットおよびドメイン適応シナリオで実施した実験により,提案手法は高品質な擬似ラベルの量を大幅に増加させ,ベースライン法よりも適応性能を向上することを示した。

関連論文リスト

• Towards Modality-agnostic Label-efficient Segmentation with Entropy-Regularized Distribution Alignment [62.73503467108322]
  この話題は、3次元の点雲のセグメンテーションで広く研究されている。 近年まで、擬似ラベルは、限られた地道ラベルによる訓練を容易にするために広く用いられてきた。 既存の擬似ラベリングアプローチは、重複しないデータのノイズやバリエーションに悩まされる可能性がある。 本研究では,学習用擬似ラベルを正規化し,擬似ラベルとモデル予測とのギャップを効果的に狭める学習戦略を提案する。
  論文  参考訳（メタデータ） (2024-08-29T13:31:15Z)
• Few-Shot 3D Volumetric Segmentation with Multi-Surrogate Fusion [31.736235596070937]
  軽量マルチサロゲート融合(MSF)を用いた新しい3DセグメンテーションフレームワークMSFSegを提案する。 MSFSegは、1つまたは数個の注釈付き2Dスライスまたは3Dシーケンスセグメントを備えた、目に見えない3Dオブジェクト/組織(トレーニング中)を自動的に分割することができる。 提案するMSFモジュールは, ラベル付きスライスと少数のラベル付きスライス/シーケンス間の包括的および多彩な相関関係を, 複数の指定されたサロゲートを介して抽出する。
  論文  参考訳（メタデータ） (2024-08-26T17:15:37Z)
• Segment, Lift and Fit: Automatic 3D Shape Labeling from 2D Prompts [50.181870446016376]
  本稿では,2Dポイントやボックスプロンプトから3Dオブジェクトを自動的にラベル付けするアルゴリズムを提案する。 従来のアートとは異なり、自動ラベルはバウンディングボックスの代わりに3D形状を予測し、特定のデータセットのトレーニングを必要としない。
  論文  参考訳（メタデータ） (2024-07-16T04:53:28Z)
• Efficient 3D Instance Mapping and Localization with Neural Fields [39.73128916618561]
  本稿では,RGB画像の列から3次元インスタンスセグメンテーションの暗黙的なシーン表現を学習する問題に取り組む。 本稿では,新しい視点から3Dインスタンスセグメンテーションマスクを描画するニューラルラベルフィールドを効率的に学習する新しいフレームワークである3DIMLを紹介する。
  論文  参考訳（メタデータ） (2024-03-28T19:25:25Z)
• Decoupled Pseudo-labeling for Semi-Supervised Monocular 3D Object Detection [108.672972439282]
  SSM3ODに対するDPL(decoupled pseudo-labeling)アプローチを提案する。 提案手法は,擬似ラベルを効率的に生成するためのDPGモジュールを特徴とする。 また,擬似ラベルの雑音深度監視による最適化競合を軽減するために,DGPモジュールを提案する。
  論文  参考訳（メタデータ） (2024-03-26T05:12:18Z)
• Visual Foundation Models Boost Cross-Modal Unsupervised Domain Adaptation for 3D Semantic Segmentation [17.875516787157018]
  本研究では,2次元視覚基礎モデルから得られた知識を活用して,ラベルのない対象ドメインのより正確なラベルを生成する方法について検討する。 本手法は, 各種自律走行データセットを用いて評価し, 3次元セグメンテーションタスクにおいて有意な改善が得られた。
  論文  参考訳（メタデータ） (2024-03-15T03:58:17Z)
• 3D-PL: Domain Adaptive Depth Estimation with 3D-aware Pseudo-Labeling [37.315964084413174]
  我々は,実際のデータから信頼された疑似基底真理を生成して,直接の監視を行うドメイン適応フレームワークを開発する。 具体的には,(1)画像が同一内容の異なるスタイルのときの深度予測の一貫性を計測し,(2)3次元空間における深度値の完備化を学習するポイントクラウドコンプリートネットワークを介して,擬似ラベルを認識させることにより,擬似ラベルの2つのメカニズムを提案する。
  論文  参考訳（メタデータ） (2022-09-19T17:54:17Z)
• Image Understands Point Cloud: Weakly Supervised 3D Semantic Segmentation via Association Learning [59.64695628433855]
  ラベルのない画像から補完的な情報を取り入れた3次元セグメンテーションのための新しいクロスモダリティ弱教師付き手法を提案する。 基本的に、ラベルの小さな部分のパワーを最大化するために、アクティブなラベリング戦略を備えたデュアルブランチネットワークを設計する。 提案手法は,1%未満のアクティブなアノテーションで,最先端の完全教師付き競合よりも優れていた。
  論文  参考訳（メタデータ） (2022-09-16T07:59:04Z)
• MM-TTA: Multi-Modal Test-Time Adaptation for 3D Semantic Segmentation [104.48766162008815]
  本稿では,3次元セマンティックセグメンテーションのためのテスト時間適応のマルチモーダル拡張を提案する。 マルチモダリティを最大限に活用できるフレームワークを設計するために、各モダリティは他のモダリティに対して正規化された自己監督信号を提供する。 正規化された擬似ラベルは、多数の多モードテスト時間適応シナリオにおいて安定した自己学習信号を生成する。
  論文  参考訳（メタデータ） (2022-04-27T02:28:12Z)
• ST3D++: Denoised Self-training for Unsupervised Domain Adaptation on 3D Object Detection [78.71826145162092]
  本稿では,ST3D++という名前の自己学習手法を提案する。 擬似ラベル生成プロセスにハイブリット品質を意識した三重項メモリを組み込むことにより、生成された擬似ラベルの品質と安定性を向上させる。 モデルトレーニングの段階では、ソースデータ支援トレーニング戦略とカリキュラムデータ拡張ポリシーを提案する。
  論文  参考訳（メタデータ） (2021-08-15T07:49:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。