論文の概要: CUS3D :CLIP-based Unsupervised 3D Segmentation via Object-level Denoise

• arxiv url: http://arxiv.org/abs/2409.13982v1
• Date: Sat, 21 Sep 2024 02:17:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-07 04:17:38.606413
• Title: CUS3D :CLIP-based Unsupervised 3D Segmentation via Object-level Denoise
• Title（参考訳）: CUS3D :CLIPに基づくオブジェクトレベルのデノイズによる教師なし3次元セグメンテーション
• Authors: Fuyang Yu, Runze Tian, Zhen Wang, Xiaochuan Wang, Xiaohui Liang,
• Abstract要約: CUS3Dという新しい蒸留学習フレームワークを提案する。 オブジェクトレベルのデノシングプロジェクションモジュールは、ノイズのスクリーニングとより正確な3D機能を保証するように設計されています。 得られた特徴に基づき、3D特徴とCLIP意味的特徴空間を整合させる多モード蒸留学習モジュールを設計した。
• 参考スコア（独自算出の注目度）: 9.12768731317489
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To ease the difficulty of acquiring annotation labels in 3D data, a common method is using unsupervised and open-vocabulary semantic segmentation, which leverage 2D CLIP semantic knowledge. In this paper, unlike previous research that ignores the ``noise'' raised during feature projection from 2D to 3D, we propose a novel distillation learning framework named CUS3D. In our approach, an object-level denosing projection module is designed to screen out the ``noise'' and ensure more accurate 3D feature. Based on the obtained features, a multimodal distillation learning module is designed to align the 3D feature with CLIP semantic feature space with object-centered constrains to achieve advanced unsupervised semantic segmentation. We conduct comprehensive experiments in both unsupervised and open-vocabulary segmentation, and the results consistently showcase the superiority of our model in achieving advanced unsupervised segmentation results and its effectiveness in open-vocabulary segmentation.
• Abstract（参考訳）: 3Dデータにおけるアノテーションラベルの取得の難しさを解消するために、一般的な方法は2D CLIPのセマンティック知識を活用する、教師なしでオープンなセマンティックセマンティックセマンティックセマンティクスを使用することである。 本稿では,2次元から3次元への特徴投影中に生じる「ノイズ」を無視する従来の研究とは異なり,CUS3Dという新しい蒸留学習フレームワークを提案する。 このアプローチでは、オブジェクトレベルのデノシングプロジェクションモジュールが ``noise'' をスクリーニングし、より正確な3D機能を保証するように設計されています。 得られた特徴に基づき, マルチモーダル蒸留学習モジュールは, 高度な教師なしセマンティックセマンティックセマンティクスを実現するために, 3次元特徴とCLIPセマンティクス特徴空間をオブジェクト中心の制約に整合させるように設計されている。 本研究では, 教師なしセグメンテーションとオープンボキャブラリセグメンテーションの両方において総合的な実験を行い, より高度な教師なしセグメンテーションの達成におけるモデルの優位性と, オープンボキャブラリセグメンテーションの有効性を一貫して示す。

関連論文リスト

• Bayesian Self-Training for Semi-Supervised 3D Segmentation [59.544558398992386]
  3Dセグメンテーションはコンピュータビジョンの中核的な問題である。 完全に教師されたトレーニングを採用するために、3Dポイントクラウドを密にラベル付けすることは、労働集約的で高価です。 半教師付きトレーニングは、ラベル付きデータの小さなセットのみを付与し、より大きなラベル付きデータセットを伴って、より実用的な代替手段を提供する。
  論文  参考訳（メタデータ） (2024-09-12T14:54:31Z)
• Augmented Efficiency: Reducing Memory Footprint and Accelerating Inference for 3D Semantic Segmentation through Hybrid Vision [9.96433151449016]
  本稿では,2次元と3次元のコンピュータビジョン技術を組み合わせた3次元セマンティックセグメンテーションの新たなアプローチを提案する。 我々は3次元点雲にリンクしたRGB画像に対して2Dセマンティックセマンティックセマンティックセマンティクスを行い、その結果をクラスラベルの押出手法を用いて3Dに拡張する。 このモデルは、KITTI-360データセット上の最先端の3Dセマンティックセマンティックセグメンテーションモデルとして機能する。
  論文  参考訳（メタデータ） (2024-07-23T00:04:10Z)
• 3D Weakly Supervised Semantic Segmentation with 2D Vision-Language Guidance [68.8825501902835]
  3DSS-VLGは2Dビジョンランゲージ誘導を用いた3Dセマンティックの弱い教師付きアプローチである。 我々の知る限りでは、テキストカテゴリラベルのテキスト意味情報を用いて、弱教師付きセマンティックセマンティックセグメンテーションを調査するのは、これが初めてである。
  論文  参考訳（メタデータ） (2024-07-13T09:39:11Z)
• OpenGaussian: Towards Point-Level 3D Gaussian-based Open Vocabulary Understanding [54.981605111365056]
  本稿では,3次元点レベルの開語彙理解が可能な3次元ガウススティング(3DGS)に基づくOpenGaussianを紹介する。 我々の主な動機は、既存の3DGSベースのオープン語彙法が主に2Dピクセルレベルの解析に焦点を当てていることに起因している。
  論文  参考訳（メタデータ） (2024-06-04T07:42:33Z)
• 3D Open-Vocabulary Panoptic Segmentation with 2D-3D Vision-Language Distillation [40.49322398635262]
  本稿では,3次元オープンボキャブラリパノプタセグメンテーションのための最初の手法を提案する。 我々のモデルは、学習可能なLiDAR機能と密集した凍結視覚CLIP機能との融合を利用する。 本稿では,オブジェクトレベルの蒸留損失とボクセルレベルの蒸留損失の2つの新しい損失関数を提案する。
  論文  参考訳（メタデータ） (2024-01-04T18:39:32Z)
• Weakly Supervised 3D Open-vocabulary Segmentation [104.07740741126119]
  学習済み基礎モデルCLIPとDINOを弱教師付きで活用することで,3次元オープン語彙セグメンテーションの課題に取り組む。 我々はCLIPとDINOのオープン語彙多様知識とオブジェクト推論能力をニューラルラディアンス場(NeRF)に蒸留する。 提案手法の特筆すべき点は,基礎モデルや蒸留プロセスに手動セグメンテーションアノテーションを必要としない点である。
  論文  参考訳（メタデータ） (2023-05-23T14:16:49Z)
• SL3D: Self-supervised-Self-labeled 3D Recognition [89.19932178712065]
  自己教師付き自己ラベル型3D認識(SL3D)フレームワークを提案する。 SL3Dはクラスタリングと学習機能表現という2つの結合した目的を同時に解決する。 分類、オブジェクト検出、セマンティックセグメンテーションなど、さまざまな3D認識タスクに応用することができる。
  論文  参考訳（メタデータ） (2022-10-30T11:08:25Z)
• Semi-supervised 3D shape segmentation with multilevel consistency and part substitution [21.075426681857024]
  本稿では,ラベル付3次元形状とラベル付3次元データの量から3次元分割を効果的に学習するための半教師付き手法を提案する。 ラベルのないデータに対して,3次元形状の摂動コピー間のネットワーク予測の整合性を確保するために,新しい多レベル整合性損失を提案する。 ラベル付きデータに対して,より構造的な変化を伴ってラベル付き3次元形状を増強し,トレーニングを強化するシンプルな部分置換法を開発した。
  論文  参考訳（メタデータ） (2022-04-19T11:48:24Z)
• 3D Guided Weakly Supervised Semantic Segmentation [27.269847900950943]
  本稿では,スパース境界ボックスラベルを利用可能な3次元情報に組み込むことにより,弱教師付き2次元セマンティックセマンティックセマンティックセマンティクスモデルを提案する。 手動で2D-3Dセマンティックス(2D-3D-S)データセットのサブセットにバウンディングボックスをラベル付けし、2D-3D推論モジュールを導入し、正確なピクセルワイドセグメント提案マスクを生成する。
  論文  参考訳（メタデータ） (2020-12-01T03:34:15Z)
• Improving Point Cloud Semantic Segmentation by Learning 3D Object Detection [102.62963605429508]
  ポイントクラウドセマンティックセグメンテーションは、自動運転において重要な役割を果たす。 現在の3Dセマンティックセグメンテーションネットワークは、よく表現されたクラスに対して優れた性能を発揮する畳み込みアーキテクチャに焦点を当てている。 Aware 3D Semantic Detection (DASS) フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-09-22T14:17:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。