論文の概要: SAM-guided Unsupervised Domain Adaptation for 3D Segmentation
- arxiv url: http://arxiv.org/abs/2310.08820v2
- Date: Mon, 16 Oct 2023 01:55:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-17 10:19:37.562754
- Title: SAM-guided Unsupervised Domain Adaptation for 3D Segmentation
- Title(参考訳): 3次元分割のためのSAM誘導非教師付きドメイン適応
- Authors: Xidong Peng, Runnan Chen, Feng Qiao, Lingdong Kong, Youquan Liu, Tai
Wang, Xinge Zhu, Yuexin Ma
- Abstract要約: 3Dセグメンテーションタスクにおける教師なしドメイン適応(UDA)は、非常に難しい課題である。
本稿では,3次元特徴空間とSAMの特徴空間との整合性を大幅に向上させる,革新的なハイブリッド機能拡張手法を提案する。
提案手法は,広く認識されている多くのデータセットで評価され,最先端の性能を実現する。
- 参考スコア(独自算出の注目度): 26.58008890592077
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Unsupervised domain adaptation (UDA) in 3D segmentation tasks presents a
formidable challenge, primarily stemming from the sparse and unordered nature
of point cloud data. Especially for LiDAR point clouds, the domain discrepancy
becomes obvious across varying capture scenes, fluctuating weather conditions,
and the diverse array of LiDAR devices in use. While previous UDA methodologies
have often sought to mitigate this gap by aligning features between source and
target domains, this approach falls short when applied to 3D segmentation due
to the substantial domain variations. Inspired by the remarkable generalization
capabilities exhibited by the vision foundation model, SAM, in the realm of
image segmentation, our approach leverages the wealth of general knowledge
embedded within SAM to unify feature representations across diverse 3D domains
and further solves the 3D domain adaptation problem. Specifically, we harness
the corresponding images associated with point clouds to facilitate knowledge
transfer and propose an innovative hybrid feature augmentation methodology,
which significantly enhances the alignment between the 3D feature space and
SAM's feature space, operating at both the scene and instance levels. Our
method is evaluated on many widely-recognized datasets and achieves
state-of-the-art performance.
- Abstract(参考訳): 3Dセグメンテーションタスクにおける非教師なしドメイン適応(UDA)は、主にポイントクラウドデータの希薄で非秩序な性質から生じる、恐ろしい挑戦である。
特にLiDARの点雲では、様々な撮影シーン、変動する気象条件、使用中の様々なLiDARデバイス間でドメインの差が明らかになる。
従来のUDA手法では、ソースとターゲットのドメイン間の特徴を整列させることで、このギャップを緩和しようと試みてきたが、ドメインのかなりの変動により、3Dセグメンテーションに適用した場合、このアプローチは不十分である。
イメージセグメンテーションの領域において、視覚基盤モデルSAMが示す顕著な一般化能力に着想を得て、SAM内に埋め込まれた豊富な一般知識を活用し、多様な3次元領域にまたがる特徴表現を統一し、さらに3次元領域適応問題を解く。
具体的には,ポイントクラウドに関連する画像を用いて知識伝達を容易にするとともに,3d特徴空間とsam特徴空間のアライメントを著しく向上し,シーンレベルとインスタンスレベルの両方で動作する,革新的なハイブリッド特徴拡張手法を提案する。
本手法は,広く認識されたデータセット上で評価され,最先端の性能を実現する。
関連論文リスト
- Visual Foundation Models Boost Cross-Modal Unsupervised Domain Adaptation for 3D Semantic Segmentation [17.875516787157018]
本研究では,2次元視覚基礎モデルから得られた知識を活用して,ラベルのない対象ドメインのより正確なラベルを生成する方法について検討する。
本手法は, 各種自律走行データセットを用いて評価し, 3次元セグメンテーションタスクにおいて有意な改善が得られた。
論文 参考訳(メタデータ) (2024-03-15T03:58:17Z) - CMDA: Cross-Modal and Domain Adversarial Adaptation for LiDAR-Based 3D
Object Detection [14.063365469339812]
LiDARベースの3Dオブジェクト検出法は、ソース(またはトレーニング)データ配布の外部のターゲットドメインにうまく一般化しないことが多い。
画像のモダリティから視覚的セマンティックキューを活用する,CMDA (unsupervised domain adaptation) と呼ばれる新しい手法を提案する。
また、自己学習に基づく学習戦略を導入し、モデルが逆向きに訓練され、ドメイン不変の機能を生成する。
論文 参考訳(メタデータ) (2024-03-06T14:12:38Z) - InvariantOODG: Learning Invariant Features of Point Clouds for
Out-of-Distribution Generalization [17.96808017359983]
本稿では,異なる分布を持つ点雲間の不変性を学習するInvariantOODGを提案する。
学習可能なアンカーポイントの集合を定義し、最も有用な局所領域と入力点の雲を増大させる2種類の変換を定義する。
実験により,提案モデルが3次元領域一般化ベンチマークに与える影響を実証した。
論文 参考訳(メタデータ) (2024-01-08T09:41:22Z) - Improving Anomaly Segmentation with Multi-Granularity Cross-Domain
Alignment [17.086123737443714]
異常セグメンテーションは、画像中の非定型物体を識別する上で重要な役割を担っている。
既存の手法は合成データに顕著な結果を示すが、合成データドメインと実世界のデータドメインの相違を考慮できないことが多い。
シーンと個々のサンプルレベルの両方で、ドメイン間の機能を調和させるのに適した、マルチグラニュラリティ・クロスドメインアライメントフレームワークを導入します。
論文 参考訳(メタデータ) (2023-08-16T22:54:49Z) - BEV-DG: Cross-Modal Learning under Bird's-Eye View for Domain
Generalization of 3D Semantic Segmentation [59.99683295806698]
クロスモーダルなUnsupervised Domain Adaptation (UDA)は、新しいドメインにおけるアノテーションの欠如を克服するために、2D-3Dデータの相補性を活用することを目的としている。
本稿では,BEV-DGと呼ばれる3次元セマンティックセグメンテーションの領域一般化(DG)に対する鳥眼図に基づくクロスモーダル学習を提案する。
論文 参考訳(メタデータ) (2023-08-12T11:09:17Z) - SUG: Single-dataset Unified Generalization for 3D Point Cloud
Classification [44.27324696068285]
トレーニング済みのソースモデルが直面する予期せぬ領域差を軽減するために,単一データセット統一一般化(SUG)フレームワークを提案する。
具体的には、まず、学習した表現をドメインに依存しない識別性に制約できるマルチグラニュアルサブドメインアライメント(MSA)法を設計する。
次にSDA(Sample-level Domain-Aware Attention)戦略を示し、異なるサブドメインから簡単に適応できるサンプルを選択的に強化する。
論文 参考訳(メタデータ) (2023-05-16T04:36:04Z) - AGO-Net: Association-Guided 3D Point Cloud Object Detection Network [86.10213302724085]
ドメイン適応によるオブジェクトの無傷な特徴を関連付ける新しい3D検出フレームワークを提案する。
我々は,KITTIの3D検出ベンチマークにおいて,精度と速度の両面で最新の性能を実現する。
論文 参考訳(メタデータ) (2022-08-24T16:54:38Z) - Unsupervised Domain Adaptation for Monocular 3D Object Detection via
Self-Training [57.25828870799331]
我々は、Mono3D上での教師なしドメイン適応のための新しい自己学習フレームワークSTMono3Dを提案する。
対象ドメイン上で適応的な擬似ラベルを生成するための教師学生パラダイムを開発する。
STMono3Dは、評価されたすべてのデータセットで顕著なパフォーマンスを達成し、KITTI 3Dオブジェクト検出データセットの完全な教師付き結果を超えています。
論文 参考訳(メタデータ) (2022-04-25T12:23:07Z) - Unsupervised Domain Adaptive 3D Detection with Multi-Level Consistency [90.71745178767203]
ディープラーニングに基づく3Dオブジェクト検出は、大規模な自律走行データセットの出現によって、前例のない成功を収めた。
既存の3Dドメイン適応検出手法は、しばしばターゲットのドメインアノテーションへの事前アクセスを前提とします。
我々は、ソースドメインアノテーションのみを利用する、より現実的な、教師なしの3Dドメイン適応検出について研究する。
論文 参考訳(メタデータ) (2021-07-23T17:19:23Z) - AFAN: Augmented Feature Alignment Network for Cross-Domain Object
Detection [90.18752912204778]
オブジェクト検出のための教師なしドメイン適応は、多くの現実世界のアプリケーションにおいて難しい問題である。
本稿では、中間領域画像生成とドメイン・アドバイザリー・トレーニングを統合した新しい機能アライメント・ネットワーク(AFAN)を提案する。
提案手法は、類似および異種ドメイン適応の双方において、標準ベンチマークにおける最先端の手法よりも大幅に優れている。
論文 参考訳(メタデータ) (2021-06-10T05:01:20Z) - Domain Conditioned Adaptation Network [90.63261870610211]
本稿では,ドメイン条件付きチャネルアテンション機構を用いて,異なる畳み込みチャネルを励起するドメイン条件適応ネットワーク(DCAN)を提案する。
これは、ディープDAネットワークのドメインワイドな畳み込みチャネルアクティベーションを探求する最初の試みである。
論文 参考訳(メタデータ) (2020-05-14T04:23:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。