論文の概要: Learning to Adapt SAM for Segmenting Cross-domain Point Clouds
- arxiv url: http://arxiv.org/abs/2310.08820v3
- Date: Thu, 14 Dec 2023 00:27:13 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-16 03:53:20.252802
- Title: Learning to Adapt SAM for Segmenting Cross-domain Point Clouds
- Title(参考訳): ドメイン間クラウド分割のためのSAM適応学習
- Authors: Xidong Peng, Runnan Chen, Feng Qiao, Lingdong Kong, Youquan Liu, Tai
Wang, Xinge Zhu, Yuexin Ma
- Abstract要約: 3Dセグメンテーションタスクにおける教師なしドメイン適応(UDA)は、非常に難しい課題である。
本稿では,3次元特徴空間とSAMの特徴空間との整合性を大幅に向上させる,革新的なハイブリッド機能拡張手法を提案する。
提案手法は,広く認識されている多くのデータセットで評価され,最先端の性能を実現する。
- 参考スコア(独自算出の注目度): 26.58008890592077
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Unsupervised domain adaptation (UDA) in 3D segmentation tasks presents a
formidable challenge, primarily stemming from the sparse and unordered nature
of point cloud data. Especially for LiDAR point clouds, the domain discrepancy
becomes obvious across varying capture scenes, fluctuating weather conditions,
and the diverse array of LiDAR devices in use. While previous UDA methodologies
have often sought to mitigate this gap by aligning features between source and
target domains, this approach falls short when applied to 3D segmentation due
to the substantial domain variations. Inspired by the remarkable generalization
capabilities exhibited by the vision foundation model, SAM, in the realm of
image segmentation, our approach leverages the wealth of general knowledge
embedded within SAM to unify feature representations across diverse 3D domains
and further solves the 3D domain adaptation problem. Specifically, we harness
the corresponding images associated with point clouds to facilitate knowledge
transfer and propose an innovative hybrid feature augmentation methodology,
which significantly enhances the alignment between the 3D feature space and
SAM's feature space, operating at both the scene and instance levels. Our
method is evaluated on many widely-recognized datasets and achieves
state-of-the-art performance.
- Abstract(参考訳): 3Dセグメンテーションタスクにおける非教師なしドメイン適応(UDA)は、主にポイントクラウドデータの希薄で非秩序な性質から生じる、恐ろしい挑戦である。
特にLiDARの点雲では、様々な撮影シーン、変動する気象条件、使用中の様々なLiDARデバイス間でドメインの差が明らかになる。
従来のUDA手法では、ソースとターゲットのドメイン間の特徴を整列させることで、このギャップを緩和しようと試みてきたが、ドメインのかなりの変動により、3Dセグメンテーションに適用した場合、このアプローチは不十分である。
イメージセグメンテーションの領域において、視覚基盤モデルSAMが示す顕著な一般化能力に着想を得て、SAM内に埋め込まれた豊富な一般知識を活用し、多様な3次元領域にまたがる特徴表現を統一し、さらに3次元領域適応問題を解く。
具体的には,ポイントクラウドに関連する画像を用いて知識伝達を容易にするとともに,3d特徴空間とsam特徴空間のアライメントを著しく向上し,シーンレベルとインスタンスレベルの両方で動作する,革新的なハイブリッド特徴拡張手法を提案する。
本手法は,広く認識されたデータセット上で評価され,最先端の性能を実現する。
関連論文リスト
- CMDA: Cross-Modal and Domain Adversarial Adaptation for LiDAR-Based 3D
Object Detection [14.063365469339812]
LiDARベースの3Dオブジェクト検出法は、ソース(またはトレーニング)データ配布の外部のターゲットドメインにうまく一般化しないことが多い。
画像のモダリティから視覚的セマンティックキューを活用する,CMDA (unsupervised domain adaptation) と呼ばれる新しい手法を提案する。
また、自己学習に基づく学習戦略を導入し、モデルが逆向きに訓練され、ドメイン不変の機能を生成する。
論文 参考訳(メタデータ) (2024-03-06T14:12:38Z) - InvariantOODG: Learning Invariant Features of Point Clouds for
Out-of-Distribution Generalization [17.96808017359983]
本稿では,異なる分布を持つ点雲間の不変性を学習するInvariantOODGを提案する。
学習可能なアンカーポイントの集合を定義し、最も有用な局所領域と入力点の雲を増大させる2種類の変換を定義する。
実験により,提案モデルが3次元領域一般化ベンチマークに与える影響を実証した。
論文 参考訳(メタデータ) (2024-01-08T09:41:22Z) - Improving Anomaly Segmentation with Multi-Granularity Cross-Domain
Alignment [17.086123737443714]
異常セグメンテーションは、画像中の非定型物体を識別する上で重要な役割を担っている。
既存の手法は合成データに顕著な結果を示すが、合成データドメインと実世界のデータドメインの相違を考慮できないことが多い。
シーンと個々のサンプルレベルの両方で、ドメイン間の機能を調和させるのに適した、マルチグラニュラリティ・クロスドメインアライメントフレームワークを導入します。
論文 参考訳(メタデータ) (2023-08-16T22:54:49Z) - BEV-DG: Cross-Modal Learning under Bird's-Eye View for Domain
Generalization of 3D Semantic Segmentation [59.99683295806698]
クロスモーダルなUnsupervised Domain Adaptation (UDA)は、新しいドメインにおけるアノテーションの欠如を克服するために、2D-3Dデータの相補性を活用することを目的としている。
本稿では,BEV-DGと呼ばれる3次元セマンティックセグメンテーションの領域一般化(DG)に対する鳥眼図に基づくクロスモーダル学習を提案する。
論文 参考訳(メタデータ) (2023-08-12T11:09:17Z) - SUG: Single-dataset Unified Generalization for 3D Point Cloud
Classification [44.27324696068285]
トレーニング済みのソースモデルが直面する予期せぬ領域差を軽減するために,単一データセット統一一般化(SUG)フレームワークを提案する。
具体的には、まず、学習した表現をドメインに依存しない識別性に制約できるマルチグラニュアルサブドメインアライメント(MSA)法を設計する。
次にSDA(Sample-level Domain-Aware Attention)戦略を示し、異なるサブドメインから簡単に適応できるサンプルを選択的に強化する。
論文 参考訳(メタデータ) (2023-05-16T04:36:04Z) - MEnsA: Mix-up Ensemble Average for Unsupervised Multi Target Domain
Adaptation on 3D Point Clouds [9.568577396815602]
Unlabelled Domain adaptation (UDA) は、教師なしターゲットドメインとラベル付きソースドメインの間の分散シフトの問題に対処する。
我々は,すべてのドメインの特徴表現を混合して,アンサンブル平均によるドメイン適応性能を向上させることを提案する。
混合表現では、ドメイン分類器を用いて、ソースドメインの特徴表現を、共有潜在空間における対象ドメインの特徴表現と区別する。
論文 参考訳(メタデータ) (2023-04-04T06:13:33Z) - AGO-Net: Association-Guided 3D Point Cloud Object Detection Network [86.10213302724085]
ドメイン適応によるオブジェクトの無傷な特徴を関連付ける新しい3D検出フレームワークを提案する。
我々は,KITTIの3D検出ベンチマークにおいて,精度と速度の両面で最新の性能を実現する。
論文 参考訳(メタデータ) (2022-08-24T16:54:38Z) - Unsupervised Domain Adaptation for Monocular 3D Object Detection via
Self-Training [57.25828870799331]
我々は、Mono3D上での教師なしドメイン適応のための新しい自己学習フレームワークSTMono3Dを提案する。
対象ドメイン上で適応的な擬似ラベルを生成するための教師学生パラダイムを開発する。
STMono3Dは、評価されたすべてのデータセットで顕著なパフォーマンスを達成し、KITTI 3Dオブジェクト検出データセットの完全な教師付き結果を超えています。
論文 参考訳(メタデータ) (2022-04-25T12:23:07Z) - Unsupervised Domain Adaptive 3D Detection with Multi-Level Consistency [90.71745178767203]
ディープラーニングに基づく3Dオブジェクト検出は、大規模な自律走行データセットの出現によって、前例のない成功を収めた。
既存の3Dドメイン適応検出手法は、しばしばターゲットのドメインアノテーションへの事前アクセスを前提とします。
我々は、ソースドメインアノテーションのみを利用する、より現実的な、教師なしの3Dドメイン適応検出について研究する。
論文 参考訳(メタデータ) (2021-07-23T17:19:23Z) - AFAN: Augmented Feature Alignment Network for Cross-Domain Object
Detection [90.18752912204778]
オブジェクト検出のための教師なしドメイン適応は、多くの現実世界のアプリケーションにおいて難しい問題である。
本稿では、中間領域画像生成とドメイン・アドバイザリー・トレーニングを統合した新しい機能アライメント・ネットワーク(AFAN)を提案する。
提案手法は、類似および異種ドメイン適応の双方において、標準ベンチマークにおける最先端の手法よりも大幅に優れている。
論文 参考訳(メタデータ) (2021-06-10T05:01:20Z) - Domain Conditioned Adaptation Network [90.63261870610211]
本稿では,ドメイン条件付きチャネルアテンション機構を用いて,異なる畳み込みチャネルを励起するドメイン条件適応ネットワーク(DCAN)を提案する。
これは、ディープDAネットワークのドメインワイドな畳み込みチャネルアクティベーションを探求する最初の試みである。
論文 参考訳(メタデータ) (2020-05-14T04:23:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。