論文の概要: SAM4UDASS: When SAM Meets Unsupervised Domain Adaptive Semantic
Segmentation in Intelligent Vehicles
- arxiv url: http://arxiv.org/abs/2401.08604v1
- Date: Wed, 22 Nov 2023 08:29:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-22 10:05:51.513859
- Title: SAM4UDASS: When SAM Meets Unsupervised Domain Adaptive Semantic
Segmentation in Intelligent Vehicles
- Title（参考訳）: SAM4UDASS:SAMがインテリジェントな車両のドメイン適応セマンティックセマンティックセマンティックセグメンテーションに遭遇
- Authors: Weihao Yan, Yeqiang Qian, Xingyuan Chen, Hanyang Zhuang, Chunxiang
Wang, Ming Yang
- Abstract要約: SAM4UDASSは,Segment Anything Model(SAM)を擬似ラベルを書き換える自己学習 UDA 手法に組み込んだ新しいアプローチである。
Semantic-Guided Mask Labelingは、UDAの擬似ラベルを使用して、セマンティックラベルを未ラベルのSAMマスクに割り当てる。
DAFormerを使用すると、GTA5-to-Cityscapes、SynTHIA-to-Cityscapes、Cityscapes-to-ACDCで3%以上のmIoUが得られ、MICを使用するとSOTAが達成される。
- 参考スコア（独自算出の注目度）: 27.405213492173186
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Semantic segmentation plays a critical role in enabling intelligent vehicles
to comprehend their surrounding environments. However, deep learning-based
methods usually perform poorly in domain shift scenarios due to the lack of
labeled data for training. Unsupervised domain adaptation (UDA) techniques have
emerged to bridge the gap across different driving scenes and enhance model
performance on unlabeled target environments. Although self-training UDA
methods have achieved state-of-the-art results, the challenge of generating
precise pseudo-labels persists. These pseudo-labels tend to favor majority
classes, consequently sacrificing the performance of rare classes or small
objects like traffic lights and signs. To address this challenge, we introduce
SAM4UDASS, a novel approach that incorporates the Segment Anything Model (SAM)
into self-training UDA methods for refining pseudo-labels. It involves
Semantic-Guided Mask Labeling, which assigns semantic labels to unlabeled SAM
masks using UDA pseudo-labels. Furthermore, we devise fusion strategies aimed
at mitigating semantic granularity inconsistency between SAM masks and the
target domain. SAM4UDASS innovatively integrate SAM with UDA for semantic
segmentation in driving scenes and seamlessly complements existing
self-training UDA methodologies. Extensive experiments on synthetic-to-real and
normal-to-adverse driving datasets demonstrate its effectiveness. It brings
more than 3% mIoU gains on GTA5-to-Cityscapes, SYNTHIA-to-Cityscapes, and
Cityscapes-to-ACDC when using DAFormer and achieves SOTA when using MIC. The
code will be available at https://github.com/ywher/SAM4UDASS.
- Abstract（参考訳）: セマンティックセグメンテーションは、インテリジェントな車両が周囲の環境を理解するために重要な役割を果たす。
しかし、ディープラーニングベースの手法は通常、トレーニングにラベル付きデータがないため、ドメインシフトのシナリオでは不十分である。
非教師なし領域適応(UDA)技術は、異なる駆動シーン間のギャップを埋め、ラベルのないターゲット環境におけるモデル性能を向上させるために出現している。
自己学習型UDA法は最先端の結果を得たが、正確な擬似ラベルを生成するという課題は残る。
これらの擬似ラベルは多数派を好んでおり、希少なクラスや信号機や標識のような小さなオブジェクトのパフォーマンスを犠牲にしている。
この課題に対処するために,Segment Anything Model (SAM) を擬似ラベルを書き換える自己学習 UDA 手法に組み込んだ新しいアプローチ SAM4UDASS を紹介する。
Semantic-Guided Mask Labelingは、UDAの擬似ラベルを使用して、セマンティックラベルを未ラベルのSAMマスクに割り当てる。
さらに,SAMマスクと対象ドメイン間のセマンティックな粒度不整合を緩和するための融合戦略を考案した。
SAM4UDASSは、駆動シーンにおけるセマンティックセグメンテーションのためのSAMとUDAを革新的に統合し、既存の自己学習 UDA 方法論をシームレスに補完する。
合成-実-正規-逆駆動データセットに関する広範囲な実験は、その効果を示している。
DAFormerを使用すると、GTA5-to-Cityscapes、SynTHIA-to-Cityscapes、Cityscapes-to-ACDCで3%以上のmIoUが得られ、MICを使用するとSOTAが達成される。
コードはhttps://github.com/ywher/SAM4UDASSで入手できる。
関連論文リスト
- PointSAM: Pointly-Supervised Segment Anything Model for Remote Sensing Images [16.662173255725463]
本稿では,PointSAM という新しいセグメンテーションモデルを提案する。
我々は, WHU, HRSID, NWPU VHR-10を含むRSIデータセットの実験を行った。
その結果,本手法はSAM,SAM2,その他の比較法で直接試験よりも優れていた。
論文 参考訳（メタデータ） (2024-09-20T11:02:18Z) - SS-ADA: A Semi-Supervised Active Domain Adaptation Framework for Semantic Segmentation [25.929173344653158]
セマンティックセグメンテーションのための半教師付きアクティブドメイン適応(SS-ADA)フレームワークを提案する。
SS-ADAは、アクティブラーニングを半教師付きセマンティックセグメンテーションに統合し、教師付き学習の精度を達成する。
本研究では,合成ドメイン適応設定と実ドメイン適応設定について広範な実験を行った。
論文 参考訳（メタデータ） (2024-06-17T13:40:42Z) - ECAP: Extensive Cut-and-Paste Augmentation for Unsupervised Domain
Adaptive Semantic Segmentation [4.082799056366928]
本稿では,データ拡張を通じて信頼性の高い擬似ラベルを活用するための広範囲なカット・アンド・ペースト戦略(ECAP)を提案する。
ECAPはトレーニングを通じて擬似ラベル付きターゲットサンプルのメモリバンクを保持し、現在のトレーニングバッチに最も自信のあるサンプルをカット&ペーストする。
我々は,最近のMIC法に基づいてECPを実装し,その性能を2つの合成-実領域適応ベンチマークで向上させる。
論文 参考訳（メタデータ） (2024-03-06T17:06:07Z) - MoDA: Leveraging Motion Priors from Videos for Advancing Unsupervised Domain Adaptation in Semantic Segmentation [61.4598392934287]
本研究は、対象ドメインが未ラベルのビデオフレームを含む異なるUDAシナリオを紹介する。
我々は textbfMotion-guided textbfDomain textbfAdaptive semantic segmentation framework (MoDA) を設計する。
MoDAは、セグメンテーションタスクのクロスドメインアライメントを容易にするために、自己教師対象のモーションキューを利用する。
論文 参考訳（メタデータ） (2023-09-21T01:31:54Z) - Segment Anything Model (SAM) Enhanced Pseudo Labels for Weakly
Supervised Semantic Segmentation [30.812323329239614]
弱教師付きセマンティックセマンティックセグメンテーション(WSSS)は、画像レベルのアノテーションのみを使用することで、精細なピクセルレベルのアノテーションの必要性を回避することを目的としている。
既存のほとんどのメソッドは、ピクセルレベルの擬似ラベルを導出するためにクラスアクティベーションマップ(CAM)に依存している。
オブジェクト,部品,サブパートのきめ細かいインスタンスマスクを生成できるクラスに依存しない基礎モデルであるSegment Anything Model (SAM) を利用した,シンプルで効果的な手法を提案する。
論文 参考訳（メタデータ） (2023-05-09T23:24:09Z) - Hard-aware Instance Adaptive Self-training for Unsupervised Cross-domain
Semantic Segmentation [18.807921765977415]
セマンティックセグメンテーションの課題に対して,UDAのための適応型自己学習フレームワークを提案する。
我々は,インスタンス適応セレクタを用いた新しい擬似ラベル生成戦略を開発した。
GTA5からCityscapesへ、SynTHIAからCityscapesへ、そしてCityscapesからOxford RobotCarへの実験は、我々のアプローチの優れた性能を実証した。
論文 参考訳（メタデータ） (2023-02-14T11:52:26Z) - MIC: Masked Image Consistency for Context-Enhanced Domain Adaptation [104.40114562948428]
教師なしドメイン適応(UDA)では、ソースデータ(例えば、合成)に基づいて訓練されたモデルは、ターゲットアノテーションにアクセスすることなく、ターゲットデータ(例えば、現実世界)に適応する。
本研究では,対象領域の空間的コンテキスト関係を学習し,UDAを向上するMasked Image Consistency (MIC)モジュールを提案する。
MICは、合成からリアルタイム、日夜、クリア・ツー・リバース・ウェザーUDAの様々な認識タスクにおいて、最先端の性能を著しく向上させる。
論文 参考訳（メタデータ） (2022-12-02T17:29:32Z) - Exploiting Instance-based Mixed Sampling via Auxiliary Source Domain
Supervision for Domain-adaptive Action Detection [75.38704117155909]
本稿では,新しいドメイン適応型行動検出手法と新しい適応プロトコルを提案する。
クロスドメイン混合サンプリングと組み合わせた自己学習は、UDAコンテキストにおいて顕著なパフォーマンス向上を示した。
我々は提案したフレームワークをドメイン適応アクション・インスタンス・ミックス(DA-AIM)と呼ぶ。
論文 参考訳（メタデータ） (2022-09-28T22:03:25Z) - Semi-Supervised Domain Adaptation with Prototypical Alignment and
Consistency Learning [86.6929930921905]
本稿では,いくつかの対象サンプルがラベル付けされていれば,ドメインシフトに対処するのにどの程度役立つか検討する。
ランドマークの可能性を最大限に追求するために、ランドマークから各クラスのターゲットプロトタイプを計算するプロトタイプアライメント(PA)モジュールを組み込んでいます。
具体的には,ラベル付き画像に深刻な摂動を生じさせ,PAを非自明にし,モデル一般化性を促進する。
論文 参考訳（メタデータ） (2021-04-19T08:46:08Z) - Cycle Self-Training for Domain Adaptation [85.14659717421533]
Cycle Self-Training (CST) は、ドメイン間の一般化に擬似ラベルを強制する、原則付き自己学習アルゴリズムである。
CSTは目標の真理を回復し、不変の機能学習とバニラ自己訓練の両方が失敗する。
実験結果から,標準的なUDAベンチマークでは,CSTは先行技術よりも大幅に改善されていることが示唆された。
論文 参考訳（メタデータ） (2021-03-05T10:04:25Z) - Domain Adaptive Semantic Segmentation Using Weak Labels [115.16029641181669]
本稿では,画像レベルの弱いラベルを持つセマンティックセグメンテーションにおけるドメイン適応のための新しいフレームワークを提案する。
ネットワークに特定のカテゴリへの参加を強制する弱いラベル分類モジュールを開発する。
実験では,UDAにおける既存の最先端技術に対する大幅な改善と,WDA設定における新たなベンチマークを示す。
論文 参考訳（メタデータ） (2020-07-30T01:33:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。