論文の概要: C^2DA: Contrastive and Context-aware Domain Adaptive Semantic Segmentation

• arxiv url: http://arxiv.org/abs/2410.19748v1
• Date: Thu, 10 Oct 2024 15:51:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-03 08:52:30.762933
• Title: C^2DA: Contrastive and Context-aware Domain Adaptive Semantic Segmentation
• Title（参考訳）: C^2DA: コントラストとコンテキスト対応ドメイン適応セマンティックセマンティックセマンティックセグメンテーション
• Authors: Md. Al-Masrur Khan, Zheng Chen, Lantao Liu,
• Abstract要約: 教師なしドメイン適応セマンティックセマンティックセグメンテーション(UDA-SS)は、ソースドメインデータ上でモデルをトレーニングし、ターゲットドメインデータの予測にモデルを適応させることを目的としている。 既存のUDA-SSメソッドの多くは、データシフト問題を緩和するためにドメイン間知識のみに焦点を当てている。 ドメイン内知識とコンテキスト認識知識の両方を学習する UDA-SS フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 11.721696305235767
• License:
• Abstract: Unsupervised domain adaptive semantic segmentation (UDA-SS) aims to train a model on the source domain data (e.g., synthetic) and adapt the model to predict target domain data (e.g., real-world) without accessing target annotation data. Most existing UDA-SS methods only focus on inter-domain knowledge to mitigate the data-shift problem. However, learning the inherent structure of the images and exploring the intrinsic pixel distribution of both domains are ignored, which prevents the UDA-SS methods from producing satisfactory performance like supervised learning. Moreover, incorporating contextual knowledge is also often overlooked. Considering these issues, in this work, we propose a UDA-SS framework that learns both intra-domain and context-aware knowledge. To learn the intra-domain knowledge, we incorporate contrastive loss in both domains, which pulls pixels of similar classes together and pushes the rest away, facilitating intra-image-pixel-wise correlations. To learn context-aware knowledge, we modify the mixing technique by leveraging contextual dependency among the classes. Moreover, we adapt the Mask Image Modeling (MIM) technique to properly use context clues for robust visual recognition, using limited information about the masked images. Comprehensive experiments validate that our proposed method improves the state-of-the-art UDA-SS methods by a margin of 0.51% mIoU and 0.54% mIoU in the adaptation of GTA-V->Cityscapes and Synthia->Cityscapes, respectively. We open-source our C2DA code. Code link: github.com/Masrur02/C-Squared-DA
• Abstract（参考訳）: 教師なしドメイン適応セマンティックセマンティックセグメンテーション(UDA-SS)は、ソースドメインデータ(例えば、合成)に基づいてモデルをトレーニングし、ターゲットアノテーションデータにアクセスすることなく、ターゲットドメインデータ(例えば、現実世界)を予測するためにモデルを適応させることを目的としている。 既存のUDA-SSメソッドの多くは、データシフト問題を緩和するためにドメイン間知識のみに焦点を当てている。 しかし, 画像の固有構造を学習し, 両領域の固有画素分布を探索することは無視されるため, UDA-SS法は教師付き学習のような良好な性能が得られない。 さらに、文脈知識を取り入れることもしばしば見過ごされる。 そこで本研究では,ドメイン内知識とコンテキスト認識知識の両方を学習する UDA-SS フレームワークを提案する。 ドメイン内の知識を学習するために、類似クラスのピクセルをまとめ、残りを遠ざけ、画像内画素間の相関関係を容易にする両ドメインのコントラスト損失を取り入れる。 コンテキスト認識の知識を学習するために,クラス間のコンテキスト依存を利用して混合手法を改良する。 さらに、マスク画像の限られた情報を用いて、マスク画像モデリング(MIM)技術を用いて、コンテキストヒントを頑健な視覚認識に適切に活用する。 GTA-V->CityscapesとSynthia->Cityscapesの適応において,提案手法が0.51% mIoUと0.54% mIoUのマージンで最先端のUDA-SS法を改善することを検証する。 私たちはC2DAコードをオープンソースにしています。 コードリンク:github.com/Masrur02/C-Squared-DA

関連論文リスト

• SiamSeg: Self-Training with Contrastive Learning for Unsupervised Domain Adaptation Semantic Segmentation in Remote Sensing [14.007392647145448]
  UDAは、ラベル付きソースドメインデータをトレーニングしながら、ラベルなしのターゲットドメインデータからモデルを学習することを可能にする。 コントラスト学習を UDA に統合し,セマンティック情報を取得する能力を向上させることを提案する。 我々のSimSegメソッドは既存の手法より優れ、最先端の結果が得られます。
  論文  参考訳（メタデータ） (2024-10-17T11:59:39Z)
• MICDrop: Masking Image and Depth Features via Complementary Dropout for Domain-Adaptive Semantic Segmentation [155.0797148367653]
  Unsupervised Domain Adaptation (UDA)は、ラベル付きソースドメインとラベルなしターゲットドメインの間のドメインギャップを埋めるタスクである。 深度不連続性はしばしばセグメンテーション境界と一致するため、幾何学的情報、すなわち深度予測を活用することを提案する。 提案手法は, 様々な UDA 手法にプラグインし, 標準 UDA ベンチマークで連続的に結果を改善することができることを示す。
  論文  参考訳（メタデータ） (2024-08-29T12:15:10Z)
• Source-Free Domain Adaptation for Medical Image Segmentation via Prototype-Anchored Feature Alignment and Contrastive Learning [57.43322536718131]
  医用画像セグメンテーションのための2段階のソースフリードメイン適応(SFDA)フレームワークを提案する。 プロトタイプアンコールされた特徴アライメントの段階では,まず,事前学習した画素ワイド分類器の重みを原プロトタイプとして利用する。 そこで,本研究では,目標となる特徴とクラスプロトタイプとの整合性を期待するコストを最小化し,双方向輸送を導入する。
  論文  参考訳（メタデータ） (2023-07-19T06:07:12Z)
• Spatio-Temporal Pixel-Level Contrastive Learning-based Source-Free Domain Adaptation for Video Semantic Segmentation [117.39092621796753]
  Source Domain Adaptation(SFDA)セットアップは、ソースデータにアクセスすることなく、ターゲットドメインにソーストレーニングされたモデルを適用することを目的としている。 情報源データの欠如に対処するために,時間情報の相関を最大限に活用する新しい手法を提案する。 実験によると、PixelLは現在のUDAやFDAのアプローチと比較して、ベンチマークの非最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2023-03-25T05:06:23Z)
• MIC: Masked Image Consistency for Context-Enhanced Domain Adaptation [104.40114562948428]
  教師なしドメイン適応(UDA)では、ソースデータ(例えば、合成)に基づいて訓練されたモデルは、ターゲットアノテーションにアクセスすることなく、ターゲットデータ(例えば、現実世界)に適応する。 本研究では,対象領域の空間的コンテキスト関係を学習し,UDAを向上するMasked Image Consistency (MIC)モジュールを提案する。 MICは、合成からリアルタイム、日夜、クリア・ツー・リバース・ウェザーUDAの様々な認識タスクにおいて、最先端の性能を著しく向上させる。
  論文  参考訳（メタデータ） (2022-12-02T17:29:32Z)
• PiPa: Pixel- and Patch-wise Self-supervised Learning for Domain Adaptative Semantic Segmentation [100.6343963798169]
  教師なしドメイン適応(Unsupervised Domain Adaptation, UDA)は、学習モデルの他のドメインへの一般化を強化することを目的としている。 そこで我々は,ドメイン適応型セマンティックセマンティックセグメンテーションのための,PiPaという,画素・パッチ対応の自己教師付き学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-14T18:31:24Z)
• CLUDA : Contrastive Learning in Unsupervised Domain Adaptation for Semantic Segmentation [3.4123736336071864]
  CLUDAは、意味的セグメンテーションのための教師なしドメイン適応(UDA)を実行するための単純だが斬新な方法である。 エンコーダから多レベル融合特徴写像を抽出し,異なるクラスと異なるドメインに対してコントラストロスを適用した。 GTA $rightarrow$ Cityscapes (74.4 mIOU, +0.6) と Synthia $rightarrow$ Cityscapes (67.2 mIOU, +1.4) のデータセットで最先端の結果を生成する。
  論文  参考訳（メタデータ） (2022-08-27T05:13:14Z)
• Semantic Consistency in Image-to-Image Translation for Unsupervised Domain Adaptation [22.269565708490465]
  Unsupervised Domain Adaptation (UDA)は、ソースドメインでトレーニングされたモデルを、ラベル付きデータが使用できない新しいターゲットドメインに適応させることを目的としている。 UDAの整合性正規化手法と組み合わせて意味論的に一貫した画像から画像への変換法を提案する。
  論文  参考訳（メタデータ） (2021-11-05T14:22:20Z)
• Contrastive Learning and Self-Training for Unsupervised Domain Adaptation in Semantic Segmentation [71.77083272602525]
  UDAはラベル付きソースドメインからラベルなしターゲットドメインへの効率的な知識伝達を試みている。 本稿では,領域にまたがるカテゴリ別センタロイドを適応させるコントラスト学習手法を提案する。 提案手法を自己学習で拡張し,メモリ効率の良い時間アンサンブルを用いて一貫性と信頼性の高い擬似ラベルを生成する。
  論文  参考訳（メタデータ） (2021-05-05T11:55:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。