論文の概要: MICDrop: Masking Image and Depth Features via Complementary Dropout for Domain-Adaptive Semantic Segmentation
- arxiv url: http://arxiv.org/abs/2408.16478v1
- Date: Thu, 29 Aug 2024 12:15:10 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-30 13:52:40.018111
- Title: MICDrop: Masking Image and Depth Features via Complementary Dropout for Domain-Adaptive Semantic Segmentation
- Title（参考訳）: MICDrop: ドメイン適応セマンティックセマンティックセグメンテーションのための補完ドロップアウトによるマスキング画像と深さ特徴
- Authors: Linyan Yang, Lukas Hoyer, Mark Weber, Tobias Fischer, Dengxin Dai, Laura Leal-Taixé, Marc Pollefeys, Daniel Cremers, Luc Van Gool,
- Abstract要約: Unsupervised Domain Adaptation (UDA)は、ラベル付きソースドメインとラベルなしターゲットドメインの間のドメインギャップを埋めるタスクである。
深度不連続性はしばしばセグメンテーション境界と一致するため、幾何学的情報、すなわち深度予測を活用することを提案する。
提案手法は, 様々な UDA 手法にプラグインし, 標準 UDA ベンチマークで連続的に結果を改善することができることを示す。
- 参考スコア（独自算出の注目度）: 155.0797148367653
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Unsupervised Domain Adaptation (UDA) is the task of bridging the domain gap between a labeled source domain, e.g., synthetic data, and an unlabeled target domain. We observe that current UDA methods show inferior results on fine structures and tend to oversegment objects with ambiguous appearance. To address these shortcomings, we propose to leverage geometric information, i.e., depth predictions, as depth discontinuities often coincide with segmentation boundaries. We show that naively incorporating depth into current UDA methods does not fully exploit the potential of this complementary information. To this end, we present MICDrop, which learns a joint feature representation by masking image encoder features while inversely masking depth encoder features. With this simple yet effective complementary masking strategy, we enforce the use of both modalities when learning the joint feature representation. To aid this process, we propose a feature fusion module to improve both global as well as local information sharing while being robust to errors in the depth predictions. We show that our method can be plugged into various recent UDA methods and consistently improve results across standard UDA benchmarks, obtaining new state-of-the-art performances.
- Abstract（参考訳）: Unsupervised Domain Adaptation (UDA)は、ラベル付きソースドメイン、例えば合成データ、ラベルなしターゲットドメインの間のドメインギャップを埋めるタスクである。
現状のUDA法は, 微細構造に対して劣った結果を示し, 曖昧な外観でオブジェクトを重畳する傾向にある。
これらの欠点に対処するために、深度不連続性はしばしばセグメンテーション境界と一致するため、幾何学的情報、すなわち深度予測を活用することを提案する。
我々は,現在のUDA手法に奥行きを深く組み込むことで,この補完的な情報の可能性を完全には活用できないことを示す。
この目的のために,画像エンコーダの特徴を逆マスキングしながら,画像エンコーダの特徴をマスキングすることで,共同特徴表現を学習するMICDropを提案する。
この単純かつ効果的な補完的なマスキング戦略により,共同特徴表現を学習する際の両モードの使用を強制する。
このプロセスを支援するために,深度予測におけるエラーに対して堅牢でありながら,グローバルおよびローカル情報共有の両方を改善する機能融合モジュールを提案する。
提案手法は, 各種UDA手法にプラグインし, 標準UDAベンチマークで連続的に結果を改善し, 新たな最先端性能が得られることを示す。
関連論文リスト
- Unified Domain Adaptive Semantic Segmentation [96.74199626935294]
Unsupervised Adaptive Domain Semantic (UDA-SS)は、ラベル付きソースドメインからラベル付きターゲットドメインに監督を移すことを目的としている。
本稿では,特徴量と特徴量との相違に対処するQuad-directional Mixup(QuadMix)法を提案する。
提案手法は,4つの挑戦的UDA-SSベンチマークにおいて,最先端の成果を大きなマージンで上回っている。
論文 参考訳（メタデータ） (2023-11-22T09:18:49Z) - Transferring to Real-World Layouts: A Depth-aware Framework for Scene Adaptation [34.786268652516355]
教師なしドメイン適応(UDA)によるシーンセグメンテーションは、ソース合成データから取得した知識を現実のターゲットデータに転送することを可能にする。
深度推定を明示的に活用してカテゴリを混合し,2つの補完的タスク,すなわちセグメンテーションと深度学習を促進するための奥行き認識フレームワークを提案する。
特に、このフレームワークには、DCF(Depth-guided Contextual Filter)フォーンデータ拡張と、コンテキスト学習のためのクロスタスクエンコーダが含まれている。
論文 参考訳（メタデータ） (2023-11-21T15:39:21Z) - I2F: A Unified Image-to-Feature Approach for Domain Adaptive Semantic
Segmentation [55.633859439375044]
意味的セグメンテーションのための教師なしドメイン適応(UDA)は、重いアノテーション作業から人々を解放する有望なタスクである。
この問題に対処する主要なアイデアは、画像レベルと特徴レベルの両方を共同で実行することである。
本稿では,画像レベルと特徴レベルを統一したセマンティックセグメンテーションのための新しいUDAパイプラインを提案する。
論文 参考訳（メタデータ） (2023-01-03T15:19:48Z) - MIC: Masked Image Consistency for Context-Enhanced Domain Adaptation [104.40114562948428]
教師なしドメイン適応(UDA)では、ソースデータ(例えば、合成)に基づいて訓練されたモデルは、ターゲットアノテーションにアクセスすることなく、ターゲットデータ(例えば、現実世界)に適応する。
本研究では,対象領域の空間的コンテキスト関係を学習し,UDAを向上するMasked Image Consistency (MIC)モジュールを提案する。
MICは、合成からリアルタイム、日夜、クリア・ツー・リバース・ウェザーUDAの様々な認識タスクにおいて、最先端の性能を著しく向上させる。
論文 参考訳（メタデータ） (2022-12-02T17:29:32Z) - CLUDA : Contrastive Learning in Unsupervised Domain Adaptation for
Semantic Segmentation [3.4123736336071864]
CLUDAは、意味的セグメンテーションのための教師なしドメイン適応(UDA)を実行するための単純だが斬新な方法である。
エンコーダから多レベル融合特徴写像を抽出し,異なるクラスと異なるドメインに対してコントラストロスを適用した。
GTA $rightarrow$ Cityscapes (74.4 mIOU, +0.6) と Synthia $rightarrow$ Cityscapes (67.2 mIOU, +1.4) のデータセットで最先端の結果を生成する。
論文 参考訳（メタデータ） (2022-08-27T05:13:14Z) - Depth-Assisted ResiDualGAN for Cross-Domain Aerial Images Semantic
Segmentation [15.29253551096484]
教師なしドメイン適応(Unsupervised domain adapt, UDA)は、ドメインギャップを最小化するためのアプローチである。
デジタルサーフェスモデル(DSM)は通常、ソースドメインとターゲットドメインの両方で利用可能である。
深度制御型ResiDualGAN (DRDG) を提案し, 深度制御型損失 (DCCL) を用いて生成モデルに深度情報をもたらす。
論文 参考訳（メタデータ） (2022-08-21T06:58:51Z) - Learning Feature Decomposition for Domain Adaptive Monocular Depth
Estimation [51.15061013818216]
改良されたアプローチは、深層学習の進歩で大きな成功をもたらしたが、それらは大量の地底深度アノテーションに依存している。
教師なしドメイン適応(UDA)は、教師付き学習の制約を緩和するため、ラベル付きソースデータからラベルなしターゲットデータに知識を転送する。
本稿では,その特徴空間をコンテンツやスタイルコンポーネントに分解することを学ぶための,学習特徴分解 for Adaptation (LFDA) と呼ばれる新しいMDEのためのUDA手法を提案する。
論文 参考訳（メタデータ） (2022-07-30T08:05:35Z) - Plugging Self-Supervised Monocular Depth into Unsupervised Domain
Adaptation for Semantic Segmentation [19.859764556851434]
セマンティックセグメンテーションのためのUDAを改善するために,自己教師付き単眼深度推定手法を提案する。
我々の提案では,GTA5->CSベンチマークで最先端性能(58.8 mIoU)を達成することができる。
論文 参考訳（メタデータ） (2021-10-13T12:48:51Z) - Domain Adaptive Semantic Segmentation with Self-Supervised Depth
Estimation [84.34227665232281]
セマンティックセグメンテーションのためのドメイン適応は、ソースとターゲットドメイン間の分散シフトの存在下でモデルのパフォーマンスを向上させることを目的とする。
ドメイン間のギャップを埋めるために、両ドメインで利用可能な自己教師付き深さ推定からのガイダンスを活用します。
提案手法のベンチマークタスクSYNTHIA-to-CityscapesとGTA-to-Cityscapesの有効性を実証する。
論文 参考訳（メタデータ） (2021-04-28T07:47:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。