論文の概要: Distribution Regularized Self-Supervised Learning for Domain Adaptation
of Semantic Segmentation
- arxiv url: http://arxiv.org/abs/2206.09683v1
- Date: Mon, 20 Jun 2022 09:52:49 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-22 16:59:53.553860
- Title: Distribution Regularized Self-Supervised Learning for Domain Adaptation
of Semantic Segmentation
- Title(参考訳): セマンティクスセグメンテーションのドメイン適応のための分布正規化自己教師付き学習
- Authors: Javed Iqbal, Hamza Rawal, Rehan Hafiz, Yu-Tseh Chi, Mohsen Ali
- Abstract要約: 本稿では,セマンティックセグメンテーションの自己教師付きドメイン適応のための画素レベル分布正規化スキーム(DRSL)を提案する。
典型的な環境では、分類損失はセマンティックセグメンテーションモデルにクラス間のバリエーションをキャプチャする表現を欲しがらせるように強制する。
クラス認識型マルチモーダル分布学習により,ピクセルレベルのクラス内変動を捉える。
- 参考スコア(独自算出の注目度): 3.284878354988896
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: This paper proposes a novel pixel-level distribution regularization scheme
(DRSL) for self-supervised domain adaptation of semantic segmentation. In a
typical setting, the classification loss forces the semantic segmentation model
to greedily learn the representations that capture inter-class variations in
order to determine the decision (class) boundary. Due to the domain shift, this
decision boundary is unaligned in the target domain, resulting in noisy pseudo
labels adversely affecting self-supervised domain adaptation. To overcome this
limitation, along with capturing inter-class variation, we capture pixel-level
intra-class variations through class-aware multi-modal distribution learning
(MMDL). Thus, the information necessary for capturing the intra-class
variations is explicitly disentangled from the information necessary for
inter-class discrimination. Features captured thus are much more informative,
resulting in pseudo-labels with low noise. This disentanglement allows us to
perform separate alignments in discriminative space and multi-modal
distribution space, using cross-entropy based self-learning for the former. For
later, we propose a novel stochastic mode alignment method, by explicitly
decreasing the distance between the target and source pixels that map to the
same mode. The distance metric learning loss, computed over pseudo-labels and
backpropagated from multi-modal modeling head, acts as the regularizer over the
base network shared with the segmentation head. The results from comprehensive
experiments on synthetic to real domain adaptation setups, i.e., GTA-V/SYNTHIA
to Cityscapes, show that DRSL outperforms many existing approaches (a minimum
margin of 2.3% and 2.5% in mIoU for SYNTHIA to Cityscapes).
- Abstract(参考訳): 本稿では,セマンティックセグメンテーションの自己教師付きドメイン適応のための新しい画素レベル分布正規化スキーム(DRSL)を提案する。
典型的な設定では、分類損失は意味的セグメンテーションモデルに、決定(クラス)境界を決定するためにクラス間のバリエーションをキャプチャする表現を強要する。
ドメインシフトのため、この決定境界はターゲットドメインでは不整合であり、ノイズの多い擬似ラベルが自己監督ドメイン適応に悪影響を及ぼす。
この制限を克服するため、クラス間の変動を捉えるとともに、クラス対応マルチモーダル分布学習(MMDL)を通してピクセルレベルのクラス内変動を捉える。
これにより、クラス内変異をキャプチャするために必要な情報は、クラス間識別に必要な情報から明確に切り離される。
このように捉えられた特徴はより情報的であり、低ノイズの擬似ラベルとなる。
この不等角化により,前者に対するクロスエントロピーに基づく自己学習を用いて,判別空間とマルチモーダル分布空間におけるアライメントを分離することができる。
その後,同じモードにマップされるターゲットとソースの画素間の距離を明示的に減少させることにより,新しい確率モードアライメント法を提案する。
擬似ラベル上で計算され、マルチモーダルモデリングヘッドから逆転した距離メトリック学習損失は、セグメンテーションヘッドと共有されるベースネットワーク上のレギュレータとして機能する。
GTA-V/SYNTHIAをCityscapesに導入した総合的なドメイン適応実験の結果、DRSLは既存の多くのアプローチ(SynTHIAからCityscapesへのmIoUの最小マージン2.3%と2.5%)より優れていることが示された。
関連論文リスト
- Active Domain Adaptation with Multi-level Contrastive Units for Semantic
Segmentation [22.048328293739182]
セマンティックイメージセグメンテーションのための多レベルコントラストユニット(ADA-MCU)を用いた新しいアクティブドメイン適応方式を提案する。
ADA-MCUは、ラベル付きおよびラベルなしのピクセルを使用して、画像内、クロスイメージ、およびクロスドメインレベルから構築される。
提案手法は,ラベル付き画素を50%減らした最先端のSSDA手法に対する競合性能を実現し,同レベルのアノテーションコストを用いることで,最先端のSSDA手法よりも大幅に優れていることを示す。
論文 参考訳(メタデータ) (2022-05-23T10:55:39Z) - Attention-based Cross-Layer Domain Alignment for Unsupervised Domain
Adaptation [14.65316832227658]
教師なしドメイン適応(Unsupervised domain adapt, UDA)は、ラベル付きソースドメインから伝達可能な知識を学び、トレーニングされたモデルをラベルなしターゲットドメインに適応させることを目的としている。
1つの一般的な戦略は、ディープモデルによって抽出されたセマンティックな特徴を整合させることで、分布の相違を最小限にすることである。
論文 参考訳(メタデータ) (2022-02-27T08:36:12Z) - Semi-supervised Domain Adaptive Structure Learning [72.01544419893628]
半教師付きドメイン適応 (SSDA) は,1) アノテーションの低いデータに過度に適合する手法と,2) ドメイン間の分散シフトの両方を克服しなければならない課題である。
SSLとDAの協調を正規化するための適応型構造学習手法を提案する。
論文 参考訳(メタデータ) (2021-12-12T06:11:16Z) - Semi-supervised Domain Adaptation for Semantic Segmentation [3.946367634483361]
セマンティックセグメンテーションにおけるクロスドメインとイントラドメインのギャップに対処する2段階の半教師付き二重ドメイン適応(SSDDA)手法を提案する。
提案手法は,2つの共通合成-実合成セマンティックセグメンテーションベンチマークにおいて,最先端の手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2021-10-20T16:13:00Z) - HSVA: Hierarchical Semantic-Visual Adaptation for Zero-Shot Learning [74.76431541169342]
ゼロショット学習(ZSL)は、目に見えないクラス認識の問題に取り組み、目に見えないクラスから目に見えないクラスに意味的な知識を移す。
本稿では,意味領域と視覚領域を協調させる新しい階層型意味視覚適応(HSVA)フレームワークを提案する。
4つのベンチマークデータセットの実験では、HSVAは従来のZSLと一般的なZSLの両方で優れた性能を示す。
論文 参考訳(メタデータ) (2021-09-30T14:27:50Z) - Margin Preserving Self-paced Contrastive Learning Towards Domain
Adaptation for Medical Image Segmentation [51.93711960601973]
クロスモーダル医療画像セグメンテーションのための自己ペースコントラスト学習モデルを保存する新しいマージンを提案する。
プログレッシブに洗練されたセマンティックプロトタイプの指導により、埋め込み表現空間の識別性を高めるために、コントラスト損失を減少させる新しいマージンが提案される。
クロスモーダル心セグメンテーションタスクの実験は、MPSCLが意味セグメンテーション性能を大幅に改善することを示した。
論文 参考訳(メタデータ) (2021-03-15T15:23:10Z) - Cross-Domain Grouping and Alignment for Domain Adaptive Semantic
Segmentation [74.3349233035632]
深層畳み込みニューラルネットワーク(CNN)内のソースドメインとターゲットドメインにセマンティックセグメンテーションネットワークを適用する既存の技術は、対象ドメイン自身や推定カテゴリ内のクラス間変異を考慮していない。
学習可能なクラスタリングモジュールと、クロスドメイングルーピングとアライメントと呼ばれる新しいドメイン適応フレームワークを導入する。
本手法はセマンティクスセグメンテーションにおける適応性能を一貫して向上させ,様々なドメイン適応設定において最先端を上回っている。
論文 参考訳(メタデータ) (2020-12-15T11:36:21Z) - Select, Label, and Mix: Learning Discriminative Invariant Feature
Representations for Partial Domain Adaptation [55.73722120043086]
部分領域適応のための識別的不変特徴表現を学習するための「選択、ラベル、混合(SLM)」フレームワークを開発した。
まず, 正の移動を避けるために, 外部からのサンプルを自動的にフィルタする, 単純で効率的な「選択」モジュールを提案する。
次に、「ラベル」モジュールは、ラベル付きソースドメインデータと生成されたターゲットドメインの擬似ラベルの両方を用いて分類器を反復的に訓練し、潜在空間の識別性を高める。
論文 参考訳(メタデータ) (2020-12-06T19:29:32Z) - Learning from Scale-Invariant Examples for Domain Adaptation in Semantic
Segmentation [6.320141734801679]
本稿では,自己教師付きドメイン適応のためのセマンティックセグメンテーションモデルのスケール不変性を利用した新しいアプローチを提案する。
我々のアルゴリズムは、一般に、オブジェクトや物のサイズに関係なく、セマンティックなラベリングは変更すべきである、という合理的な仮定に基づいている。
この制約はターゲットドメインのイメージに反し、異なるスケールのパッチ間でラベルの転送に使用できることを示す。
論文 参考訳(メタデータ) (2020-07-28T19:40:45Z) - Alleviating Semantic-level Shift: A Semi-supervised Domain Adaptation
Method for Semantic Segmentation [97.8552697905657]
このタスクの重要な課題は、ソースとターゲットドメイン間のデータ分散の相違を緩和する方法である。
本稿では,グローバルな視点とローカルな視点の両方から分布の整合性を促進できるASS(Alleviating Semantic-level Shift)を提案する。
GTA5、Cityscapes、Synthia、Cityscapesの2つのドメイン適応タスクにASSを適用します。
論文 参考訳(メタデータ) (2020-04-02T03:25:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。