論文の概要: Semantic-Aware Domain Generalized Segmentation
- arxiv url: http://arxiv.org/abs/2204.00822v1
- Date: Sat, 2 Apr 2022 09:09:59 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-05 14:44:14.487173
- Title: Semantic-Aware Domain Generalized Segmentation
- Title(参考訳): 意味認識ドメイン一般化セグメンテーション
- Authors: Duo Peng, Yinjie Lei, Munawar Hayat, Yulan Guo, Wen Li
- Abstract要約: ソースドメインでトレーニングされたディープモデルは、異なるデータ分布を持つ未確認対象ドメインで評価された場合、一般化に欠ける。
セマンティック・アウェア・正規化(SAN)とセマンティック・アウェア・ホワイトニング(SAW)の2つの新しいモジュールを含むフレームワークを提案する。
提案手法は,様々なバックボーンネットワークにおいて,既存の最先端ネットワークよりも大幅に改善されている。
- 参考スコア(独自算出の注目度): 67.49163582961877
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep models trained on source domain lack generalization when evaluated on
unseen target domains with different data distributions. The problem becomes
even more pronounced when we have no access to target domain samples for
adaptation. In this paper, we address domain generalized semantic segmentation,
where a segmentation model is trained to be domain-invariant without using any
target domain data. Existing approaches to tackle this problem standardize data
into a unified distribution. We argue that while such a standardization
promotes global normalization, the resulting features are not discriminative
enough to get clear segmentation boundaries. To enhance separation between
categories while simultaneously promoting domain invariance, we propose a
framework including two novel modules: Semantic-Aware Normalization (SAN) and
Semantic-Aware Whitening (SAW). Specifically, SAN focuses on category-level
center alignment between features from different image styles, while SAW
enforces distributed alignment for the already center-aligned features. With
the help of SAN and SAW, we encourage both intra-category compactness and
inter-category separability. We validate our approach through extensive
experiments on widely-used datasets (i.e. GTAV, SYNTHIA, Cityscapes, Mapillary
and BDDS). Our approach shows significant improvements over existing
state-of-the-art on various backbone networks. Code is available at
https://github.com/leolyj/SAN-SAW
- Abstract(参考訳): ソースドメインでトレーニングされたディープモデルは、異なるデータ分布を持つ未確認対象ドメインでの評価時に一般化を欠く。
適応のためにターゲットドメインのサンプルにアクセスできない場合、問題はより顕著になります。
本稿では,セグメンテーションモデルが対象領域データを用いずにドメイン不変であるように訓練される領域一般化意味セグメンテーションについて述べる。
この問題に取り組む既存のアプローチは、データを統一ディストリビューションに標準化する。
このような標準化はグローバルな正規化を促進するが、結果として得られる特徴は明確なセグメンテーション境界を得るのに十分な差別的ではない。
ドメイン不変性を同時に促進しながらカテゴリ間の分離を強化するために,セマンティック・アウェア正規化(SAN)とセマンティック・アウェア・ホワイトニング(SAW)の2つの新しいモジュールを含むフレームワークを提案する。
具体的には、SANは、異なるイメージスタイルの特徴間のカテゴリレベルのセンターアライメントに焦点を当てており、SAWは、既にセンターアライメントされた機能に対して分散アライメントを強制している。
SANとSAWの助けを借りて,カテゴリー内コンパクト性とカテゴリ間分離性を両立させる。
我々は、広く使われているデータセット(GTAV、SynTHIA、Cityscapes、Mapillary、BDDS)の広範な実験を通じて、アプローチを検証する。
我々のアプローチは、様々なバックボーンネットワーク上の既存の最先端よりも大幅に改善されている。
コードはhttps://github.com/leolyj/SAN-SAWで公開されている。
関連論文リスト
- Continual Unsupervised Domain Adaptation for Semantic Segmentation using
a Class-Specific Transfer [9.46677024179954]
セグメンテーションモデルは 目に見えない領域に一般化しません
2つのクラス条件のAdaIN層を組み込んだ軽量なスタイル転送フレームワークを提案する。
合成シーケンスに対する我々のアプローチを広く検証し、さらに実領域からなる挑戦的なシーケンスを提案する。
論文 参考訳(メタデータ) (2022-08-12T21:30:49Z) - Birds of A Feather Flock Together: Category-Divergence Guidance for
Domain Adaptive Segmentation [35.63920597305474]
教師なしドメイン適応(UDA)は、ソースドメインからターゲットドメインへの特定のモデルの一般化能力を高めることを目的としている。
本研究では,クラス間分離・クラス内アグリゲーション(ISIA)機構を提案する。
各カテゴリの整合複雑性を計測することにより、適応重み付きインスタンスマッチング(AIM)戦略を設計し、インスタンスレベルの適応をさらに最適化する。
論文 参考訳(メタデータ) (2022-04-05T11:17:19Z) - Dynamic Instance Domain Adaptation [109.53575039217094]
教師なしのドメイン適応に関するほとんどの研究は、各ドメインのトレーニングサンプルがドメインラベルを伴っていると仮定している。
適応的な畳み込みカーネルを持つ動的ニューラルネットワークを開発し、各インスタンスにドメインに依存しない深い特徴を適応させるために、インスタンス適応残差を生成する。
我々のモデルはDIDA-Netと呼ばれ、複数の一般的な単一ソースおよび複数ソースのUDAデータセット上で最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2022-03-09T20:05:54Z) - Cross-domain Contrastive Learning for Unsupervised Domain Adaptation [108.63914324182984]
教師なしドメイン適応(Unsupervised domain adapt、UDA)は、完全にラベル付けされたソースドメインから異なるラベル付けされていないターゲットドメインに学習した知識を転送することを目的としている。
対照的な自己教師型学習に基づいて、トレーニングとテストセット間のドメインの相違を低減するために、機能を整列させます。
論文 参考訳(メタデータ) (2021-06-10T06:32:30Z) - Semantic Distribution-aware Contrastive Adaptation for Semantic
Segmentation [50.621269117524925]
ドメイン適応セマンティックセグメンテーション(ドメイン適応セマンティックセグメンテーション)とは、特定のソースドメインのアノテーションだけで特定のターゲットドメイン上で予測を行うことを指す。
画素ワイド表示アライメントを可能にする意味分布対応コントラスト適応アルゴリズムを提案する。
複数のベンチマークでSDCAを評価し、既存のアルゴリズムを大幅に改善します。
論文 参考訳(メタデータ) (2021-05-11T13:21:25Z) - Robust Domain-Free Domain Generalization with Class-aware Alignment [4.442096198968069]
ドメインフリードメイン一般化(DFDG)は、目に見えないテストドメインでより良い一般化性能を実現するモデル非依存の方法である。
DFDGは新しい戦略を用いてドメイン不変なクラス差別的特徴を学習する。
時系列センサと画像分類公開データセットの両方で競合性能を得る。
論文 参考訳(メタデータ) (2021-02-17T17:46:06Z) - Simultaneous Semantic Alignment Network for Heterogeneous Domain
Adaptation [67.37606333193357]
本稿では,カテゴリ間の相関を同時に利用し,各カテゴリ毎のセントロイドを整列させるために,aSimultaneous Semantic Alignment Network (SSAN)を提案する。
対象の擬似ラベルを利用することで、各カテゴリの特徴表現を整列させるために、ロバストな三重項中心のアライメント機構を明示的に適用する。
テキスト・ツー・イメージ、画像・画像・テキスト・ツー・テキストにわたる様々なHDAタスクの実験は、最先端のHDA手法に対するSSANの優位性を検証することに成功した。
論文 参考訳(メタデータ) (2020-08-04T16:20:37Z) - Differential Treatment for Stuff and Things: A Simple Unsupervised
Domain Adaptation Method for Semantic Segmentation [105.96860932833759]
最先端のアプローチは、セマンティックレベルのアライメントの実行がドメインシフトの問題に取り組むのに役立つことを証明している。
我々は,物事領域や物事に対する異なる戦略による意味レベルのアライメントを改善することを提案する。
提案手法に加えて,提案手法は,ソースとターゲットドメイン間の最も類似した機能やインスタンス機能を最小化することにより,この問題の緩和に有効であることを示す。
論文 参考訳(メタデータ) (2020-03-18T04:43:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。