論文の概要: Exploring Semantic Consistency and Style Diversity for Domain Generalized Semantic Segmentation

• arxiv url: http://arxiv.org/abs/2412.12050v1
• Date: Mon, 16 Dec 2024 18:20:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 13:56:35.751290
• Title: Exploring Semantic Consistency and Style Diversity for Domain Generalized Semantic Segmentation
• Title（参考訳）: ドメイン一般化セマンティックセマンティックセマンティックセマンティクスのためのセマンティック一貫性とスタイル多様性の探索
• Authors: Hongwei Niu, Linhuang Xie, Jianghang Lin, Shengchuan Zhang,
• Abstract要約: ドメイン一般化セマンティック(Domain Generalized Semantic)は、未知のターゲットドメイン間のセマンティックセグメンテーションの一般化を強化することを目的としている。 本稿では,セマンティック一貫性予測とスタイル多様性の一般化のためのSCSDを紹介する。 SCSDは既存の最先端の手法を著しく上回っている。
• 参考スコア（独自算出の注目度）: 4.850207292777464
• License:
• Abstract: Domain Generalized Semantic Segmentation (DGSS) seeks to utilize source domain data exclusively to enhance the generalization of semantic segmentation across unknown target domains. Prevailing studies predominantly concentrate on feature normalization and domain randomization, these approaches exhibit significant limitations. Feature normalization-based methods tend to confuse semantic features in the process of constraining the feature space distribution, resulting in classification misjudgment. Domain randomization-based methods frequently incorporate domain-irrelevant noise due to the uncontrollability of style transformations, resulting in segmentation ambiguity. To address these challenges, we introduce a novel framework, named SCSD for Semantic Consistency prediction and Style Diversity generalization. It comprises three pivotal components: Firstly, a Semantic Query Booster is designed to enhance the semantic awareness and discrimination capabilities of object queries in the mask decoder, enabling cross-domain semantic consistency prediction. Secondly, we develop a Text-Driven Style Transform module that utilizes domain difference text embeddings to controllably guide the style transformation of image features, thereby increasing inter-domain style diversity. Lastly, to prevent the collapse of similar domain feature spaces, we introduce a Style Synergy Optimization mechanism that fortifies the separation of inter-domain features and the aggregation of intra-domain features by synergistically weighting style contrastive loss and style aggregation loss. Extensive experiments demonstrate that the proposed SCSD significantly outperforms existing state-of-theart methods. Notably, SCSD trained on GTAV achieved an average of 49.11 mIoU on the four unseen domain datasets, surpassing the previous state-of-the-art method by +4.08 mIoU. Code is available at https://github.com/nhw649/SCSD.
• Abstract（参考訳）: ドメイン一般化セマンティックセマンティックセマンティックセマンティック(DGSS)は、未知のターゲットドメイン間のセマンティックセマンティックセマンティックセマンティックの一般化を強化するために、ソースドメインデータのみを活用することを目指している。 主に特徴正規化と領域ランダム化に焦点を当てた研究が主流であり、これらのアプローチは重大な限界を示す。 特徴正規化に基づく手法は、特徴空間の分布を制約する過程で意味的特徴を混乱させる傾向があり、結果として分類ミスが生じる。 ドメインランダム化に基づく手法は、スタイル変換の不制御性に起因するドメイン非関連ノイズをしばしば含み、セグメンテーションの曖昧さをもたらす。 これらの課題に対処するために,セマンティック一貫性予測とスタイル多様性の一般化のためのSCSDという新しいフレームワークを導入する。 第一に、Semantic Query Boosterは、マスクデコーダにおけるオブジェクトクエリのセマンティックな認識と識別機能を強化し、ドメイン間のセマンティックな一貫性の予測を可能にするように設計されている。 次に、ドメイン差分テキスト埋め込みを利用したテキスト駆動型変換モジュールを開発し、画像特徴のスタイル変換を制御し、ドメイン間スタイルの多様性を増大させる。 最後に、類似した領域特徴空間の崩壊を防止するために、スタイルのコントラスト損失とスタイルのアグリゲーション損失を相乗的に重み付けすることで、ドメイン間特徴の分離とドメイン内特徴の集約を確固たるものにするスタイルのシナジー最適化機構を導入する。 広範な実験により、提案したSCSDは既存の最先端手法よりも大幅に優れていることが示された。 特に、GTAVで訓練されたSCSDは、4つの未確認領域データセットで平均49.11 mIoUを達成し、+4.08 mIoUの最先端手法を上回った。 コードはhttps://github.com/nhw649/SCSDで入手できる。

関連論文リスト

• A Universal Degradation-based Bridging Technique for Domain Adaptive Semantic Segmentation [32.1141872384702]
  DiDAは拡散前進過程として形式化された普遍的な劣化に基づくブリッジ技術である。 プラグアンドプレイソリューションとして、DiDAは様々な劣化操作をサポートし、既存のUDAメソッドとシームレスに統合する。
  論文  参考訳（メタデータ） (2024-12-13T18:35:27Z)
• Semantic-Rearrangement-Based Multi-Level Alignment for Domain Generalized Segmentation [11.105659621713855]
  異なるローカルセマンティック領域は、ソースドメインからターゲットドメインへの異なる視覚的特性を示す。 本稿では,Semantic-Rearrangement-based Multi-Level Alignment (SRMA)を提案する。
  論文  参考訳（メタデータ） (2024-04-21T16:05:38Z)
• Decomposition-based Unsupervised Domain Adaptation for Remote Sensing Image Semantic Segmentation [30.606689882397223]
  非教師なし領域適応(UDA)技術は、地球科学のセマンティックセグメンテーションに不可欠である。 高レベルの特徴空間におけるドメインアライメントに焦点を当てた既存のUDA手法の多くは、局所的な空間的詳細とグローバルな文脈的意味論を同時に維持するのに苦労している。 ドメイン不変表現学習を導くための新しい分解手法を提案する。
  論文  参考訳（メタデータ） (2024-04-06T07:13:49Z)
• Amplitude Spectrum Transformation for Open Compound Domain Adaptive Semantic Segmentation [62.68759523116924]
  オープン化合物ドメイン適応(OCDA)は、実用的な適応セットとして現れている。 我々は、新しい特徴空間振幅スペクトル変換(AST)を提案する。
  論文  参考訳（メタデータ） (2022-02-09T05:40:34Z)
• Structured Latent Embeddings for Recognizing Unseen Classes in Unseen Domains [108.11746235308046]
  本稿では,異なる領域からの画像を投影することで,ドメインに依存しない遅延埋め込みを学習する手法を提案する。 挑戦的なDomainNetとDomainNet-LSベンチマークの実験は、既存のメソッドよりもアプローチの方が優れていることを示している。
  論文  参考訳（メタデータ） (2021-07-12T17:57:46Z)
• More Separable and Easier to Segment: A Cluster Alignment Method for Cross-Domain Semantic Segmentation [41.81843755299211]
  上記の問題を緩和するために,ドメイン仮定の近接性に基づく新しいUDAセマンティックセマンティックセマンティクス手法を提案する。 具体的には、同じ意味を持つクラスタピクセルにプロトタイプクラスタリング戦略を適用し、ターゲットドメインピクセル間の関連付けをより良く維持します。 GTA5とSynthiaで行った実験は,本法の有効性を実証した。
  論文  参考訳（メタデータ） (2021-05-07T10:24:18Z)
• Generalizable Representation Learning for Mixture Domain Face Anti-Spoofing [53.82826073959756]
  ドメイン一般化(DG)に基づく対スプーフィングアプローチは、予期せぬシナリオの堅牢性のために注目を集めています。 ドメインダイナミック調整メタラーニング(D2AM)についてドメインラベルを使わずに提案する。 この制限を克服するため,ドメインダイナミック調整メタラーニング(D2AM)を提案する。
  論文  参考訳（メタデータ） (2021-05-06T06:04:59Z)
• Cluster, Split, Fuse, and Update: Meta-Learning for Open Compound Domain Adaptive Semantic Segmentation [102.42638795864178]
  セマンティックセグメンテーションのための原則的メタラーニングに基づくOCDAアプローチを提案する。 対象ドメインを複数のサブターゲットドメインに,教師なしの方法で抽出した画像スタイルでクラスタリングする。 その後、メタラーニングがデプロイされ、スタイルコードに条件付きでサブターゲットドメイン固有の予測を融合するように学習される。 モデルに依存しないメタラーニング(MAML)アルゴリズムにより,モデルをオンライン更新することを学び,一般化をさらに改善する。
  論文  参考訳（メタデータ） (2020-12-15T13:21:54Z)
• Cross-Domain Grouping and Alignment for Domain Adaptive Semantic Segmentation [74.3349233035632]
  深層畳み込みニューラルネットワーク(CNN)内のソースドメインとターゲットドメインにセマンティックセグメンテーションネットワークを適用する既存の技術は、対象ドメイン自身や推定カテゴリ内のクラス間変異を考慮していない。 学習可能なクラスタリングモジュールと、クロスドメイングルーピングとアライメントと呼ばれる新しいドメイン適応フレームワークを導入する。 本手法はセマンティクスセグメンテーションにおける適応性能を一貫して向上させ,様々なドメイン適応設定において最先端を上回っている。
  論文  参考訳（メタデータ） (2020-12-15T11:36:21Z)
• Affinity Space Adaptation for Semantic Segmentation Across Domains [57.31113934195595]
  本稿では,意味的セグメンテーションにおける教師なしドメイン適応(UDA)の問題に対処する。 ソースドメインとターゲットドメインが不変なセマンティック構造を持つという事実に触発され、ドメイン間におけるそのような不変性を活用することを提案する。 親和性空間適応戦略として,親和性空間の洗浄と親和性空間アライメントという2つの方法を開発した。
  論文  参考訳（メタデータ） (2020-09-26T10:28:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。