論文の概要: Intra- & Extra-Source Exemplar-Based Style Synthesis for Improved Domain Generalization

• arxiv url: http://arxiv.org/abs/2307.00648v1
• Date: Sun, 2 Jul 2023 19:56:43 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-05 14:57:15.616768
• Title: Intra- & Extra-Source Exemplar-Based Style Synthesis for Improved Domain Generalization
• Title（参考訳）: ドメイン一般化改善のためのイントラ・イントラ・ソース・exemplar-based style synthesis
• Authors: Yumeng Li, Dan Zhang, Margret Keuper, Anna Khoreva
• Abstract要約: セマンティックセグメンテーションにおけるドメインの一般化を改善するために,先進的なスタイル合成パイプラインを提案する。 提案手法は,StyleGAN2インバージョンのためのマスク付きノイズエンコーダに基づく。 データシフトの種類によって、ドライブシーンセマンティックセマンティックセグメンテーションの最大12.4%のmIoU改善を実現しています。
• 参考スコア（独自算出の注目度）: 21.591831983223997
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The generalization with respect to domain shifts, as they frequently appear in applications such as autonomous driving, is one of the remaining big challenges for deep learning models. Therefore, we propose an exemplar-based style synthesis pipeline to improve domain generalization in semantic segmentation. Our method is based on a novel masked noise encoder for StyleGAN2 inversion. The model learns to faithfully reconstruct the image, preserving its semantic layout through noise prediction. Using the proposed masked noise encoder to randomize style and content combinations in the training set, i.e., intra-source style augmentation (ISSA) effectively increases the diversity of training data and reduces spurious correlation. As a result, we achieve up to $12.4\%$ mIoU improvements on driving-scene semantic segmentation under different types of data shifts, i.e., changing geographic locations, adverse weather conditions, and day to night. ISSA is model-agnostic and straightforwardly applicable with CNNs and Transformers. It is also complementary to other domain generalization techniques, e.g., it improves the recent state-of-the-art solution RobustNet by $3\%$ mIoU in Cityscapes to Dark Z\"urich. In addition, we demonstrate the strong plug-n-play ability of the proposed style synthesis pipeline, which is readily usable for extra-source exemplars e.g., web-crawled images, without any retraining or fine-tuning. Moreover, we study a new use case to indicate neural network's generalization capability by building a stylized proxy validation set. This application has significant practical sense for selecting models to be deployed in the open-world environment. Our code is available at \url{https://github.com/boschresearch/ISSA}.
• Abstract（参考訳）: ドメインシフトに関する一般化は、自律運転のようなアプリケーションに頻繁に現れるように、ディープラーニングモデルにとって残る大きな課題の1つである。 そこで本研究では,意味セグメンテーションにおけるドメイン一般化を改善するために,exemplarベースのスタイル合成パイプラインを提案する。 提案手法は,StyleGAN2インバージョンのためのマスク付きノイズエンコーダに基づく。 モデルはイメージを忠実に再構築し、ノイズ予測を通じてセマンティックなレイアウトを保存する。 提案したマスク付きノイズエンコーダを用いてトレーニングセットのスタイルとコンテントの組み合わせをランダム化する。すなわち、ソース内スタイル拡張(ISSA)は、トレーニングデータの多様性を効果的に増加させ、スプリアス相関を減少させる。 その結果,異なるデータシフト,すなわち地理的な場所の変化,悪天候,昼夜の運転シーンセマンティックセマンティックセグメンテーションにおいて,最大12.4\%のmIoUの改善が達成された。 ISSAはモデルに依存しず、CNNやTransformerで簡単に適用できる。 また、他の領域一般化手法、例えば最近の最先端ソリューションであるRobustNetをCityscapesのmIoUをDark Z\"urichに$3\%改善している。 さらに,提案したスタイル合成パイプラインの強力なプラグインn-play能力を示す。これは,例えばWebcrawled画像のソース外例に対して,リトレーニングや微調整を行なわずに容易に利用できる。 さらに,スタイライズされたプロキシ検証セットを構築することで,ニューラルネットワークの一般化能力を示す新たなユースケースについて検討した。 このアプリケーションは、オープンな環境にデプロイされるモデルを選択するために非常に実用的な意味を持っている。 私たちのコードは \url{https://github.com/boschresearch/ISSA} で利用可能です。

関連論文リスト

• StyDeSty: Min-Max Stylization and Destylization for Single Domain Generalization [85.18995948334592]
  単一のドメインの一般化(単一DG)は、単一のトレーニングドメインからのみ見えないドメインに一般化可能な堅牢なモデルを学ぶことを目的としている。 最先端のアプローチは、主に新しいデータを合成するために、敵対的な摂動やスタイルの強化といったデータ拡張に頼っている。 データ拡張の過程で、ソースと擬似ドメインのアライメントを明示的に考慮したemphStyDeStyを提案する。
  論文  参考訳（メタデータ） (2024-06-01T02:41:34Z)
• Text-image Alignment for Diffusion-based Perception [12.98777134700767]
  拡散モデルは、印象的なテキスト-画像合成機能を備えた生成モデルである。 視覚タスクに拡散バックボーンを適用する際に、プロンプトインターフェースをどのように使うかは不明確である。 自動生成キャプションによってテキスト画像のアライメントが向上し、モデルのクロスアテンションマップが大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2023-09-29T05:16:41Z)
• In-Domain GAN Inversion for Faithful Reconstruction and Editability [132.68255553099834]
  ドメイン誘導型ドメイン正規化とエンコーダで構成されたドメイン内GANインバージョンを提案し、事前学習されたGANモデルのネイティブ潜在空間における反転コードを正規化する。 エンコーダ構造,開始反転点,および逆パラメータ空間の効果を総合的に解析し,再構成品質と編集特性とのトレードオフを観察する。
  論文  参考訳（メタデータ） (2023-09-25T08:42:06Z)
• Condition-Invariant Semantic Segmentation [77.10045325743644]
  我々は現在最先端のドメイン適応アーキテクチャ上で条件不変セマンティック(CISS)を実装している。 本手法は,通常の都市景観$to$ACDCベンチマークにおいて,2番目に高い性能を実現する。 CISSはBDD100K-nightやACDC-nightのようなトレーニング中に見えない領域によく一般化している。
  論文  参考訳（メタデータ） (2023-05-27T03:05:07Z)
• Intra-Source Style Augmentation for Improved Domain Generalization [21.591831983223997]
  セマンティックセグメンテーションにおける領域一般化を改善するために,イントラソーススタイル拡張(ISSA)手法を提案する。 ISSAはモデルに依存しず、CNNやTransformerで簡単に適用できる。 また、Cityscapes から Dark Z"urich の最近の最先端ソリューション RobustNet を $3%$ mIoU で改善するなど、他の領域の一般化手法を補完する。
  論文  参考訳（メタデータ） (2022-10-18T21:33:25Z)
• Style Interleaved Learning for Generalizable Person Re-identification [69.03539634477637]
  DG ReIDトレーニングのための新しいスタイルインターリーブラーニング(IL)フレームワークを提案する。 従来の学習戦略とは異なり、ILには2つの前方伝播と1つの後方伝播が組み込まれている。 我々のモデルはDG ReIDの大規模ベンチマークにおいて最先端の手法を一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2022-07-07T07:41:32Z)
• Local Augmentation for Graph Neural Networks [78.48812244668017]
  本稿では,局所的な部分グラフ構造によりノード特性を向上する局所拡張を提案する。 局所的な拡張に基づいて、プラグイン・アンド・プレイ方式で任意のGNNモデルに適用可能な、LA-GNNという新しいフレームワークをさらに設計する。
  論文  参考訳（メタデータ） (2021-09-08T18:10:08Z)
• MixStyle Neural Networks for Domain Generalization and Adaptation [122.36901703868321]
  MixStyleは、データ収集やモデルのキャパシティ向上を必要とせずに、ドメインの一般化性能を向上させるプラグイン・アンド・プレイモジュールである。 実験の結果,MixStyleは画像認識,インスタンス検索,強化学習など幅広いタスクにおいて,分布外一般化性能を大幅に向上させることができることがわかった。
  論文  参考訳（メタデータ） (2021-07-05T14:29:19Z)
• RobustNet: Improving Domain Generalization in Urban-Scene Segmentation via Instance Selective Whitening [40.98892593362837]
  ディープニューラルネットワークの未認識領域への一般化能力の強化は、自動運転のような現実世界における安全性クリティカルな応用に不可欠である。 本稿では,未知領域のセグメンテーションネットワークのロバスト性を改善するために,新しいインスタンス選択型ホワイトニング損失を提案する。
  論文  参考訳（メタデータ） (2021-03-29T13:19:37Z)
• Regularizing Deep Networks with Semantic Data Augmentation [44.53483945155832]
  従来の手法を補完する新しい意味データ拡張アルゴリズムを提案する。 提案手法はディープネットワークが線形化特徴の学習に有効であるという興味深い性質に着想を得たものである。 提案した暗黙的セマンティックデータ拡張(ISDA)アルゴリズムは,新たなロバストCE損失を最小限に抑える。
  論文  参考訳（メタデータ） (2020-07-21T00:32:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。