論文の概要: Efficient Semantic Image Synthesis via Class-Adaptive Normalization

• arxiv url: http://arxiv.org/abs/2012.04644v2
• Date: Tue, 4 May 2021 23:20:35 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-16 20:58:15.728644
• Title: Efficient Semantic Image Synthesis via Class-Adaptive Normalization
• Title（参考訳）: クラス適応正規化による効率的な意味画像合成
• Authors: Zhentao Tan and Dongdong Chen and Qi Chu and Menglei Chai and Jing Liao and Mingming He and Lu Yuan and Gang Hua and Nenghai Yu
• Abstract要約: クラス適応正規化(CLADE)は、セマンティッククラスにのみ適応する軽量かつ等価なバリアントである。 セマンティクスレイアウトから計算したクラス内位置マップエンコーディングを導入し,cladeの正規化パラメータを変調する。 提案されたCLADEは異なるSPADEベースのメソッドに一般化し、SPADEと比較して同等の生成品質を達成できる。
• 参考スコア（独自算出の注目度）: 116.63715955932174
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spatially-adaptive normalization (SPADE) is remarkably successful recently in conditional semantic image synthesis \cite{park2019semantic}, which modulates the normalized activation with spatially-varying transformations learned from semantic layouts, to prevent the semantic information from being washed away. Despite its impressive performance, a more thorough understanding of the advantages inside the box is still highly demanded to help reduce the significant computation and parameter overhead introduced by this novel structure. In this paper, from a return-on-investment point of view, we conduct an in-depth analysis of the effectiveness of this spatially-adaptive normalization and observe that its modulation parameters benefit more from semantic-awareness rather than spatial-adaptiveness, especially for high-resolution input masks. Inspired by this observation, we propose class-adaptive normalization (CLADE), a lightweight but equally-effective variant that is only adaptive to semantic class. In order to further improve spatial-adaptiveness, we introduce intra-class positional map encoding calculated from semantic layouts to modulate the normalization parameters of CLADE and propose a truly spatially-adaptive variant of CLADE, namely CLADE-ICPE.Through extensive experiments on multiple challenging datasets, we demonstrate that the proposed CLADE can be generalized to different SPADE-based methods while achieving comparable generation quality compared to SPADE, but it is much more efficient with fewer extra parameters and lower computational cost. The code and pretrained models are available at \url{https://github.com/tzt101/CLADE.git}.
• Abstract（参考訳）: 空間適応正規化(SPADE)は、最近、意味情報を洗い流すのを防ぐために、空間的に変化する変換で正規化活性化を調節する条件付き意味画像合成において、顕著に成功した。 その優れた性能にもかかわらず、箱の中の利点をより深く理解することは、この新しい構造によってもたらされる重要な計算とパラメータのオーバーヘッドを減らすのに役立っている。 本稿では,この空間適応正規化の有効性を深く分析し,その変調パラメータが,特に高分解能入力マスクにおいて,空間適応性よりも意味認識性により有益であることを示す。 この観察に触発されて,クラス適応正規化(clade,class-adaptive normalization)を提案する。 In order to further improve spatial-adaptiveness, we introduce intra-class positional map encoding calculated from semantic layouts to modulate the normalization parameters of CLADE and propose a truly spatially-adaptive variant of CLADE, namely CLADE-ICPE.Through extensive experiments on multiple challenging datasets, we demonstrate that the proposed CLADE can be generalized to different SPADE-based methods while achieving comparable generation quality compared to SPADE, but it is much more efficient with fewer extra parameters and lower computational cost. コードと事前訓練されたモデルは、 \url{https://github.com/tzt101/CLADE.git} で入手できる。

関連論文リスト

• Transducer Consistency Regularization for Speech to Text Applications [4.510630624936377]
  本稿では,トランスデューサモデルの整合正則化手法であるTransducer Consistency Regularization (TCR)を提案する。 作業確率を利用してトランスデューサ出力分布に異なる重みを与えるので、オラクルアライメントに近いアライメントのみがモデル学習に寄与する。 提案手法は他の整合正規化実装よりも優れていることを示すとともに,textscLibrispeechデータセットの強いベースラインと比較して,単語誤り率(WER)を4.3%削減できることを示した。
  論文  参考訳（メタデータ） (2024-10-09T23:53:13Z)
• Conditional Deformable Image Registration with Spatially-Variant and Adaptive Regularization [2.3419031955865517]
  条件付き空間適応型インスタンス正規化(CSAIN)に基づく学習ベース登録手法を提案する。 実験の結果,提案手法は空間変動および適応正則化を達成しつつ,ベースラインアプローチよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-03-19T16:12:06Z)
• Retrieval-based Spatially Adaptive Normalization for Semantic Image Synthesis [68.1281982092765]
  本稿では,Retrieval-based spatially AdaptIve normalization (RESAIL) と呼ばれる新しい正規化モジュールを提案する。 RESAILは、正規化アーキテクチャに対するピクセルレベルのきめ細かいガイダンスを提供する。 いくつかの挑戦的なデータセットの実験により、RESAILは定量的メトリクス、視覚的品質、主観的評価の観点から、最先端技術に対して好意的に機能することが示された。
  論文  参考訳（メタデータ） (2022-04-06T14:21:39Z)
• Adaptive and Cascaded Compressive Sensing [10.162966219929887]
  シーン依存型適応圧縮センシング(CS)は、CSの性能を大幅に向上させる大きな可能性を秘めている。 そこで本研究では,再構成誤差を直接予測可能な制限等尺特性(RIP)条件に基づく誤差クラッピングを提案する。 また,異なる適応サンプリング段階から得られた情報を効率的に活用できる機能融合再構成ネットワークを提案する。
  論文  参考訳（メタデータ） (2022-03-21T07:50:24Z)
• HSVA: Hierarchical Semantic-Visual Adaptation for Zero-Shot Learning [74.76431541169342]
  ゼロショット学習(ZSL)は、目に見えないクラス認識の問題に取り組み、目に見えないクラスから目に見えないクラスに意味的な知識を移す。 本稿では,意味領域と視覚領域を協調させる新しい階層型意味視覚適応(HSVA)フレームワークを提案する。 4つのベンチマークデータセットの実験では、HSVAは従来のZSLと一般的なZSLの両方で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-09-30T14:27:50Z)
• Deep Contrastive Graph Representation via Adaptive Homotopy Learning [76.22904270821778]
  Homotopyモデルは、機械学習の分野におけるさまざまな研究によって活用される優れたツールである。 マクローリン双対性を用いる新しい適応ホモトピーフレームワーク(AH)を提案する。 AHはホモトピーに基づくアルゴリズムを強化するために広く利用することができる。
  論文  参考訳（メタデータ） (2021-06-17T04:46:04Z)
• SUPER-ADAM: Faster and Universal Framework of Adaptive Gradients [99.13839450032408]
  一般的な問題を解決するための適応アルゴリズムのための普遍的な枠組みを設計することが望まれる。 特に,本フレームワークは,非収束的設定支援の下で適応的手法を提供する。
  論文  参考訳（メタデータ） (2021-06-15T15:16:28Z)
• Bayesian Sparse learning with preconditioned stochastic gradient MCMC and its applications [5.660384137948734]
  提案アルゴリズムは, 温和な条件下で, 制御可能なバイアスで正しい分布に収束する。 提案アルゴリズムは, 温和な条件下で, 制御可能なバイアスで正しい分布に収束可能であることを示す。
  論文  参考訳（メタデータ） (2020-06-29T20:57:20Z)
• Rethinking Spatially-Adaptive Normalization [111.13203525538496]
  クラス適応正規化(CLADE)は、空間的位置やレイアウトに適応しない軽量な変種である。 CLADEは、生成時に意味情報を保存しながら計算コストを大幅に削減する。
  論文  参考訳（メタデータ） (2020-04-06T17:58:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。