論文の概要: Efficient Semantic Image Synthesis via Class-Adaptive Normalization

• arxiv url: http://arxiv.org/abs/2012.04644v2
• Date: Tue, 4 May 2021 23:20:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2021-05-16 20:58:15.728644
• Title: Efficient Semantic Image Synthesis via Class-Adaptive Normalization
• Title（参考訳）: クラス適応正規化による効率的な意味画像合成
• Authors: Zhentao Tan and Dongdong Chen and Qi Chu and Menglei Chai and Jing Liao and Mingming He and Lu Yuan and Gang Hua and Nenghai Yu
• Abstract要約: クラス適応正規化(CLADE)は、セマンティッククラスにのみ適応する軽量かつ等価なバリアントである。 セマンティクスレイアウトから計算したクラス内位置マップエンコーディングを導入し,cladeの正規化パラメータを変調する。 提案されたCLADEは異なるSPADEベースのメソッドに一般化し、SPADEと比較して同等の生成品質を達成できる。
• 参考スコア（独自算出の注目度）: 116.63715955932174
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spatially-adaptive normalization (SPADE) is remarkably successful recently in conditional semantic image synthesis \cite{park2019semantic}, which modulates the normalized activation with spatially-varying transformations learned from semantic layouts, to prevent the semantic information from being washed away. Despite its impressive performance, a more thorough understanding of the advantages inside the box is still highly demanded to help reduce the significant computation and parameter overhead introduced by this novel structure. In this paper, from a return-on-investment point of view, we conduct an in-depth analysis of the effectiveness of this spatially-adaptive normalization and observe that its modulation parameters benefit more from semantic-awareness rather than spatial-adaptiveness, especially for high-resolution input masks. Inspired by this observation, we propose class-adaptive normalization (CLADE), a lightweight but equally-effective variant that is only adaptive to semantic class. In order to further improve spatial-adaptiveness, we introduce intra-class positional map encoding calculated from semantic layouts to modulate the normalization parameters of CLADE and propose a truly spatially-adaptive variant of CLADE, namely CLADE-ICPE.Through extensive experiments on multiple challenging datasets, we demonstrate that the proposed CLADE can be generalized to different SPADE-based methods while achieving comparable generation quality compared to SPADE, but it is much more efficient with fewer extra parameters and lower computational cost. The code and pretrained models are available at \url{https://github.com/tzt101/CLADE.git}.
• Abstract（参考訳）: 空間適応正規化(SPADE)は、最近、意味情報を洗い流すのを防ぐために、空間的に変化する変換で正規化活性化を調節する条件付き意味画像合成において、顕著に成功した。 その優れた性能にもかかわらず、箱の中の利点をより深く理解することは、この新しい構造によってもたらされる重要な計算とパラメータのオーバーヘッドを減らすのに役立っている。 本稿では,この空間適応正規化の有効性を深く分析し,その変調パラメータが,特に高分解能入力マスクにおいて,空間適応性よりも意味認識性により有益であることを示す。 この観察に触発されて,クラス適応正規化(clade,class-adaptive normalization)を提案する。 In order to further improve spatial-adaptiveness, we introduce intra-class positional map encoding calculated from semantic layouts to modulate the normalization parameters of CLADE and propose a truly spatially-adaptive variant of CLADE, namely CLADE-ICPE.Through extensive experiments on multiple challenging datasets, we demonstrate that the proposed CLADE can be generalized to different SPADE-based methods while achieving comparable generation quality compared to SPADE, but it is much more efficient with fewer extra parameters and lower computational cost. コードと事前訓練されたモデルは、 \url{https://github.com/tzt101/CLADE.git} で入手できる。

関連論文リスト

• Regularizing Subspace Redundancy of Low-Rank Adaptation [54.473090597164834]
  本稿では、マッピング部分空間間の冗長性を明示的にモデル化し、低ランク適応のサブスペース冗長性を適応的に正規化する手法であるReSoRAを提案する。 提案手法は、視覚言語検索や標準的な視覚分類ベンチマークにおいて、様々なバックボーンやデータセットにまたがる既存のPETL手法を一貫して促進する。 トレーニングの監督として、ReSoRAは追加の推論コストなしで、プラグイン・アンド・プレイ方式で既存のアプローチにシームレスに統合することができる。
  論文  参考訳（メタデータ） (2025-07-28T11:52:56Z)
• ESSA: Evolutionary Strategies for Scalable Alignment [2.589791058467358]
  本稿では,進化的戦略(ES)を用いて大規模言語モデル(LLM)を効率的に整合させる新しいフレームワークであるESSAを紹介する。 ESは、高い並列化性、メモリ効率、スパース報酬に対する堅牢性、収束に必要なデータサンプルの少ないなど、LCMアライメントに適している。 我々はESを勾配に基づくアライメントに代わる有望でスケーラブルな代替品として確立し、大規模言語モデルの効率的な後学習の道を開いた。
  論文  参考訳（メタデータ） (2025-07-06T16:23:07Z)
• Perception-Oriented Latent Coding for High-Performance Compressed Domain Semantic Inference [30.78149130760627]
  Perception-Oriented Latent Coding (POLC) は、高性能なセマンティック推論のための潜在機能のセマンティックコンテンツを強化するアプローチである。 POLCは微調整のためのプラグアンドプレイアダプタのみを必要とし、従来のMSE指向の手法に比べてパラメータ数を大幅に削減した。
  論文  参考訳（メタデータ） (2025-07-02T11:21:38Z)
• HAFLQ: Heterogeneous Adaptive Federated LoRA Fine-tuned LLM with Quantization [55.972018549438964]
  LLM(Federated Fine-tuning of Pre-trained Large Language Models)は、さまざまなデータセットにまたがるタスク固有の適応を可能にすると同時に、プライバシの保護を可能にする。 本研究では, HAFLQ (Heterogeneous Adaptive Federated Low-Rank Adaptation Fine-tuned LLM with Quantization) を提案する。 テキスト分類タスクの実験結果から,HAFLQはメモリ使用量を31%削減し,通信コストを49%削減し,精度を50%向上し,ベースライン法よりも高速な収束を実現している。
  論文  参考訳（メタデータ） (2024-11-10T19:59:54Z)
• Transducer Consistency Regularization for Speech to Text Applications [4.510630624936377]
  本稿では,トランスデューサモデルの整合正則化手法であるTransducer Consistency Regularization (TCR)を提案する。 作業確率を利用してトランスデューサ出力分布に異なる重みを与えるので、オラクルアライメントに近いアライメントのみがモデル学習に寄与する。 提案手法は他の整合正規化実装よりも優れていることを示すとともに,textscLibrispeechデータセットの強いベースラインと比較して,単語誤り率(WER)を4.3%削減できることを示した。
  論文  参考訳（メタデータ） (2024-10-09T23:53:13Z)
• Conditional Deformable Image Registration with Spatially-Variant and Adaptive Regularization [2.3419031955865517]
  条件付き空間適応型インスタンス正規化(CSAIN)に基づく学習ベース登録手法を提案する。 実験の結果,提案手法は空間変動および適応正則化を達成しつつ,ベースラインアプローチよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-03-19T16:12:06Z)
• Retrieval-based Spatially Adaptive Normalization for Semantic Image Synthesis [68.1281982092765]
  本稿では,Retrieval-based spatially AdaptIve normalization (RESAIL) と呼ばれる新しい正規化モジュールを提案する。 RESAILは、正規化アーキテクチャに対するピクセルレベルのきめ細かいガイダンスを提供する。 いくつかの挑戦的なデータセットの実験により、RESAILは定量的メトリクス、視覚的品質、主観的評価の観点から、最先端技術に対して好意的に機能することが示された。
  論文  参考訳（メタデータ） (2022-04-06T14:21:39Z)
• Adaptive and Cascaded Compressive Sensing [10.162966219929887]
  シーン依存型適応圧縮センシング(CS)は、CSの性能を大幅に向上させる大きな可能性を秘めている。 そこで本研究では,再構成誤差を直接予測可能な制限等尺特性(RIP)条件に基づく誤差クラッピングを提案する。 また,異なる適応サンプリング段階から得られた情報を効率的に活用できる機能融合再構成ネットワークを提案する。
  論文  参考訳（メタデータ） (2022-03-21T07:50:24Z)
• HSVA: Hierarchical Semantic-Visual Adaptation for Zero-Shot Learning [74.76431541169342]
  ゼロショット学習(ZSL)は、目に見えないクラス認識の問題に取り組み、目に見えないクラスから目に見えないクラスに意味的な知識を移す。 本稿では,意味領域と視覚領域を協調させる新しい階層型意味視覚適応(HSVA)フレームワークを提案する。 4つのベンチマークデータセットの実験では、HSVAは従来のZSLと一般的なZSLの両方で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-09-30T14:27:50Z)
• Deep Contrastive Graph Representation via Adaptive Homotopy Learning [76.22904270821778]
  Homotopyモデルは、機械学習の分野におけるさまざまな研究によって活用される優れたツールである。 マクローリン双対性を用いる新しい適応ホモトピーフレームワーク(AH)を提案する。 AHはホモトピーに基づくアルゴリズムを強化するために広く利用することができる。
  論文  参考訳（メタデータ） (2021-06-17T04:46:04Z)
• SUPER-ADAM: Faster and Universal Framework of Adaptive Gradients [99.13839450032408]
  一般的な問題を解決するための適応アルゴリズムのための普遍的な枠組みを設計することが望まれる。 特に,本フレームワークは,非収束的設定支援の下で適応的手法を提供する。
  論文  参考訳（メタデータ） (2021-06-15T15:16:28Z)
• Bayesian Sparse learning with preconditioned stochastic gradient MCMC and its applications [5.660384137948734]
  提案アルゴリズムは, 温和な条件下で, 制御可能なバイアスで正しい分布に収束する。 提案アルゴリズムは, 温和な条件下で, 制御可能なバイアスで正しい分布に収束可能であることを示す。
  論文  参考訳（メタデータ） (2020-06-29T20:57:20Z)
• Rethinking Spatially-Adaptive Normalization [111.13203525538496]
  クラス適応正規化(CLADE)は、空間的位置やレイアウトに適応しない軽量な変種である。 CLADEは、生成時に意味情報を保存しながら計算コストを大幅に削減する。
  論文  参考訳（メタデータ） (2020-04-06T17:58:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。