論文の概要: Rethinking Spatially-Adaptive Normalization

• arxiv url: http://arxiv.org/abs/2004.02867v1
• Date: Mon, 6 Apr 2020 17:58:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-16 07:30:38.587474
• Title: Rethinking Spatially-Adaptive Normalization
• Title（参考訳）: 空間適応正規化の再考
• Authors: Zhentao Tan, Dongdong Chen, Qi Chu, Menglei Chai, Jing Liao, Mingming He, Lu Yuan, Nenghai Yu
• Abstract要約: クラス適応正規化(CLADE)は、空間的位置やレイアウトに適応しない軽量な変種である。 CLADEは、生成時に意味情報を保存しながら計算コストを大幅に削減する。
• 参考スコア（独自算出の注目度）: 111.13203525538496
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spatially-adaptive normalization is remarkably successful recently in conditional semantic image synthesis, which modulates the normalized activation with spatially-varying transformations learned from semantic layouts, to preserve the semantic information from being washed away. Despite its impressive performance, a more thorough understanding of the true advantages inside the box is still highly demanded, to help reduce the significant computation and parameter overheads introduced by these new structures. In this paper, from a return-on-investment point of view, we present a deep analysis of the effectiveness of SPADE and observe that its advantages actually come mainly from its semantic-awareness rather than the spatial-adaptiveness. Inspired by this point, we propose class-adaptive normalization (CLADE), a lightweight variant that is not adaptive to spatial positions or layouts. Benefited from this design, CLADE greatly reduces the computation cost while still being able to preserve the semantic information during the generation. Extensive experiments on multiple challenging datasets demonstrate that while the resulting fidelity is on par with SPADE, its overhead is much cheaper than SPADE. Take the generator for ADE20k dataset as an example, the extra parameter and computation cost introduced by CLADE are only 4.57% and 0.07% while that of SPADE are 39.21% and 234.73% respectively.
• Abstract（参考訳）: 空間適応型正規化は,意味的レイアウトから学習した空間的変化による正規化活性化を変調し,意味情報を洗い流すのを防ぐ条件付き意味画像合成において,近年顕著に成功している。 その印象的な性能にもかかわらず、これらの新しい構造によってもたらされる重要な計算量とパラメーターのオーバーヘッドを減らすために、ボックス内の真の利点をより深く理解することが依然として非常に要求されている。 本稿では,再投資の観点から,spadeの有効性を深く分析し,その利点は主に空間適応性ではなく,その意味認識性にあることを確かめる。 そこで我々は,空間的位置やレイアウトに適応しない軽量な変種であるクラス適応正規化(CLADE)を提案する。 この設計に適合したCLADEは、生成時に意味情報を保存しながら計算コストを大幅に削減する。 複数の挑戦的なデータセットに対する大規模な実験は、結果の忠実度がSPADEと同等である一方で、そのオーバーヘッドがSPADEよりもはるかに低いことを示している。 ADE20kデータセットのジェネレータを例にとると、CLADEが導入した余剰パラメータと計算コストは4.57%と0.07%であり、SPADEのジェネレータはそれぞれ39.21%と234.73%である。

関連論文リスト

• Parameter-Efficient Fine-Tuning via Selective Discrete Cosine Transform [10.565509997395504]
  本稿では,このフロンティアを推し進めるために,Selective Discrete Cosine Transformation (SDCTFT) を提案する。 その一般的な考え方は、DCTの優れたエネルギー圧縮とデコリレーション特性を活用することである。 4つのベンチマークデータセットの実験では、より優れた精度、計算コストの削減、ストレージ要求の低減が示されている。
  論文  参考訳（メタデータ） (2024-10-09T16:07:42Z)
• PredFormer: Transformers Are Effective Spatial-Temporal Predictive Learners [65.93130697098658]
  本稿では、予測学習のための純粋なトランスフォーマーベースのフレームワークであるPredFormerを提案する。 PredFormerは、リカレントフリーでトランスフォーマーベースの設計で、シンプルかつ効率的である。 合成および実世界のデータセットに関する実験は、PredFormerが最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2024-10-07T03:52:06Z)
• Sparse is Enough in Fine-tuning Pre-trained Large Language Models [98.46493578509039]
  我々はSparse Increment Fine-Tuning (SIFT) という勾配に基づくスパース微調整アルゴリズムを提案する。 GLUE Benchmark や Instruction-tuning などのタスクで有効性を検証する。
  論文  参考訳（メタデータ） (2023-12-19T06:06:30Z)
• Adaptive and Cascaded Compressive Sensing [10.162966219929887]
  シーン依存型適応圧縮センシング(CS)は、CSの性能を大幅に向上させる大きな可能性を秘めている。 そこで本研究では,再構成誤差を直接予測可能な制限等尺特性(RIP)条件に基づく誤差クラッピングを提案する。 また,異なる適応サンプリング段階から得られた情報を効率的に活用できる機能融合再構成ネットワークを提案する。
  論文  参考訳（メタデータ） (2022-03-21T07:50:24Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• Disentangling Generative Factors of Physical Fields Using Variational Autoencoders [0.0]
  本研究は,非線形次元低減のための変分オートエンコーダ (VAE) の利用について検討する。 不整合分解は解釈可能であり、生成的モデリングを含む様々なタスクに転送することができる。
  論文  参考訳（メタデータ） (2021-09-15T16:02:43Z)
• Inception Convolution with Efficient Dilation Search [121.41030859447487]
  拡散畳み込みは、効果的な受容場を制御し、オブジェクトの大規模な分散を処理するための標準的な畳み込みニューラルネットワークの重要な変異体である。 そこで我々は,異なる軸,チャネル,層間の独立な拡散を有する拡張畳み込みの新たな変異体,すなわち開始(拡張)畳み込みを提案する。 本稿では,データに複雑なインセプション・コンボリューションを適合させる実用的な手法を探索し,統計的最適化に基づく簡易かつ効果的な拡張探索アルゴリズム(EDO)を開発した。
  論文  参考訳（メタデータ） (2020-12-25T14:58:35Z)
• Efficient Semantic Image Synthesis via Class-Adaptive Normalization [116.63715955932174]
  クラス適応正規化(CLADE)は、セマンティッククラスにのみ適応する軽量かつ等価なバリアントである。 セマンティクスレイアウトから計算したクラス内位置マップエンコーディングを導入し,cladeの正規化パラメータを変調する。 提案されたCLADEは異なるSPADEベースのメソッドに一般化し、SPADEと比較して同等の生成品質を達成できる。
  論文  参考訳（メタデータ） (2020-12-08T18:59:32Z)
• SASL: Saliency-Adaptive Sparsity Learning for Neural Network Acceleration [20.92912642901645]
  そこで本稿では、さらなる最適化のために、SASL(Saliency-Adaptive Sparsity Learning)アプローチを提案する。 ResNet-50 の 49.7% の FLOP を 0.39% のトップ-1 と 0.05% のトップ-5 の精度で削減できる。
  論文  参考訳（メタデータ） (2020-03-12T16:49:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。