論文の概要: Rethinking Spatially-Adaptive Normalization

• arxiv url: http://arxiv.org/abs/2004.02867v1
• Date: Mon, 6 Apr 2020 17:58:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-16 07:30:38.587474
• Title: Rethinking Spatially-Adaptive Normalization
• Title（参考訳）: 空間適応正規化の再考
• Authors: Zhentao Tan, Dongdong Chen, Qi Chu, Menglei Chai, Jing Liao, Mingming He, Lu Yuan, Nenghai Yu
• Abstract要約: クラス適応正規化(CLADE)は、空間的位置やレイアウトに適応しない軽量な変種である。 CLADEは、生成時に意味情報を保存しながら計算コストを大幅に削減する。
• 参考スコア（独自算出の注目度）: 111.13203525538496
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spatially-adaptive normalization is remarkably successful recently in conditional semantic image synthesis, which modulates the normalized activation with spatially-varying transformations learned from semantic layouts, to preserve the semantic information from being washed away. Despite its impressive performance, a more thorough understanding of the true advantages inside the box is still highly demanded, to help reduce the significant computation and parameter overheads introduced by these new structures. In this paper, from a return-on-investment point of view, we present a deep analysis of the effectiveness of SPADE and observe that its advantages actually come mainly from its semantic-awareness rather than the spatial-adaptiveness. Inspired by this point, we propose class-adaptive normalization (CLADE), a lightweight variant that is not adaptive to spatial positions or layouts. Benefited from this design, CLADE greatly reduces the computation cost while still being able to preserve the semantic information during the generation. Extensive experiments on multiple challenging datasets demonstrate that while the resulting fidelity is on par with SPADE, its overhead is much cheaper than SPADE. Take the generator for ADE20k dataset as an example, the extra parameter and computation cost introduced by CLADE are only 4.57% and 0.07% while that of SPADE are 39.21% and 234.73% respectively.
• Abstract（参考訳）: 空間適応型正規化は,意味的レイアウトから学習した空間的変化による正規化活性化を変調し,意味情報を洗い流すのを防ぐ条件付き意味画像合成において,近年顕著に成功している。 その印象的な性能にもかかわらず、これらの新しい構造によってもたらされる重要な計算量とパラメーターのオーバーヘッドを減らすために、ボックス内の真の利点をより深く理解することが依然として非常に要求されている。 本稿では,再投資の観点から,spadeの有効性を深く分析し,その利点は主に空間適応性ではなく,その意味認識性にあることを確かめる。 そこで我々は,空間的位置やレイアウトに適応しない軽量な変種であるクラス適応正規化(CLADE)を提案する。 この設計に適合したCLADEは、生成時に意味情報を保存しながら計算コストを大幅に削減する。 複数の挑戦的なデータセットに対する大規模な実験は、結果の忠実度がSPADEと同等である一方で、そのオーバーヘッドがSPADEよりもはるかに低いことを示している。 ADE20kデータセットのジェネレータを例にとると、CLADEが導入した余剰パラメータと計算コストは4.57%と0.07%であり、SPADEのジェネレータはそれぞれ39.21%と234.73%である。

関連論文リスト

• Gradient Multi-Normalization for Stateless and Scalable LLM Training [16.037614012166063]
  大規模言語モデル(LLM)のトレーニングは通常、コンバージェンスを加速するために追加のステート情報を格納するAdamのようなアダプティブに依存している。 SWAN (Ma et al., 2024) のような最近の取り組みは、状態の必要性を排除し、瞬時勾配に適用したマルチステップ前処理手順により、Adamに匹敵する性能を達成することでこの問題に対処している。 複数の基準に従って勾配を正規化するステートレス勾配を設計するための新しいフレームワークを導入する。最大10億のパラメータを持つ事前学習LLaMAモデルの実験は、Adamよりも3倍のスピードアップを示し、メモリ要求を大幅に削減し、他のメモリ効率のベースラインを上回っている。
  論文  参考訳（メタデータ） (2025-02-10T18:09:53Z)
• APAR: Modeling Irregular Target Functions in Tabular Regression via Arithmetic-Aware Pre-Training and Adaptive-Regularized Fine-Tuning [12.35924469567586]
  APAR(Arithmetic-Aware Pre-training and Adaptive-Regularized Fine-tuning framework)を提案する。 事前学習フェーズでは、APARは、連続ラベルの観点から複雑なサンプル-ワイド関係をキャプチャするための算術的な事前文の目的を導入している。 微調整フェーズでは、自己学習に適したデータ拡張のために、一貫性に基づく適応正規化手法が提案されている。
  論文  参考訳（メタデータ） (2024-12-14T19:33:21Z)
• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• Sparse is Enough in Fine-tuning Pre-trained Large Language Models [98.46493578509039]
  我々はSparse Increment Fine-Tuning (SIFT) という勾配に基づくスパース微調整アルゴリズムを提案する。 GLUE Benchmark や Instruction-tuning などのタスクで有効性を検証する。
  論文  参考訳（メタデータ） (2023-12-19T06:06:30Z)
• Adaptive and Cascaded Compressive Sensing [10.162966219929887]
  シーン依存型適応圧縮センシング(CS)は、CSの性能を大幅に向上させる大きな可能性を秘めている。 そこで本研究では,再構成誤差を直接予測可能な制限等尺特性(RIP)条件に基づく誤差クラッピングを提案する。 また,異なる適応サンプリング段階から得られた情報を効率的に活用できる機能融合再構成ネットワークを提案する。
  論文  参考訳（メタデータ） (2022-03-21T07:50:24Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• Inception Convolution with Efficient Dilation Search [121.41030859447487]
  拡散畳み込みは、効果的な受容場を制御し、オブジェクトの大規模な分散を処理するための標準的な畳み込みニューラルネットワークの重要な変異体である。 そこで我々は,異なる軸,チャネル,層間の独立な拡散を有する拡張畳み込みの新たな変異体,すなわち開始(拡張)畳み込みを提案する。 本稿では,データに複雑なインセプション・コンボリューションを適合させる実用的な手法を探索し,統計的最適化に基づく簡易かつ効果的な拡張探索アルゴリズム(EDO)を開発した。
  論文  参考訳（メタデータ） (2020-12-25T14:58:35Z)
• Efficient Semantic Image Synthesis via Class-Adaptive Normalization [116.63715955932174]
  クラス適応正規化(CLADE)は、セマンティッククラスにのみ適応する軽量かつ等価なバリアントである。 セマンティクスレイアウトから計算したクラス内位置マップエンコーディングを導入し,cladeの正規化パラメータを変調する。 提案されたCLADEは異なるSPADEベースのメソッドに一般化し、SPADEと比較して同等の生成品質を達成できる。
  論文  参考訳（メタデータ） (2020-12-08T18:59:32Z)
• SASL: Saliency-Adaptive Sparsity Learning for Neural Network Acceleration [20.92912642901645]
  そこで本稿では、さらなる最適化のために、SASL(Saliency-Adaptive Sparsity Learning)アプローチを提案する。 ResNet-50 の 49.7% の FLOP を 0.39% のトップ-1 と 0.05% のトップ-5 の精度で削減できる。
  論文  参考訳（メタデータ） (2020-03-12T16:49:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。