Fugu-MT 論文翻訳(概要): Sandwich Batch Normalization

論文の概要: Sandwich Batch Normalization

arxiv url: http://arxiv.org/abs/2102.11382v1
Date: Mon, 22 Feb 2021 22:09:43 GMT
ステータス: 処理完了
システム内更新日: 2021-02-25 01:39:58.707489
Title: Sandwich Batch Normalization
Title（参考訳）: サンドイッチバッチ正規化
Authors: Xinyu Gong, Wuyang Chen, Tianlong Chen and Zhangyang Wang
Abstract要約: 数行のコード変更しか行わないバッチ正規化(BN)の容易な改善であるSandwich Batch Normalization(SaBN)を提案する。我々のSaBNはBNアフィン層を1つのサンドイッチアフィン層に分解し、複数の平行な独立したアフィン層でカスケードする。 4つのタスクにおいて,SaBNがドロップイン代替として有効であることを示す。
参考スコア（独自算出の注目度）: 96.2529041037824
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We present Sandwich Batch Normalization (SaBN), an embarrassingly easy improvement of Batch Normalization (BN) with only a few lines of code changes. SaBN is motivated by addressing the inherent feature distribution heterogeneity that one can be identified in many tasks, which can arise from data heterogeneity (multiple input domains) or model heterogeneity (dynamic architectures, model conditioning, etc.). Our SaBN factorizes the BN affine layer into one shared sandwich affine layer, cascaded by several parallel independent affine layers. Concrete analysis reveals that, during optimization, SaBN promotes balanced gradient norms while still preserving diverse gradient directions: a property that many application tasks seem to favor. We demonstrate the prevailing effectiveness of SaBN as a drop-in replacement in four tasks: $\textbf{conditional image generation}$, $\textbf{neural architecture search}$ (NAS), $\textbf{adversarial training}$, and $\textbf{arbitrary style transfer}$. Leveraging SaBN immediately achieves better Inception Score and FID on CIFAR-10 and ImageNet conditional image generation with three state-of-the-art GANs; boosts the performance of a state-of-the-art weight-sharing NAS algorithm significantly on NAS-Bench-201; substantially improves the robust and standard accuracies for adversarial defense; and produces superior arbitrary stylized results. We also provide visualizations and analysis to help understand why SaBN works. Codes are available at https://github.com/VITA-Group/Sandwich-Batch-Normalization.
Abstract（参考訳）: 数行のコード変更しか行わない,恥ずかしいほど簡単なバッチ正規化(BN)の改善であるサンドウィッチバッチ正規化(SaBN)を提案する。 SaBNは、データ不均質性(複数の入力ドメイン)またはモデル不均質性(動的アーキテクチャ、モデルコンディショニングなど)から生じる可能性がある多くのタスクで識別できる固有の特徴分布の不均質性に対処することによって動機づけられる。我々のSaBNはBNアフィン層を1つのサンドイッチアフィン層に分解し、複数の平行な独立したアフィン層でカスケードする。具体的な分析によると、最適化中、SaBNはバランスの取れた勾配ノルムを促進しながら、様々な勾配の方向を保っている。私たちは、$\textbf{conditional image generation}$、$\textbf{neural architecture search}$(NAS)、$\textbf{adversarial training}$、$\textbf{arbitrary style transfer}$の4つのタスクにおいて、SaBNのドロップイン代替としての一般的な有効性を示す。 SaBNの活用により、CIFAR-10およびImageNetの3つの最先端のGANによる受信スコアとFIDがすぐに向上し、NAS-Bench-201で最先端の重量共有NASアルゴリズムのパフォーマンスが大幅に向上します。 SaBNが機能する理由を理解するために、視覚化と分析も提供しています。コードはhttps://github.com/VITA-Group/Sandwich-Batch-Normalizationで入手できる。

関連論文リスト

Which Frequencies do CNNs Need? Emergent Bottleneck Structure in Feature Learning [12.351756386062291]
本稿では,CNNにおけるConvolution Bottleneckの構造の出現について述べる。ボトルネック内に保持される周波数の数と種類を記述したCBNランクを定義した。パラメータノルムがほぼ最適である任意のネットワークは、両方の重みでCBN構造を示す。
論文参考訳（メタデータ） (2024-02-12T19:18:50Z)
Unified Batch Normalization: Identifying and Alleviating the Feature Condensation in Batch Normalization and a Unified Framework [55.22949690864962]
バッチ正規化(BN)は、現代のニューラルネットワーク設計において欠かせない技術となっている。 UBN(Unified Batch Normalization)と呼ばれる2段階統合フレームワークを提案する。 UBNは異なる視覚バックボーンと異なる視覚タスクのパフォーマンスを大幅に向上させる。
論文参考訳（メタデータ） (2023-11-27T16:41:31Z)
Patch-aware Batch Normalization for Improving Cross-domain Robustness [55.06956781674986]
クロスドメインタスクは、トレーニングセットとテストセットが異なるディストリビューションに従うと、モデルのパフォーマンスが低下する課題を示す。パッチ対応バッチ正規化(PBN)と呼ばれる新しい手法を提案する。画像の局所的なパッチの違いを利用して、提案したPBNはモデルパラメータの堅牢性を効果的に向上させることができる。
論文参考訳（メタデータ） (2023-04-06T03:25:42Z)
Diagnosing Batch Normalization in Class Incremental Learning [39.70552266952221]
バッチ正規化(BN)は中間特徴写像を標準化し、訓練安定性と収束性を改善するために広く検証されている。分類バイアスを排除しつつ,より優れた特徴抽出器を訓練することにより,この問題に対処するBN Tricksを提案する。 BN Tricksが採用されているすべてのベースラインに大幅なパフォーマンス向上をもたらすことを示す。
論文参考訳（メタデータ） (2022-02-16T12:38:43Z)
Rebalancing Batch Normalization for Exemplar-based Class-Incremental Learning [23.621259845287824]
バッチ正規化(BN)は、様々なコンピュータビジョンタスクにおけるニューラルネットに対して広く研究されている。我々はBNの新しい更新パッチを開発し、特にCIL(Exemplar-based class-incremental Learning)に特化している。
論文参考訳（メタデータ） (2022-01-29T11:03:03Z)
"BNN - BN = ?": Training Binary Neural Networks without Batch Normalization [92.23297927690149]
バッチ正規化(BN)は、最先端のバイナリニューラルネットワーク(BNN)に不可欠な重要なファシリテータである BNNのトレーニングに彼らのフレームワークを拡張し、BNNのトレーニングや推論体制からBNを除去できることを初めて実証します。
論文参考訳（メタデータ） (2021-04-16T16:46:57Z)
MimicNorm: Weight Mean and Last BN Layer Mimic the Dynamic of Batch Normalization [60.36100335878855]
ネットワークトレーニングにおける収束と効率を改善するために,MimicNormという新しい正規化手法を提案する。我々は、神経核(NTK)理論を利用して、我々の重み付けが活性化を弱め、BN層のようなカオス状態にネットワークを移行することを証明する。 MimicNormは、ResNetsやShuffleNetのような軽量ネットワークなど、さまざまなネットワーク構造に対して同様の精度を実現し、約20%のメモリ消費を削減している。
論文参考訳（メタデータ） (2020-10-19T07:42:41Z)
Towards Stabilizing Batch Statistics in Backward Propagation of Batch Normalization [126.6252371899064]
移動平均バッチ正規化(MABN)は,新しい正規化法である。小バッチの場合,MABNはバニラBNの性能を完全に回復できることを示す。実験では、ImageNetやCOCOを含む複数のコンピュータビジョンタスクにおけるMABNの有効性を実証した。
論文参考訳（メタデータ） (2020-01-19T14:41:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。