論文の概要: Spectral Batch Normalization: Normalization in the Frequency Domain
- arxiv url: http://arxiv.org/abs/2306.16999v1
- Date: Thu, 29 Jun 2023 14:59:43 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-30 12:59:47.815912
- Title: Spectral Batch Normalization: Normalization in the Frequency Domain
- Title（参考訳）: スペクトルバッチ正規化:周波数領域における正規化
- Authors: Rinor Cakaj, Jens Mehnert, Bin Yang
- Abstract要約: スペクトルバッチ正規化(SBN)は周波数領域における特徴写像の正規化による一般化を改善するための新しい有効な手法である。
実験では,SBNが開始時の特徴マップの爆発や,トレーニング中の大きな特徴マップ値を防止することを実証的に示す。
本稿では,標準正規化法に加えてSBNを用いることで,画像Net上のResNet50など,DNNの性能が0.71%向上することを示す。
- 参考スコア（独自算出の注目度）: 5.744133015573047
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Regularization is a set of techniques that are used to improve the
generalization ability of deep neural networks. In this paper, we introduce
spectral batch normalization (SBN), a novel effective method to improve
generalization by normalizing feature maps in the frequency (spectral) domain.
The activations of residual networks without batch normalization (BN) tend to
explode exponentially in the depth of the network at initialization. This leads
to extremely large feature map norms even though the parameters are relatively
small. These explosive dynamics can be very detrimental to learning. BN makes
weight decay regularization on the scaling factors $\gamma, \beta$
approximately equivalent to an additive penalty on the norm of the feature
maps, which prevents extremely large feature map norms to a certain degree.
However, we show experimentally that, despite the approximate additive penalty
of BN, feature maps in deep neural networks (DNNs) tend to explode at the
beginning of the network and that feature maps of DNNs contain large values
during the whole training. This phenomenon also occurs in a weakened form in
non-residual networks. SBN addresses large feature maps by normalizing them in
the frequency domain. In our experiments, we empirically show that SBN prevents
exploding feature maps at initialization and large feature map values during
the training. Moreover, the normalization of feature maps in the frequency
domain leads to more uniform distributed frequency components. This discourages
the DNNs to rely on single frequency components of feature maps. These,
together with other effects of SBN, have a regularizing effect on the training
of residual and non-residual networks. We show experimentally that using SBN in
addition to standard regularization methods improves the performance of DNNs by
a relevant margin, e.g. ResNet50 on ImageNet by 0.71%.
- Abstract（参考訳）: 正規化は、ディープニューラルネットワークの一般化能力を改善するために使用される一連のテクニックである。
本稿では,スペクトルバッチ正規化(sbn)という,周波数領域における特徴写像の正規化による一般化を改善する新しい手法を提案する。
バッチ正規化(BN)のない残留ネットワークの活性化は、初期化時にネットワークの深さで指数関数的に爆発する傾向がある。
これはパラメータが比較的小さいにもかかわらず、非常に大きな特徴マップノルムをもたらす。
これらの爆発力学は学習に非常に有害である。
BN は、スケーリング係数 $\gamma, \beta$ のウェイト崩壊正則化を特徴写像のノルム上の加法的ペナルティとほぼ同値とし、非常に大きな特徴写像ノルムを一定の程度に防ぐことができる。
しかし, BNの近似的な付加的ペナルティにもかかわらず, ディープニューラルネットワーク(DNN)の特徴マップはネットワークの開始時に爆発する傾向があり, トレーニング全体においてDNNの特徴マップは大きな値を持つことを示した。
この現象は、非レシデントネットワークにおいて弱められた形でも起こる。
SBNは周波数領域でそれらを正規化することで大きな特徴写像に対処する。
実験では,SBNが初期化時の特徴マップの爆発や,トレーニング中の大きな特徴マップ値を防止することを実証的に示す。
さらに、周波数領域における特徴写像の正規化は、より均一な分散周波数成分をもたらす。
これにより、DNNはフィーチャーマップの単一周波数コンポーネントに依存するのを妨げます。
これらはSBNの他の効果とともに、残留および非残留ネットワークのトレーニングに規則化効果を持つ。
本稿では,標準正規化法に加えてSBNを用いることで,画像Net上のResNet50など,DNNの性能が0.71%向上することを示す。
関連論文リスト
- Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。
よりスムーズな関数との補間により、より一般化できることを示す。
論文 参考訳（メタデータ） (2023-05-30T19:37:44Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳（メタデータ） (2023-03-06T18:59:13Z) - Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。
我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。
ニューラルネットの様々な特性をこの新しいカーネルで研究する。
論文 参考訳（メタデータ） (2023-01-01T02:11:39Z) - On generalization bounds for deep networks based on loss surface
implicit regularization [5.68558935178946]
現代のディープニューラルネットワークは、多くのパラメータにもかかわらずよく一般化されている。
現在のディープニューラルネットワークは、多くのパラメータが古典的な統計的学習理論と矛盾するにもかかわらず、よく一般化されている。
論文 参考訳（メタデータ） (2022-01-12T16:41:34Z) - Quantized convolutional neural networks through the lens of partial
differential equations [6.88204255655161]
畳み込みニューラルネットワーク(CNN)の量子化は、CNNの展開に伴う計算負担を軽減するための一般的なアプローチである。
本研究では、PDEに基づく視点と分析を用いて、量子化されたCNNを改善する方法について検討する。
論文 参考訳（メタデータ） (2021-08-31T22:18:52Z) - Demystifying Batch Normalization in ReLU Networks: Equivalent Convex
Optimization Models and Implicit Regularization [29.411334761836958]
BNを用いた重量減少正規化RELUネットワークの正確な凸表現を得るための解析フレームワークに基づく凸双対性を導入する。
解析により,高次元および/またはCIF化系における単純な閉形式式として最適層重みを求めることができることがわかった。
論文 参考訳（メタデータ） (2021-03-02T06:36:31Z) - BN-invariant sharpness regularizes the training model to better
generalization [72.97766238317081]
BN下等価ネットワークに対して一貫した値を与えるシャープネス測定法BN-Sharpnessを提案する。
我々はBNシャープネスを用いてトレーニングを正規化し、アルゴリズムを設計し、新しい正規化対象を最小化する。
論文 参考訳（メタデータ） (2021-01-08T10:23:24Z) - Explicit regularization and implicit bias in deep network classifiers
trained with the square loss [2.8935588665357077]
平方損失で訓練された深いReLUネットワークは分類の仕事でよく機能するために観察されました。
正規化法を重み決定法とともに用いる場合,絶対最小ノルムの解への収束が期待できることを示す。
論文 参考訳（メタデータ） (2020-12-31T21:07:56Z) - Optimization Theory for ReLU Neural Networks Trained with Normalization
Layers [82.61117235807606]
ディープニューラルネットワークの成功は、部分的には正規化レイヤの使用によるものだ。
我々の分析は、正規化の導入がランドスケープをどのように変化させ、より高速なアクティベーションを実現するかを示している。
論文 参考訳（メタデータ） (2020-06-11T23:55:54Z) - Beyond Dropout: Feature Map Distortion to Regularize Deep Neural
Networks [107.77595511218429]
本稿では,ディープニューラルネットワークの中間層に関連する実験的なRademacher複雑性について検討する。
上記の問題に対処するための特徴歪み法(Disout)を提案する。
より高い試験性能を有するディープニューラルネットワークを作製するための特徴写像歪みの優位性を解析し、実証した。
論文 参考訳（メタデータ） (2020-02-23T13:59:13Z) - How Does BN Increase Collapsed Neural Network Filters? [34.886702335022015]
フィルタ崩壊は、バッチ正規化(BN)と修正線形活性化関数(ReLU、Leaky ReLUなど)を持つディープニューラルネットワーク(DNN)でよく見られる。
本稿では, BN と同一の表現能力を持つポストシフト後の BN (psBN) を, トレーニング中に飽和した BN パラメータを再度トレーニングできる簡易かつ効果的な手法を提案する。
論文 参考訳（メタデータ） (2020-01-30T09:00:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。