論文の概要: Theroretical Insight into Batch Normalization: Data Dependant
Auto-Tuning of Regularization Rate
- arxiv url: http://arxiv.org/abs/2209.07587v1
- Date: Thu, 15 Sep 2022 19:51:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-19 11:56:48.986022
- Title: Theroretical Insight into Batch Normalization: Data Dependant
Auto-Tuning of Regularization Rate
- Title（参考訳）: バッチ正規化に関するtheroretical insight: 正規化率の自動チューニングデータ依存性
- Authors: Lakshmi Annamalai and Chetan Singh Thakur
- Abstract要約: バッチ正規化は、中間活性化を正規化するためにディープラーニングで広く使われている。
本稿では,解析的証明を伴うtextbfBN による正規化パラメータの自動チューニングを提案する。
- 参考スコア（独自算出の注目度）: 1.6447597767676658
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Batch normalization is widely used in deep learning to normalize intermediate
activations. Deep networks suffer from notoriously increased training
complexity, mandating careful initialization of weights, requiring lower
learning rates, etc. These issues have been addressed by Batch Normalization
(\textbf{BN}), by normalizing the inputs of activations to zero mean and unit
standard deviation. Making this batch normalization part of the training
process dramatically accelerates the training process of very deep networks. A
new field of research has been going on to examine the exact theoretical
explanation behind the success of \textbf{BN}. Most of these theoretical
insights attempt to explain the benefits of \textbf{BN} by placing them on its
influence on optimization, weight scale invariance, and regularization. Despite
\textbf{BN} undeniable success in accelerating generalization, the gap of
analytically relating the effect of \textbf{BN} to the regularization parameter
is still missing. This paper aims to bring out the data-dependent auto-tuning
of the regularization parameter by \textbf{BN} with analytical proofs. We have
posed \textbf{BN} as a constrained optimization imposed on non-\textbf{BN}
weights through which we demonstrate its data statistics dependant auto-tuning
of regularization parameter. We have also given analytical proof for its
behavior under a noisy input scenario, which reveals the signal vs. noise
tuning of the regularization parameter. We have also substantiated our claim
with empirical results from the MNIST dataset experiments.
- Abstract（参考訳）: バッチ正規化はディープラーニングにおいて、中間アクティベーションの正規化に広く使われている。
ディープネットワークはトレーニングの複雑さが高まり、重みの注意深い初期化、学習率の低下などに悩まされている。
これらの問題は、アクティベーションの入力をゼロ平均と単位標準偏差に正規化することで、バッチ正規化(\textbf{BN})によって解決されている。
このバッチ正規化をトレーニングプロセスの一部にすることで、非常に深いネットワークのトレーニングプロセスを劇的に加速する。
新しい研究分野は、 \textbf{BN} の成功の裏にある正確な理論的な説明を調べるために進んでいる。
これらの理論的な洞察のほとんどは、最適化、重みスケール不変性、正規化にその影響を置くことによって、 \textbf{bn} の利点を説明しようとするものである。
一般化を加速する上での\textbf{bn} の成功にもかかわらず、正規化パラメータに対する \textbf{bn} の効果を解析的に関連付けるギャップは依然として欠けている。
本稿では,解析的証明を伴うtextbf{BN} による正規化パラメータの自動チューニングを実現することを目的とする。
我々は、正規化パラメータのオートチューニングに依存するデータ統計を実証するため、非\textbf{BN}重み付けに課される制約付き最適化として \textbf{BN} を提唱した。
また, 信号と正規化パラメータのノイズチューニングの関係を明らかにする, 雑音入力条件下での挙動を解析的に証明した。
また,mnistデータセット実験の結果から,我々の主張を実証的に裏付けた。
関連論文リスト
- Sparse is Enough in Fine-tuning Pre-trained Large Language Models [98.46493578509039]
我々はSparse Increment Fine-Tuning (SIFT) という勾配に基づくスパース微調整アルゴリズムを提案する。
GLUE Benchmark や Instruction-tuning などのタスクで有効性を検証する。
論文 参考訳（メタデータ） (2023-12-19T06:06:30Z) - Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。
よりスムーズな関数との補間により、より一般化できることを示す。
論文 参考訳（メタデータ） (2023-05-30T19:37:44Z) - An Adaptive Batch Normalization in Deep Learning [0.0]
バッチ正規化(BN)は、深層畳み込みニューラルネットワークのトレーニングを加速し、安定させる方法である。
本稿では、BNを必要とするデータとそれを必要としないデータを分離する、しきい値に基づく適応的なBNアプローチを提案する。
論文 参考訳（メタデータ） (2022-11-03T12:12:56Z) - Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。
データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。
ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
論文 参考訳（メタデータ） (2022-11-02T16:39:42Z) - Revisiting Batch Normalization [0.0]
バッチ正規化(BN)は、ディープニューラルネットワークのトレーニングに不可欠である。
我々は、BNの定式化を再検討し、上記の問題に対処するために、BNの新しい方法と更新アプローチを提案する。
提案手法をBNに変更した実験結果は,様々なシナリオにおいて統計的に有意な性能向上を示した。
また、オンラインBNベースの入力データ正規化手法を提案し、他のオフラインや固定メソッドの必要性を軽減する。
論文 参考訳（メタデータ） (2021-10-26T19:48:19Z) - Double Forward Propagation for Memorized Batch Normalization [68.34268180871416]
バッチ正規化(BN)は、ディープニューラルネットワーク(DNN)の設計における標準コンポーネントである。
より正確でロバストな統計値を得るために,複数の最近のバッチを考慮に入れた記憶型バッチ正規化(MBN)を提案する。
関連する手法と比較して、提案したMBNはトレーニングと推論の両方において一貫した振る舞いを示す。
論文 参考訳（メタデータ） (2020-10-10T08:48:41Z) - PowerNorm: Rethinking Batch Normalization in Transformers [96.14956636022957]
自然言語処理(NLP)におけるニューラルネットワーク(NN)モデルの正規化法は層正規化(LN)である
LN は BN (naive/vanilla) の使用が NLP タスクの大幅な性能低下をもたらすという経験的観察により好まれる。
本稿では,この問題を解決する新しい正規化手法である電力正規化(PN)を提案する。
論文 参考訳（メタデータ） (2020-03-17T17:50:26Z) - Towards Stabilizing Batch Statistics in Backward Propagation of Batch
Normalization [126.6252371899064]
移動平均バッチ正規化(MABN)は,新しい正規化法である。
小バッチの場合,MABNはバニラBNの性能を完全に回復できることを示す。
実験では、ImageNetやCOCOを含む複数のコンピュータビジョンタスクにおけるMABNの有効性を実証した。
論文 参考訳（メタデータ） (2020-01-19T14:41:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。