Fugu-MT 論文翻訳(概要): Batch normalization does not improve initialization

論文の概要: Batch normalization does not improve initialization

arxiv url: http://arxiv.org/abs/2502.17913v1
Date: Tue, 25 Feb 2025 07:20:44 GMT
ステータス: 翻訳完了
システム内更新日: 2025-02-26 15:20:57.968679
Title: Batch normalization does not improve initialization
Title（参考訳）: バッチ正規化は初期化を改善しない
Authors: Joris Dannemann, Gero Junike,
Abstract要約: バッチ正規化はニューラルネットワークの最も重要な正規化手法の1つである。この主張が真ではないこと、すなわちバッチ正規化が改善しないことを示す反例を提供する。
参考スコア（独自算出の注目度）: 0.0
License:
Abstract: Batch normalization is one of the most important regularization techniques for neural networks, significantly improving training by centering the layers of the neural network. There have been several attempts to provide a theoretical justification for batch ormalization. Santurkar and Tsipras (2018) [How does batch normalization help optimization? Advances in neural information rocessing systems, 31] claim that batch normalization improves initialization. We provide a counterexample showing that this claim s not true, i.e., batch normalization does not improve initialization.
Abstract（参考訳）: バッチ正規化はニューラルネットワークの最も重要な正規化手法の1つであり、ニューラルネットワークの層を集中させることでトレーニングを大幅に改善する。バッチオーマライゼーションの理論的正当性を提供する試みはいくつかある。 Santurkar and Tsipras (2018) [バッチ正規化はどのように最適化に役立つか? ニューラル情報ロセスリングシステムの進歩、31] はバッチ正規化が初期化を改善すると主張している。この主張が真ではないこと、すなわちバッチ正規化が初期化を改善しないことを示す反例を提供する。

関連論文リスト

Exact, Tractable Gauss-Newton Optimization in Deep Reversible Architectures Reveal Poor Generalization [52.16435732772263]
多くのアプリケーションにおいて、ディープニューラルネットワークのトレーニングを加速する2階最適化が示されている。しかし、二階法の一般化特性についてはいまだ議論が続いている。我々は、Gauss-Newton (GN) の正確な更新が、ディープアーキテクチャのクラスにおいて、牽引可能な形式を取ることを初めて示す。
論文参考訳（メタデータ） (2024-11-12T17:58:40Z)
When Does Re-initialization Work? [50.70297319284022]
再初期化は、最近の研究における一般化を改善するために観察されている。ディープラーニングの実践では広く採用されておらず、最先端のトレーニングプロトコルでもよく使用されている。このことは、再初期化がいつ動作するのか、また、正規化技術と一緒に使うべきかという疑問を提起する。
論文参考訳（メタデータ） (2022-06-20T21:23:15Z)
Variance-Aware Weight Initialization for Point Convolutional Neural Networks [23.46612653627991]
連続的畳み込みの多さを統一する枠組みを提案する。このフレームワークは、類似性があり、場合によってはパフォーマンスが向上しながら、バッチの正規化を回避できることを示す。
論文参考訳（メタデータ） (2021-12-07T15:47:14Z)
Revisiting Batch Normalization [0.0]
バッチ正規化(BN)は、ディープニューラルネットワークのトレーニングに不可欠である。我々は、BNの定式化を再検討し、上記の問題に対処するために、BNの新しい方法と更新アプローチを提案する。提案手法をBNに変更した実験結果は,様々なシナリオにおいて統計的に有意な性能向上を示した。また、オンラインBNベースの入力データ正規化手法を提案し、他のオフラインや固定メソッドの必要性を軽減する。
論文参考訳（メタデータ） (2021-10-26T19:48:19Z)
Distribution Mismatch Correction for Improved Robustness in Deep Neural Networks [86.42889611784855]
正規化法はノイズや入力の腐敗に関して脆弱性を増大させる本稿では,各層の活性化分布に適応する非教師なし非パラメトリック分布補正法を提案する。実験により,提案手法は画像劣化の激しい影響を効果的に低減することを示した。
論文参考訳（メタデータ） (2021-10-05T11:36:25Z)
Comparing Normalization Methods for Limited Batch Size Segmentation Neural Networks [0.0]
バッチ正規化は、トレーニング中に大きなバッチサイズを使用して最もうまく機能する。限定バッチサイズニューラルネットワークトレーニング環境におけるインスタンス正規化の有効性を示す。また,本実験で使用したインスタンス正規化実装は,正規化手法を使わずにネットワークと比較した場合,計算時間を効率よくすることを示した。
論文参考訳（メタデータ） (2020-11-23T17:13:24Z)
Double Forward Propagation for Memorized Batch Normalization [68.34268180871416]
バッチ正規化(BN)は、ディープニューラルネットワーク(DNN)の設計における標準コンポーネントである。より正確でロバストな統計値を得るために,複数の最近のバッチを考慮に入れた記憶型バッチ正規化(MBN)を提案する。関連する手法と比較して、提案したMBNはトレーニングと推論の両方において一貫した振る舞いを示す。
論文参考訳（メタデータ） (2020-10-10T08:48:41Z)
Weight and Gradient Centralization in Deep Neural Networks [13.481518628796692]
バッチ正規化は現在、ディープニューラルネットワークにおいて最も広く使われている内部正規化の変種である。本研究では,これらの手法を組み合わせることにより,ネットワークの一般化が促進される。
論文参考訳（メタデータ） (2020-10-02T08:50:04Z)
Normalization Techniques in Training DNNs: Methodology, Analysis and Application [111.82265258916397]
ディープニューラルネットワーク(DNN)のトレーニングを加速し、一般化を改善するためには、正規化技術が不可欠である本稿では,トレーニングの文脈における正規化手法の過去,現在,未来に関するレビューとコメントを行う。
論文参考訳（メタデータ） (2020-09-27T13:06:52Z)
Training Deep Neural Networks Without Batch Normalization [4.266320191208303]
この研究はバッチ正規化を詳細に研究し、重量正規化、勾配クリッピング、ドロップアウトといった他の手法と比較する。この研究の主な目的は、トレーニングプロセスの適応によってバッチ正規化が除去された場合、ネットワークを効果的にトレーニングできるかどうかを判断することである。
論文参考訳（メタデータ） (2020-08-18T15:04:40Z)
Optimization Theory for ReLU Neural Networks Trained with Normalization Layers [82.61117235807606]
ディープニューラルネットワークの成功は、部分的には正規化レイヤの使用によるものだ。我々の分析は、正規化の導入がランドスケープをどのように変化させ、より高速なアクティベーションを実現するかを示している。
論文参考訳（メタデータ） (2020-06-11T23:55:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。