論文の概要: Stochastic Whitening Batch Normalization

• arxiv url: http://arxiv.org/abs/2106.04413v1
• Date: Thu, 3 Jun 2021 20:45:42 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-15 12:49:21.681171
• Title: Stochastic Whitening Batch Normalization
• Title（参考訳）: 確率的ホワイトニングバッチ正規化
• Authors: Shengdong Zhang, Ehsan Nezhadarya, Homa Fashandi, Jiayi Liu, Darin Graham, Mohak Shah
• Abstract要約: バッチ正規化(BN)はディープニューラルネットワーク(DNN)をトレーニングするための一般的なテクニックである 最近提案された反復正規化法 (IterNorm) はニュートン法を用いて活性化を反復的に白くすることでこれらの特性を改善する。 SWBNは収束率と一般化を改善するが、計算オーバーヘッドはIterNormよりも小さいことを示す。
• 参考スコア（独自算出の注目度）: 9.514475896906605
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Batch Normalization (BN) is a popular technique for training Deep Neural Networks (DNNs). BN uses scaling and shifting to normalize activations of mini-batches to accelerate convergence and improve generalization. The recently proposed Iterative Normalization (IterNorm) method improves these properties by whitening the activations iteratively using Newton's method. However, since Newton's method initializes the whitening matrix independently at each training step, no information is shared between consecutive steps. In this work, instead of exact computation of whitening matrix at each time step, we estimate it gradually during training in an online fashion, using our proposed Stochastic Whitening Batch Normalization (SWBN) algorithm. We show that while SWBN improves the convergence rate and generalization of DNNs, its computational overhead is less than that of IterNorm. Due to the high efficiency of the proposed method, it can be easily employed in most DNN architectures with a large number of layers. We provide comprehensive experiments and comparisons between BN, IterNorm, and SWBN layers to demonstrate the effectiveness of the proposed technique in conventional (many-shot) image classification and few-shot classification tasks.
• Abstract（参考訳）: バッチ正規化(BN)はディープニューラルネットワーク(DNN)をトレーニングするための一般的なテクニックである。 BNはスケーリングとシフトを使用してミニバッチの活性化を正規化し、収束を加速し、一般化を改善する。 最近提案された反復正規化(IterNorm)法はニュートン法を用いて活性化を反復的に白くすることでこれらの特性を改善する。 しかし、ニュートンの手法はトレーニングの各ステップごとにホワイトニング行列を独立に初期化するため、連続するステップ間で情報は共有されない。 本研究では,提案する確率的ホワイトニングバッチ正規化(swbn)アルゴリズムを用いて,各時間ステップにおけるホワイトニング行列の正確な計算ではなく,オンライントレーニング中に徐々に推定する手法を提案する。 SWBN は DNN の収束率と一般化を改善するが,その計算オーバーヘッドは IterNorm よりも小さい。 提案手法の高効率化により,多数のレイヤを持つほとんどのDNNアーキテクチャで容易に利用することができる。 提案手法の有効性を示すため,BN層, IterNorm層, SWBN層の比較実験を行った。

関連論文リスト

• AskewSGD : An Annealed interval-constrained Optimisation method to train Quantized Neural Networks [12.229154524476405]
  我々は、深層ニューラルネットワーク(DNN)を量子化重みでトレーニングするための新しいアルゴリズム、Annealed Skewed SGD - AskewSGDを開発した。 アクティブなセットと実行可能な方向を持つアルゴリズムとは異なり、AskewSGDは実行可能な全セットの下でのプロジェクションや最適化を避けている。 実験結果から,AskewSGDアルゴリズムは古典的ベンチマークの手法と同等以上の性能を示した。
  論文  参考訳（メタデータ） (2022-11-07T18:13:44Z)
• Revisiting Batch Normalization [0.0]
  バッチ正規化(BN)は、ディープニューラルネットワークのトレーニングに不可欠である。 我々は、BNの定式化を再検討し、上記の問題に対処するために、BNの新しい方法と更新アプローチを提案する。 提案手法をBNに変更した実験結果は,様々なシナリオにおいて統計的に有意な性能向上を示した。 また、オンラインBNベースの入力データ正規化手法を提案し、他のオフラインや固定メソッドの必要性を軽減する。
  論文  参考訳（メタデータ） (2021-10-26T19:48:19Z)
• Batch Normalization Preconditioning for Neural Network Training [7.709342743709842]
  バッチ正規化(BN)は、ディープラーニングにおいて一般的でユビキタスな手法である。 BNは、非常に小さなミニバッチサイズやオンライン学習での使用には適していない。 BNP(Batch Normalization Preconditioning)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-08-02T18:17:26Z)
• BN-invariant sharpness regularizes the training model to better generalization [72.97766238317081]
  BN下等価ネットワークに対して一貫した値を与えるシャープネス測定法BN-Sharpnessを提案する。 我々はBNシャープネスを用いてトレーニングを正規化し、アルゴリズムを設計し、新しい正規化対象を最小化する。
  論文  参考訳（メタデータ） (2021-01-08T10:23:24Z)
• MimicNorm: Weight Mean and Last BN Layer Mimic the Dynamic of Batch Normalization [60.36100335878855]
  ネットワークトレーニングにおける収束と効率を改善するために,MimicNormという新しい正規化手法を提案する。 我々は、神経核(NTK)理論を利用して、我々の重み付けが活性化を弱め、BN層のようなカオス状態にネットワークを移行することを証明する。 MimicNormは、ResNetsやShuffleNetのような軽量ネットワークなど、さまざまなネットワーク構造に対して同様の精度を実現し、約20%のメモリ消費を削減している。
  論文  参考訳（メタデータ） (2020-10-19T07:42:41Z)
• Double Forward Propagation for Memorized Batch Normalization [68.34268180871416]
  バッチ正規化(BN)は、ディープニューラルネットワーク(DNN)の設計における標準コンポーネントである。 より正確でロバストな統計値を得るために,複数の最近のバッチを考慮に入れた記憶型バッチ正規化(MBN)を提案する。 関連する手法と比較して、提案したMBNはトレーニングと推論の両方において一貫した振る舞いを示す。
  論文  参考訳（メタデータ） (2020-10-10T08:48:41Z)
• Learning Low-rank Deep Neural Networks via Singular Vector Orthogonality Regularization and Singular Value Sparsification [53.50708351813565]
  各ステップにSVDを適用することなく、トレーニング中に低ランクDNNを明示的に達成する最初の方法であるSVDトレーニングを提案する。 SVDトレーニングがDNN層のランクを著しく低減し,同じ精度で計算負荷の低減を実現することを実証的に示す。
  論文  参考訳（メタデータ） (2020-04-20T02:40:43Z)
• PowerNorm: Rethinking Batch Normalization in Transformers [96.14956636022957]
  自然言語処理(NLP)におけるニューラルネットワーク(NN)モデルの正規化法は層正規化(LN)である LN は BN (naive/vanilla) の使用が NLP タスクの大幅な性能低下をもたらすという経験的観察により好まれる。 本稿では,この問題を解決する新しい正規化手法である電力正規化(PN)を提案する。
  論文  参考訳（メタデータ） (2020-03-17T17:50:26Z)
• Towards Stabilizing Batch Statistics in Backward Propagation of Batch Normalization [126.6252371899064]
  移動平均バッチ正規化(MABN)は,新しい正規化法である。 小バッチの場合,MABNはバニラBNの性能を完全に回復できることを示す。 実験では、ImageNetやCOCOを含む複数のコンピュータビジョンタスクにおけるMABNの有効性を実証した。
  論文  参考訳（メタデータ） (2020-01-19T14:41:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。