論文の概要: Double Forward Propagation for Memorized Batch Normalization

• arxiv url: http://arxiv.org/abs/2010.04947v1
• Date: Sat, 10 Oct 2020 08:48:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-08 22:44:42.492199
• Title: Double Forward Propagation for Memorized Batch Normalization
• Title（参考訳）: 記憶されたバッチ正規化のためのダブルフォワード伝播
• Authors: Yong Guo, Qingyao Wu, Chaorui Deng, Jian Chen, Mingkui Tan
• Abstract要約: バッチ正規化(BN)は、ディープニューラルネットワーク(DNN)の設計における標準コンポーネントである。 より正確でロバストな統計値を得るために,複数の最近のバッチを考慮に入れた記憶型バッチ正規化(MBN)を提案する。 関連する手法と比較して、提案したMBNはトレーニングと推論の両方において一貫した振る舞いを示す。
• 参考スコア（独自算出の注目度）: 68.34268180871416
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Batch Normalization (BN) has been a standard component in designing deep neural networks (DNNs). Although the standard BN can significantly accelerate the training of DNNs and improve the generalization performance, it has several underlying limitations which may hamper the performance in both training and inference. In the training stage, BN relies on estimating the mean and variance of data using a single minibatch. Consequently, BN can be unstable when the batch size is very small or the data is poorly sampled. In the inference stage, BN often uses the so called moving mean and moving variance instead of batch statistics, i.e., the training and inference rules in BN are not consistent. Regarding these issues, we propose a memorized batch normalization (MBN), which considers multiple recent batches to obtain more accurate and robust statistics. Note that after the SGD update for each batch, the model parameters will change, and the features will change accordingly, leading to the Distribution Shift before and after the update for the considered batch. To alleviate this issue, we present a simple Double-Forward scheme in MBN which can further improve the performance. Compared to related methods, the proposed MBN exhibits consistent behaviors in both training and inference. Empirical results show that the MBN based models trained with the Double-Forward scheme greatly reduce the sensitivity of data and significantly improve the generalization performance.
• Abstract（参考訳）: バッチ正規化(BN)はディープニューラルネットワーク(DNN)の設計における標準コンポーネントである。 標準BNは、DNNのトレーニングを著しく加速し、一般化性能を向上させるが、トレーニングと推論の両方のパフォーマンスを阻害するいくつかの基本的な制限がある。 トレーニング段階では、BNは単一のミニバッチを用いてデータの平均と分散を推定する。 これにより、バッチサイズが非常に小さい場合やデータのサンプリングが不十分な場合にはBNを不安定にすることができる。 推論の段階では、BNはバッチ統計ではなく、移動平均と移動分散(英語版)と呼ばれるものを用いることが多い。 これらの問題に関して,より正確でロバストな統計値を得るために,最近の複数のバッチを考慮に入れた記憶型バッチ正規化(MBN)を提案する。 各バッチのsgdアップデートの後に、モデルパラメータが変更され、それに応じて機能が変更され、考慮されたバッチの更新前後の配布シフトが発生することに注意してください。 この問題を軽減するため,我々は,mbnにおける簡易なダブルフォワードスキームを提案する。 関連する手法と比較して、提案したMBNはトレーニングと推論の両方において一貫した振る舞いを示す。 実験の結果, ダブルフォワード方式で学習したmbnモデルでは, データの感度が大幅に低下し, 一般化性能が大幅に向上した。

関連論文リスト

• Unified Batch Normalization: Identifying and Alleviating the Feature Condensation in Batch Normalization and a Unified Framework [55.22949690864962]
  バッチ正規化(BN)は、現代のニューラルネットワーク設計において欠かせない技術となっている。 UBN(Unified Batch Normalization)と呼ばれる2段階統合フレームワークを提案する。 UBNは異なる視覚バックボーンと異なる視覚タスクのパフォーマンスを大幅に向上させる。
  論文  参考訳（メタデータ） (2023-11-27T16:41:31Z)
• Overcoming Recency Bias of Normalization Statistics in Continual Learning: Balance and Adaptation [67.77048565738728]
  継続的な学習には、一連のタスクを学習し、彼らの知識を適切にバランスさせることが含まれる。 本稿では,タスク・ワイド・コントリビューションに適応するためのベイズ的戦略を適切に取り入れた BN の適応バランス (AdaB$2$N) を提案する。 提案手法は,幅広いベンチマークにおいて,大幅な性能向上を実現している。
  論文  参考訳（メタデータ） (2023-10-13T04:50:40Z)
• An Adaptive Batch Normalization in Deep Learning [0.0]
  バッチ正規化(BN)は、深層畳み込みニューラルネットワークのトレーニングを加速し、安定させる方法である。 本稿では、BNを必要とするデータとそれを必要としないデータを分離する、しきい値に基づく適応的なBNアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-03T12:12:56Z)
• Understanding the Failure of Batch Normalization for Transformers in NLP [16.476194435004732]
  バッチ正規化(BN)は、ディープニューラルネットワークのトレーニングを加速する技術である。 BNは、レイヤ正規化(LN)が支配する自然言語処理(NLP)において、その位置を守らない 正規化BN(RBN)はBNの性能を一貫して改善し、20設定中17設定でLNと同等または同等である。
  論文  参考訳（メタデータ） (2022-10-11T05:18:47Z)
• Rebalancing Batch Normalization for Exemplar-based Class-Incremental Learning [23.621259845287824]
  バッチ正規化(BN)は、様々なコンピュータビジョンタスクにおけるニューラルネットに対して広く研究されている。 我々はBNの新しい更新パッチを開発し、特にCIL(Exemplar-based class-incremental Learning)に特化している。
  論文  参考訳（メタデータ） (2022-01-29T11:03:03Z)
• Revisiting Batch Normalization [0.0]
  バッチ正規化(BN)は、ディープニューラルネットワークのトレーニングに不可欠である。 我々は、BNの定式化を再検討し、上記の問題に対処するために、BNの新しい方法と更新アプローチを提案する。 提案手法をBNに変更した実験結果は,様々なシナリオにおいて統計的に有意な性能向上を示した。 また、オンラインBNベースの入力データ正規化手法を提案し、他のオフラインや固定メソッドの必要性を軽減する。
  論文  参考訳（メタデータ） (2021-10-26T19:48:19Z)
• MimicNorm: Weight Mean and Last BN Layer Mimic the Dynamic of Batch Normalization [60.36100335878855]
  ネットワークトレーニングにおける収束と効率を改善するために,MimicNormという新しい正規化手法を提案する。 我々は、神経核(NTK)理論を利用して、我々の重み付けが活性化を弱め、BN層のようなカオス状態にネットワークを移行することを証明する。 MimicNormは、ResNetsやShuffleNetのような軽量ネットワークなど、さまざまなネットワーク構造に対して同様の精度を実現し、約20%のメモリ消費を削減している。
  論文  参考訳（メタデータ） (2020-10-19T07:42:41Z)
• PowerNorm: Rethinking Batch Normalization in Transformers [96.14956636022957]
  自然言語処理(NLP)におけるニューラルネットワーク(NN)モデルの正規化法は層正規化(LN)である LN は BN (naive/vanilla) の使用が NLP タスクの大幅な性能低下をもたらすという経験的観察により好まれる。 本稿では,この問題を解決する新しい正規化手法である電力正規化(PN)を提案する。
  論文  参考訳（メタデータ） (2020-03-17T17:50:26Z)
• Towards Stabilizing Batch Statistics in Backward Propagation of Batch Normalization [126.6252371899064]
  移動平均バッチ正規化(MABN)は,新しい正規化法である。 小バッチの場合,MABNはバニラBNの性能を完全に回復できることを示す。 実験では、ImageNetやCOCOを含む複数のコンピュータビジョンタスクにおけるMABNの有効性を実証した。
  論文  参考訳（メタデータ） (2020-01-19T14:41:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。