論文の概要: Delving into the Estimation Shift of Batch Normalization in a Network

• arxiv url: http://arxiv.org/abs/2203.10778v1
• Date: Mon, 21 Mar 2022 07:49:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-22 14:12:30.148824
• Title: Delving into the Estimation Shift of Batch Normalization in a Network
• Title（参考訳）: ネットワークにおけるバッチ正規化の推定シフトに関する研究
• Authors: Lei Huang, Yi Zhou, Tian Wang, Jie Luo and Xianglong Liu
• Abstract要約: バッチ正規化(BN)はディープラーニングにおけるマイルストーン技術である。 推定人口統計と予測人口との差を測定するため, BNの推定シフト等級を定義した。 我々は,残差型ネットワークのボトルネックブロックにおいて,あるBNをBFNに置き換えるXBNBlockを設計する。
• 参考スコア（独自算出の注目度）: 45.881500839016795
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Batch normalization (BN) is a milestone technique in deep learning. It normalizes the activation using mini-batch statistics during training but the estimated population statistics during inference. This paper focuses on investigating the estimation of population statistics. We define the estimation shift magnitude of BN to quantitatively measure the difference between its estimated population statistics and expected ones. Our primary observation is that the estimation shift can be accumulated due to the stack of BN in a network, which has detriment effects for the test performance. We further find a batch-free normalization (BFN) can block such an accumulation of estimation shift. These observations motivate our design of XBNBlock that replace one BN with BFN in the bottleneck block of residual-style networks. Experiments on the ImageNet and COCO benchmarks show that XBNBlock consistently improves the performance of different architectures, including ResNet and ResNeXt, by a significant margin and seems to be more robust to distribution shift.
• Abstract（参考訳）: バッチ正規化(BN)はディープラーニングにおけるマイルストーン技術である。 トレーニング中にミニバッチ統計を用いてアクティベーションを正規化するが、推測された人口統計は推測される。 本稿では,人口統計の推計に焦点をあてる。 推定人口統計と予測人口との差を定量的に測定するために,BNの推定シフトマグニチュードを定義した。 第一の観察は,ネットワーク内のBNの積み重なり,テスト性能に有害な影響があるため,推定シフトを蓄積できる点である。 さらに、バッチフリー正規化(BFN)は、そのような推定シフトの蓄積をブロックできる。 これらの観測は、残差型ネットワークのボトルネックブロックにおいて、あるBNをBFNに置き換えるXBNBlockの設計を動機付けている。 imagenetとcocoベンチマークの実験では、xbnblockは、resnetやresnextを含むさまざまなアーキテクチャのパフォーマンスを一貫して改善し、分散シフトに対してより堅牢であることを示している。

関連論文リスト

• Unified Batch Normalization: Identifying and Alleviating the Feature Condensation in Batch Normalization and a Unified Framework [55.22949690864962]
  バッチ正規化(BN)は、現代のニューラルネットワーク設計において欠かせない技術となっている。 UBN(Unified Batch Normalization)と呼ばれる2段階統合フレームワークを提案する。 UBNは異なる視覚バックボーンと異なる視覚タスクのパフォーマンスを大幅に向上させる。
  論文  参考訳（メタデータ） (2023-11-27T16:41:31Z)
• An Adaptive Batch Normalization in Deep Learning [0.0]
  バッチ正規化(BN)は、深層畳み込みニューラルネットワークのトレーニングを加速し、安定させる方法である。 本稿では、BNを必要とするデータとそれを必要としないデータを分離する、しきい値に基づく適応的なBNアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-03T12:12:56Z)
• Understanding the Failure of Batch Normalization for Transformers in NLP [16.476194435004732]
  バッチ正規化(BN)は、ディープニューラルネットワークのトレーニングを加速する技術である。 BNは、レイヤ正規化(LN)が支配する自然言語処理(NLP)において、その位置を守らない 正規化BN(RBN)はBNの性能を一貫して改善し、20設定中17設定でLNと同等または同等である。
  論文  参考訳（メタデータ） (2022-10-11T05:18:47Z)
• MimicNorm: Weight Mean and Last BN Layer Mimic the Dynamic of Batch Normalization [60.36100335878855]
  ネットワークトレーニングにおける収束と効率を改善するために,MimicNormという新しい正規化手法を提案する。 我々は、神経核(NTK)理論を利用して、我々の重み付けが活性化を弱め、BN層のようなカオス状態にネットワークを移行することを証明する。 MimicNormは、ResNetsやShuffleNetのような軽量ネットワークなど、さまざまなネットワーク構造に対して同様の精度を実現し、約20%のメモリ消費を削減している。
  論文  参考訳（メタデータ） (2020-10-19T07:42:41Z)
• Double Forward Propagation for Memorized Batch Normalization [68.34268180871416]
  バッチ正規化(BN)は、ディープニューラルネットワーク(DNN)の設計における標準コンポーネントである。 より正確でロバストな統計値を得るために,複数の最近のバッチを考慮に入れた記憶型バッチ正規化(MBN)を提案する。 関連する手法と比較して、提案したMBNはトレーニングと推論の両方において一貫した振る舞いを示す。
  論文  参考訳（メタデータ） (2020-10-10T08:48:41Z)
• PowerNorm: Rethinking Batch Normalization in Transformers [96.14956636022957]
  自然言語処理(NLP)におけるニューラルネットワーク(NN)モデルの正規化法は層正規化(LN)である LN は BN (naive/vanilla) の使用が NLP タスクの大幅な性能低下をもたらすという経験的観察により好まれる。 本稿では,この問題を解決する新しい正規化手法である電力正規化(PN)を提案する。
  論文  参考訳（メタデータ） (2020-03-17T17:50:26Z)
• Towards Stabilizing Batch Statistics in Backward Propagation of Batch Normalization [126.6252371899064]
  移動平均バッチ正規化(MABN)は,新しい正規化法である。 小バッチの場合,MABNはバニラBNの性能を完全に回復できることを示す。 実験では、ImageNetやCOCOを含む複数のコンピュータビジョンタスクにおけるMABNの有効性を実証した。
  論文  参考訳（メタデータ） (2020-01-19T14:41:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。