Fugu-MT 論文翻訳(概要): Extended Batch Normalization

論文の概要: Extended Batch Normalization

arxiv url: http://arxiv.org/abs/2003.05569v1
Date: Thu, 12 Mar 2020 01:53:15 GMT
ステータス: 処理完了
システム内更新日: 2022-12-24 14:59:36.303496
Title: Extended Batch Normalization
Title（参考訳）: 拡張バッチ正規化
Authors: Chunjie Luo, Jianfeng Zhan, Lei Wang, Wanling Gao
Abstract要約: バッチ正規化(BN)は、現代のディープネットワークをトレーニングするための標準技術となっている。本稿では,拡張バッチ正規化(EBN)と呼ばれる,単純だが効果的な手法を提案する。実験により,バッチ正規化の拡張は,バッチサイズが小さい場合のバッチ正規化の問題を軽減するとともに,バッチサイズが大きい場合のバッチ正規化に対するクローズな性能を実現する。
参考スコア（独自算出の注目度）: 3.377000738091241
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Batch normalization (BN) has become a standard technique for training the modern deep networks. However, its effectiveness diminishes when the batch size becomes smaller, since the batch statistics estimation becomes inaccurate. That hinders batch normalization's usage for 1) training larger model which requires small batches constrained by memory consumption, 2) training on mobile or embedded devices of which the memory resource is limited. In this paper, we propose a simple but effective method, called extended batch normalization (EBN). For NCHW format feature maps, extended batch normalization computes the mean along the (N, H, W) dimensions, as the same as batch normalization, to maintain the advantage of batch normalization. To alleviate the problem caused by small batch size, extended batch normalization computes the standard deviation along the (N, C, H, W) dimensions, thus enlarges the number of samples from which the standard deviation is computed. We compare extended batch normalization with batch normalization and group normalization on the datasets of MNIST, CIFAR-10/100, STL-10, and ImageNet, respectively. The experiments show that extended batch normalization alleviates the problem of batch normalization with small batch size while achieving close performances to batch normalization with large batch size.
Abstract（参考訳）: バッチ正規化(bn)は、現代のディープネットワークのトレーニングの標準技術となっている。しかし、バッチ統計量の推定が不正確になるため、バッチサイズが小さくなると効果が低下する。これはバッチ正規化の使用を妨げる 1)メモリ消費に制約のある小さなバッチを必要とするより大きなモデルをトレーニングする。 2) メモリリソースが制限されたモバイルまたは組み込みデバイス上でのトレーニング。本稿では,拡張バッチ正規化(EBN)と呼ばれるシンプルだが効果的な手法を提案する。 NCHWフォーマットの特徴写像では、拡張バッチ正規化は(N, H, W)次元に沿った平均をバッチ正規化と同様に計算し、バッチ正規化の利点を維持する。バッチサイズを小さくすることで生じる問題を緩和するため、拡張バッチ正規化は(N, C, H, W)次元に沿った標準偏差を計算し、標準偏差を計算するサンプル数を拡大する。 MNIST, CIFAR-10/100, STL-10, ImageNetのデータセットのバッチ正規化とグループ正規化を比較した。実験により,拡張バッチ正規化はバッチサイズが小さいバッチ正規化の問題を軽減すると同時に,バッチサイズが大きいバッチ正規化に近い性能を実現することを示した。

関連論文リスト

Exploring the Efficacy of Group-Normalization in Deep Learning Models for Alzheimer's Disease Classification [2.6447365674762273]
群正規化はバッチ正規化の代替となる。 GNはバッチ正規化と比較して非常に低い10.6%の誤差率を達成する。
論文参考訳（メタデータ） (2024-04-01T06:10:11Z)
BCN: Batch Channel Normalization for Image Classification [13.262032378453073]
本稿では,Batch Channel Normalization (BCN) と呼ばれる新しい正規化手法を提案する。基本的なブロックとして、BCNはコンピュータビジョンの分野で様々な用途のために既存のモデルに容易に統合できる。
論文参考訳（メタデータ） (2023-12-01T14:01:48Z)
The Implicit Bias of Batch Normalization in Linear Models and Two-layer Linear Convolutional Neural Networks [117.93273337740442]
勾配勾配勾配は、exp(-Omega(log2 t))$収束率でトレーニングデータ上の一様マージン分類器に収束することを示す。また、バッチ正規化はパッチワイドの均一なマージンに対して暗黙の偏りを持つことを示す。
論文参考訳（メタデータ） (2023-06-20T16:58:00Z)
Batch Layer Normalization, A new normalization layer for CNNs and RNN [0.0]
本研究では, Batch Layer Normalization (BLN) と呼ばれる新しい正規化層を導入する。バッチとレイヤの正規化の組み合わせとして、BLNはミニバッチの逆サイズに基づいて、最小バッチと特徴正規化を適切に重み付けする。実験結果は,畳み込みニューラルネットワークと反復ニューラルネットワークの両方におけるBLNの適用ポテンシャルと,バッチ正規化および層正規化よりも高速な収束性を示す。
論文参考訳（メタデータ） (2022-09-19T10:12:51Z)
On Batch Normalisation for Approximate Bayesian Inference [102.94525205971873]
バッチ正規化は証拠の下限(ELBO)の最適性に影響しないことを示す。また,モンテカルロバッチ正規化(MCBN)アルゴリズムについても検討し,MCDropoutと平行な近似推論手法を提案する。
論文参考訳（メタデータ） (2020-12-24T12:40:11Z)
Batch Group Normalization [45.03388237812212]
バッチ正規化(BN)は中規模および大規模なバッチサイズでよく機能する。 BNは、ノイズ/畳み込み統計計算により、小さな/非常に大きなバッチサイズで飽和する。 BGN は小・極大バッチサイズでの BN の雑音/畳み込み統計計算を解くために提案される。
論文参考訳（メタデータ） (2020-12-04T18:57:52Z)
Double Forward Propagation for Memorized Batch Normalization [68.34268180871416]
バッチ正規化(BN)は、ディープニューラルネットワーク(DNN)の設計における標準コンポーネントである。より正確でロバストな統計値を得るために,複数の最近のバッチを考慮に入れた記憶型バッチ正規化(MBN)を提案する。関連する手法と比較して、提案したMBNはトレーニングと推論の両方において一貫した振る舞いを示す。
論文参考訳（メタデータ） (2020-10-10T08:48:41Z)
Cross-Iteration Batch Normalization [67.83430009388678]
本稿では,CBN(Cross-It Batch Normalization)を提案する。 CBNは、提案した補償手法を使わずに、元のバッチ正規化と過去の繰り返しの統計の直接計算より優れていた。
論文参考訳（メタデータ） (2020-02-13T18:52:57Z)
Towards Stabilizing Batch Statistics in Backward Propagation of Batch Normalization [126.6252371899064]
移動平均バッチ正規化(MABN)は,新しい正規化法である。小バッチの場合,MABNはバニラBNの性能を完全に回復できることを示す。実験では、ImageNetやCOCOを含む複数のコンピュータビジョンタスクにおけるMABNの有効性を実証した。
論文参考訳（メタデータ） (2020-01-19T14:41:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。