論文の概要: Batch Layer Normalization, A new normalization layer for CNNs and RNN

• arxiv url: http://arxiv.org/abs/2209.08898v1
• Date: Mon, 19 Sep 2022 10:12:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-20 15:39:50.821374
• Title: Batch Layer Normalization, A new normalization layer for CNNs and RNN
• Title（参考訳）: バッチ層正規化 - CNNとRNNの新しい正規化レイヤ
• Authors: Amir Ziaee, Erion \c{C}ano
• Abstract要約: 本研究では, Batch Layer Normalization (BLN) と呼ばれる新しい正規化層を導入する。 バッチとレイヤの正規化の組み合わせとして、BLNはミニバッチの逆サイズに基づいて、最小バッチと特徴正規化を適切に重み付けする。 実験結果は,畳み込みニューラルネットワークと反復ニューラルネットワークの両方におけるBLNの適用ポテンシャルと,バッチ正規化および層正規化よりも高速な収束性を示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This study introduces a new normalization layer termed Batch Layer Normalization (BLN) to reduce the problem of internal covariate shift in deep neural network layers. As a combined version of batch and layer normalization, BLN adaptively puts appropriate weight on mini-batch and feature normalization based on the inverse size of mini-batches to normalize the input to a layer during the learning process. It also performs the exact computation with a minor change at inference times, using either mini-batch statistics or population statistics. The decision process to either use statistics of mini-batch or population gives BLN the ability to play a comprehensive role in the hyper-parameter optimization process of models. The key advantage of BLN is the support of the theoretical analysis of being independent of the input data, and its statistical configuration heavily depends on the task performed, the amount of training data, and the size of batches. Test results indicate the application potential of BLN and its faster convergence than batch normalization and layer normalization in both Convolutional and Recurrent Neural Networks. The code of the experiments is publicly available online (https://github.com/A2Amir/Batch-Layer-Normalization).
• Abstract（参考訳）: 本研究では,Batch Layer Normalization (BLN) と呼ばれる新しい正規化層を導入し,ディープニューラルネットワーク層の内部共変量シフトの問題を軽減する。 バッチ正規化とレイヤー正規化の組み合わせとして、blnはミニバッチの逆サイズに基づくミニバッチと特徴正規化を適応的に重み付け、学習プロセス中にレイヤへの入力を正規化する。 また、ミニバッチ統計または人口統計を用いて、推論時に小さな変化を伴う正確な計算を行う。 ミニバッチまたは人口統計を使用する決定プロセスは、BLNにモデルのハイパーパラメータ最適化プロセスにおいて包括的な役割を果たす能力を与える。 BLNの主な利点は、入力データから独立している理論解析のサポートであり、その統計構成は、実行されたタスク、トレーニングデータの量、バッチのサイズに大きく依存する。 実験結果は,畳み込みニューラルネットワークと反復ニューラルネットワークの両方におけるBLNの適用ポテンシャルと,バッチ正規化および層正規化よりも高速な収束性を示す。 実験のコードはオンラインで公開されている(https://github.com/A2Amir/Batch-Layer-Normalization)。

関連論文リスト

• Exploring the Efficacy of Group-Normalization in Deep Learning Models for Alzheimer's Disease Classification [2.6447365674762273]
  群正規化はバッチ正規化の代替となる。 GNはバッチ正規化と比較して非常に低い10.6%の誤差率を達成する。
  論文  参考訳（メタデータ） (2024-04-01T06:10:11Z)
• Context Normalization Layer with Applications [0.1499944454332829]
  本研究では,画像データに対する文脈正規化と呼ばれる新しい正規化手法を提案する。 各サンプルの特性に基づいて特徴のスケーリングを調整し、モデルの収束速度と性能を改善する。 文脈正規化の有効性は様々なデータセットで示され、その性能は他の標準正規化手法と比較される。
  論文  参考訳（メタデータ） (2023-03-14T06:38:17Z)
• Distribution Mismatch Correction for Improved Robustness in Deep Neural Networks [86.42889611784855]
  正規化法は ノイズや入力の腐敗に関して 脆弱性を増大させる 本稿では,各層の活性化分布に適応する非教師なし非パラメトリック分布補正法を提案する。 実験により,提案手法は画像劣化の激しい影響を効果的に低減することを示した。
  論文  参考訳（メタデータ） (2021-10-05T11:36:25Z)
• Comparing Normalization Methods for Limited Batch Size Segmentation Neural Networks [0.0]
  バッチ正規化は、トレーニング中に大きなバッチサイズを使用して最もうまく機能する。 限定バッチサイズニューラルネットワークトレーニング環境におけるインスタンス正規化の有効性を示す。 また,本実験で使用したインスタンス正規化実装は,正規化手法を使わずにネットワークと比較した場合,計算時間を効率よくすることを示した。
  論文  参考訳（メタデータ） (2020-11-23T17:13:24Z)
• MimicNorm: Weight Mean and Last BN Layer Mimic the Dynamic of Batch Normalization [60.36100335878855]
  ネットワークトレーニングにおける収束と効率を改善するために,MimicNormという新しい正規化手法を提案する。 我々は、神経核(NTK)理論を利用して、我々の重み付けが活性化を弱め、BN層のようなカオス状態にネットワークを移行することを証明する。 MimicNormは、ResNetsやShuffleNetのような軽量ネットワークなど、さまざまなネットワーク構造に対して同様の精度を実現し、約20%のメモリ消費を削減している。
  論文  参考訳（メタデータ） (2020-10-19T07:42:41Z)
• Double Forward Propagation for Memorized Batch Normalization [68.34268180871416]
  バッチ正規化(BN)は、ディープニューラルネットワーク(DNN)の設計における標準コンポーネントである。 より正確でロバストな統計値を得るために,複数の最近のバッチを考慮に入れた記憶型バッチ正規化(MBN)を提案する。 関連する手法と比較して、提案したMBNはトレーニングと推論の両方において一貫した振る舞いを示す。
  論文  参考訳（メタデータ） (2020-10-10T08:48:41Z)
• Correct Normalization Matters: Understanding the Effect of Normalization On Deep Neural Network Models For Click-Through Rate Prediction [3.201333208812837]
  本研究では,LayerNormをベースとした新しい効果的な正規化手法を提案する。 正規化の分散が主な役割を担い、本研究に説明を与える。
  論文  参考訳（メタデータ） (2020-06-23T04:35:22Z)
• PowerNorm: Rethinking Batch Normalization in Transformers [96.14956636022957]
  自然言語処理(NLP)におけるニューラルネットワーク(NN)モデルの正規化法は層正規化(LN)である LN は BN (naive/vanilla) の使用が NLP タスクの大幅な性能低下をもたらすという経験的観察により好まれる。 本稿では,この問題を解決する新しい正規化手法である電力正規化(PN)を提案する。
  論文  参考訳（メタデータ） (2020-03-17T17:50:26Z)
• Cross-Iteration Batch Normalization [67.83430009388678]
  本稿では,CBN(Cross-It Batch Normalization)を提案する。 CBNは、提案した補償手法を使わずに、元のバッチ正規化と過去の繰り返しの統計の直接計算より優れていた。
  論文  参考訳（メタデータ） (2020-02-13T18:52:57Z)
• Towards Stabilizing Batch Statistics in Backward Propagation of Batch Normalization [126.6252371899064]
  移動平均バッチ正規化(MABN)は,新しい正規化法である。 小バッチの場合,MABNはバニラBNの性能を完全に回復できることを示す。 実験では、ImageNetやCOCOを含む複数のコンピュータビジョンタスクにおけるMABNの有効性を実証した。
  論文  参考訳（メタデータ） (2020-01-19T14:41:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。