論文の概要: Cross-Iteration Batch Normalization

• arxiv url: http://arxiv.org/abs/2002.05712v3
• Date: Thu, 25 Mar 2021 06:57:36 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-01 09:33:32.633267
• Title: Cross-Iteration Batch Normalization
• Title（参考訳）: クロスイテレーションバッチ正規化
• Authors: Zhuliang Yao, Yue Cao, Shuxin Zheng, Gao Huang, Stephen Lin
• Abstract要約: 本稿では,CBN(Cross-It Batch Normalization)を提案する。 CBNは、提案した補償手法を使わずに、元のバッチ正規化と過去の繰り返しの統計の直接計算より優れていた。
• 参考スコア（独自算出の注目度）: 67.83430009388678
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A well-known issue of Batch Normalization is its significantly reduced effectiveness in the case of small mini-batch sizes. When a mini-batch contains few examples, the statistics upon which the normalization is defined cannot be reliably estimated from it during a training iteration. To address this problem, we present Cross-Iteration Batch Normalization (CBN), in which examples from multiple recent iterations are jointly utilized to enhance estimation quality. A challenge of computing statistics over multiple iterations is that the network activations from different iterations are not comparable to each other due to changes in network weights. We thus compensate for the network weight changes via a proposed technique based on Taylor polynomials, so that the statistics can be accurately estimated and batch normalization can be effectively applied. On object detection and image classification with small mini-batch sizes, CBN is found to outperform the original batch normalization and a direct calculation of statistics over previous iterations without the proposed compensation technique. Code is available at https://github.com/Howal/Cross-iterationBatchNorm .
• Abstract（参考訳）: バッチ正規化のよく知られた問題は、小さなミニバッチサイズの場合、その効果が著しく低下することである。 ミニバッチがいくつかの例を含む場合、正規化が定義される統計は、トレーニングイテレーション中にそれから確実に推定することはできない。 この問題に対処するため,複数イテレーションの例を併用して評価品質を向上させるクロスイテレーションバッチ正規化(CBN)を提案する。 複数のイテレーションに対する統計計算の課題は、異なるイテレーションからのネットワークアクティベーションがネットワークの重みの変化によって互いに比較できないことである。 そこで我々はTaylor多項式に基づく提案手法により,ネットワークの重み変化を補償し,統計を正確に推定し,バッチ正規化を効果的に適用する。 小さいミニバッチサイズでの物体検出と画像分類において, cbnは, 従来のバッチ正規化よりも優れており, 提案手法を使わずに統計量を直接計算できることがわかった。 コードはhttps://github.com/Howal/Cross-iterationBatchNormで入手できる。

関連論文リスト

• Exploring the Efficacy of Group-Normalization in Deep Learning Models for Alzheimer's Disease Classification [2.6447365674762273]
  群正規化はバッチ正規化の代替となる。 GNはバッチ正規化と比較して非常に低い10.6%の誤差率を達成する。
  論文  参考訳（メタデータ） (2024-04-01T06:10:11Z)
• Post-Training Quantization for Re-parameterization via Coarse & Fine Weight Splitting [13.270381125055275]
  本稿では,重みの量子化誤差を低減するために,粗大かつ微細な重み分割法(CFWS)を提案する。 我々は、活性化のための最適な量子化尺度を決定するために改良されたKLメトリックを開発した。 例えば、量子化されたRepVGG-A1モデルは、わずか0.3%の精度損失を示す。
  論文  参考訳（メタデータ） (2023-12-17T02:31:20Z)
• Patch-aware Batch Normalization for Improving Cross-domain Robustness [55.06956781674986]
  クロスドメインタスクは、トレーニングセットとテストセットが異なるディストリビューションに従うと、モデルのパフォーマンスが低下する課題を示す。 パッチ対応バッチ正規化(PBN)と呼ばれる新しい手法を提案する。 画像の局所的なパッチの違いを利用して、提案したPBNはモデルパラメータの堅牢性を効果的に向上させることができる。
  論文  参考訳（メタデータ） (2023-04-06T03:25:42Z)
• Compound Batch Normalization for Long-tailed Image Classification [77.42829178064807]
  本稿では,ガウス混合に基づく複合バッチ正規化法を提案する。 機能空間をより包括的にモデル化し、ヘッドクラスの優位性を減らすことができる。 提案手法は,画像分類における既存の手法よりも優れている。
  論文  参考訳（メタデータ） (2022-12-02T07:31:39Z)
• Variance-Aware Weight Initialization for Point Convolutional Neural Networks [23.46612653627991]
  連続的畳み込みの多さを統一する枠組みを提案する。 このフレームワークは、類似性があり、場合によってはパフォーマンスが向上しながら、バッチの正規化を回避できることを示す。
  論文  参考訳（メタデータ） (2021-12-07T15:47:14Z)
• Cluster-Promoting Quantization with Bit-Drop for Minimizing Network Quantization Loss [61.26793005355441]
  クラスタ・プロモーティング・量子化(CPQ)は、ニューラルネットワークに最適な量子化グリッドを見つける。 DropBitsは、ニューロンの代わりにランダムにビットをドロップする標準のドロップアウト正規化を改訂する新しいビットドロップ技術である。 本手法を様々なベンチマークデータセットとネットワークアーキテクチャ上で実験的に検証する。
  論文  参考訳（メタデータ） (2021-09-05T15:15:07Z)
• Comparing Normalization Methods for Limited Batch Size Segmentation Neural Networks [0.0]
  バッチ正規化は、トレーニング中に大きなバッチサイズを使用して最もうまく機能する。 限定バッチサイズニューラルネットワークトレーニング環境におけるインスタンス正規化の有効性を示す。 また,本実験で使用したインスタンス正規化実装は,正規化手法を使わずにネットワークと比較した場合,計算時間を効率よくすることを示した。
  論文  参考訳（メタデータ） (2020-11-23T17:13:24Z)
• WeightAlign: Normalizing Activations by Weight Alignment [16.85286948260155]
  バッチ正規化(BN)は、ミニバッチサンプル統計によってアクティベーションを正規化することで、非常に深いネットワークを訓練することができる。 このような方法はBNよりも安定ではないが、これは単一の入力サンプルの統計に依存するためである。 WeightAlign: フィルタ内で計算された平均およびスケールされた標準導出によって重みを正規化する手法で、サンプル統計を計算せずに活性化を正規化する。
  論文  参考訳（メタデータ） (2020-10-14T15:25:39Z)
• Double Forward Propagation for Memorized Batch Normalization [68.34268180871416]
  バッチ正規化(BN)は、ディープニューラルネットワーク(DNN)の設計における標準コンポーネントである。 より正確でロバストな統計値を得るために,複数の最近のバッチを考慮に入れた記憶型バッチ正規化(MBN)を提案する。 関連する手法と比較して、提案したMBNはトレーニングと推論の両方において一貫した振る舞いを示す。
  論文  参考訳（メタデータ） (2020-10-10T08:48:41Z)
• Towards Stabilizing Batch Statistics in Backward Propagation of Batch Normalization [126.6252371899064]
  移動平均バッチ正規化(MABN)は,新しい正規化法である。 小バッチの場合,MABNはバニラBNの性能を完全に回復できることを示す。 実験では、ImageNetやCOCOを含む複数のコンピュータビジョンタスクにおけるMABNの有効性を実証した。
  論文  参考訳（メタデータ） (2020-01-19T14:41:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。