論文の概要: Dynamic Normalization

• arxiv url: http://arxiv.org/abs/2101.06073v1
• Date: Fri, 15 Jan 2021 11:41:41 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-28 11:24:41.291496
• Title: Dynamic Normalization
• Title（参考訳）: 動的正規化
• Authors: Chuan Liu, Yi Gao, Jiancheng Lv
• Abstract要約: BNの単純な拡張によってネットワークの性能が向上することがわかった。 分類タスクでは、DN-BはImageNet-100上のMobileNetV2の精度を2%以上改善でき、Mult-Addsはわずか0.6%である。 BNと比較して、DN-Bは高い学習率またはより小さいバッチサイズを使用する場合、安定した性能を持つ。
• 参考スコア（独自算出の注目度）: 28.53101068751611
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Batch Normalization has become one of the essential components in CNN. It allows the network to use a higher learning rate and speed up training. And the network doesn't need to be initialized carefully. However, in our work, we find that a simple extension of BN can increase the performance of the network. First, we extend BN to adaptively generate scale and shift parameters for each mini-batch data, called DN-C (Batch-shared and Channel-wise). We use the statistical characteristics of mini-batch data ($E[X], Std[X]\in\mathbb{R}^{c}$) as the input of SC module. Then we extend BN to adaptively generate scale and shift parameters for each channel of each sample, called DN-B (Batch and Channel-wise). Our experiments show that DN-C model can't train normally, but DN-B model has very good robustness. In classification task, DN-B can improve the accuracy of the MobileNetV2 on ImageNet-100 more than 2% with only 0.6% additional Mult-Adds. In detection task, DN-B can improve the accuracy of the SSDLite on MS-COCO nearly 4% mAP with the same settings. Compared with BN, DN-B has stable performance when using higher learning rate or smaller batch size.
• Abstract（参考訳）: バッチ正規化はCNNの重要なコンポーネントのひとつになっている。 これによりネットワークは、より高い学習率とトレーニングのスピードアップが可能になる。 ネットワークは慎重に初期化される必要はありません しかし,本研究では,BNの単純な拡張によりネットワークの性能が向上することが判明した。 まず、BNを拡張して、DN-C(Batch-shared and Channel-wise)と呼ばれる各ミニバッチデータのスケールおよびシフトパラメータを適応的に生成する。 SCモジュールの入力としてミニバッチデータの統計特性(E[X], Std[X]\in\mathbb{R}^{c}$)を用いる。 次に、BNを拡張して、DN-B(Batch and Channel-wise)と呼ばれる各サンプルの各チャネルのスケールおよびシフトパラメータを適応的に生成する。 実験の結果,DN-Cモデルは正常に訓練できないが,DN-Bモデルは非常に堅牢であることがわかった。 分類タスクでは、DN-BはImageNet-100上のMobileNetV2の精度を2%以上改善でき、Mult-Addsはわずか0.6%である。 検出タスクでは、DN-Bは同じ設定でMS-COCO上のSSDLiteの精度を約4%改善できる。 BNと比較して、DN-Bは高い学習率またはより小さいバッチサイズを使用する場合、安定した性能を持つ。

関連論文リスト

• An Adaptive Batch Normalization in Deep Learning [0.0]
  バッチ正規化(BN)は、深層畳み込みニューラルネットワークのトレーニングを加速し、安定させる方法である。 本稿では、BNを必要とするデータとそれを必要としないデータを分離する、しきい値に基づく適応的なBNアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-03T12:12:56Z)
• Rebalancing Batch Normalization for Exemplar-based Class-Incremental Learning [23.621259845287824]
  バッチ正規化(BN)は、様々なコンピュータビジョンタスクにおけるニューラルネットに対して広く研究されている。 我々はBNの新しい更新パッチを開発し、特にCIL(Exemplar-based class-incremental Learning)に特化している。
  論文  参考訳（メタデータ） (2022-01-29T11:03:03Z)
• "BNN - BN = ?": Training Binary Neural Networks without Batch Normalization [92.23297927690149]
  バッチ正規化(BN)は、最先端のバイナリニューラルネットワーク(BNN)に不可欠な重要なファシリテータである BNNのトレーニングに彼らのフレームワークを拡張し、BNNのトレーニングや推論体制からBNを除去できることを初めて実証します。
  論文  参考訳（メタデータ） (2021-04-16T16:46:57Z)
• BN-invariant sharpness regularizes the training model to better generalization [72.97766238317081]
  BN下等価ネットワークに対して一貫した値を与えるシャープネス測定法BN-Sharpnessを提案する。 我々はBNシャープネスを用いてトレーニングを正規化し、アルゴリズムを設計し、新しい正規化対象を最小化する。
  論文  参考訳（メタデータ） (2021-01-08T10:23:24Z)
• Batch Normalization with Enhanced Linear Transformation [73.9885755599221]
  線形変換モジュールを適切に拡張することで、バッチ正規化(BN)の能力を効果的に改善できる 私たちのメソッドはBNETと呼ばれ、ほとんどのディープラーニングライブラリで2～3行のコードで実装できます。 我々は、BNETがネットワークトレーニングの収束を加速し、より大きな重み付けで重要なニューロンを割り当てることで空間情報を強化することを検証する。
  論文  参考訳（メタデータ） (2020-11-28T15:42:36Z)
• MimicNorm: Weight Mean and Last BN Layer Mimic the Dynamic of Batch Normalization [60.36100335878855]
  ネットワークトレーニングにおける収束と効率を改善するために,MimicNormという新しい正規化手法を提案する。 我々は、神経核(NTK)理論を利用して、我々の重み付けが活性化を弱め、BN層のようなカオス状態にネットワークを移行することを証明する。 MimicNormは、ResNetsやShuffleNetのような軽量ネットワークなど、さまざまなネットワーク構造に対して同様の精度を実現し、約20%のメモリ消費を削減している。
  論文  参考訳（メタデータ） (2020-10-19T07:42:41Z)
• Double Forward Propagation for Memorized Batch Normalization [68.34268180871416]
  バッチ正規化(BN)は、ディープニューラルネットワーク(DNN)の設計における標準コンポーネントである。 より正確でロバストな統計値を得るために,複数の最近のバッチを考慮に入れた記憶型バッチ正規化(MBN)を提案する。 関連する手法と比較して、提案したMBNはトレーニングと推論の両方において一貫した振る舞いを示す。
  論文  参考訳（メタデータ） (2020-10-10T08:48:41Z)
• How Does BN Increase Collapsed Neural Network Filters? [34.886702335022015]
  フィルタ崩壊は、バッチ正規化(BN)と修正線形活性化関数(ReLU、Leaky ReLUなど)を持つディープニューラルネットワーク(DNN)でよく見られる。 本稿では, BN と同一の表現能力を持つポストシフト後の BN (psBN) を, トレーニング中に飽和した BN パラメータを再度トレーニングできる簡易かつ効果的な手法を提案する。
  論文  参考訳（メタデータ） (2020-01-30T09:00:08Z)
• Towards Stabilizing Batch Statistics in Backward Propagation of Batch Normalization [126.6252371899064]
  移動平均バッチ正規化(MABN)は,新しい正規化法である。 小バッチの場合,MABNはバニラBNの性能を完全に回復できることを示す。 実験では、ImageNetやCOCOを含む複数のコンピュータビジョンタスクにおけるMABNの有効性を実証した。
  論文  参考訳（メタデータ） (2020-01-19T14:41:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。