論文の概要: Finet: Using Fine-grained Batch Normalization to Train Light-weight Neural Networks

• arxiv url: http://arxiv.org/abs/2005.06828v1
• Date: Thu, 14 May 2020 09:16:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-03 04:31:01.885326
• Title: Finet: Using Fine-grained Batch Normalization to Train Light-weight Neural Networks
• Title（参考訳）: ファイン: きめ細かいバッチ正規化による軽量ニューラルネットワークの訓練
• Authors: Chunjie Luo, Jianfeng Zhan, Lei Wang, Wanling Gao
• Abstract要約: FinetはFBNに基づく新しい軽量ネットワークである ImageNet分類データセットでは、ファネットは最先端のパフォーマンスを達成する(65.706%の精度で43M FLOP、73.786%の精度で303M FLOP)。
• 参考スコア（独自算出の注目度）: 3.377000738091241
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To build light-weight network, we propose a new normalization, Fine-grained Batch Normalization (FBN). Different from Batch Normalization (BN), which normalizes the final summation of the weighted inputs, FBN normalizes the intermediate state of the summation. We propose a novel light-weight network based on FBN, called Finet. At training time, the convolutional layer with FBN can be seen as an inverted bottleneck mechanism. FBN can be fused into convolution at inference time. After fusion, Finet uses the standard convolution with equal channel width, thus makes the inference more efficient. On ImageNet classification dataset, Finet achieves the state-of-art performance (65.706% accuracy with 43M FLOPs, and 73.786% accuracy with 303M FLOPs), Moreover, experiments show that Finet is more efficient than other state-of-art light-weight networks.
• Abstract（参考訳）: 軽量ネットワークを構築するために,新しい正規化,細粒度バッチ正規化(fbn)を提案する。 加重入力の最終和を正規化するバッチ正規化(BN)とは異なり、FBNは和の中間状態を正規化する。 本稿では,fbnに基づく新しい軽量ネットワークである finet を提案する。 トレーニング時には、FBNとの畳み込み層を逆ボトルネック機構と見なすことができる。 FBNは推論時に畳み込みに融合することができる。 融合後、ファイントはチャネル幅が等しい標準畳み込みを用いるので、推論をより効率的にする。 imagenet分類データセットでは、ファイントは最先端のパフォーマンス(43mフロップの65.706%精度、303mフロップの73.786%精度)を達成している。

関連論文リスト

• FedNAR: Federated Optimization with Normalized Annealing Regularization [54.42032094044368]
  ウェイト崩壊の選択を探索し、ウェイト崩壊値が既存のFLアルゴリズムの収束に有意な影響を及ぼすことを確かめる。 我々は,既存のFLアルゴリズムにシームレスに統合可能なプラグインであるFederated Optimization with Normalized Annealing Regularization (FedNAR)を開発した。
  論文  参考訳（メタデータ） (2023-10-04T21:11:40Z)
• GMConv: Modulating Effective Receptive Fields for Convolutional Kernels [52.50351140755224]
  畳み込みニューラルネットワークでは、固定N$times$N受容場(RF)を持つ正方形カーネルを用いて畳み込みを行う。 ERFが通常ガウス分布を示す性質に着想を得て,本研究でガウス・マスク畳み込みカーネル(GMConv)を提案する。 私たちのGMConvは、既存のCNNの標準の畳み込みを直接置き換えることができ、標準のバックプロパゲーションによって、エンドツーエンドで簡単に訓練することができます。
  論文  参考訳（メタデータ） (2023-02-09T10:17:17Z)
• A pruning method based on the dissimilarity of angle among channels and filters [13.878426750493784]
  畳み込みネットワークを符号化し、異なる符号化ノードの類似性を得る。 我々は、類似性に基づいて、畳み込みカーネル間の接続能力を評価する。 角度の相似性(DACP)に基づくチャネルプルーニングベースを提案する。
  論文  参考訳（メタデータ） (2022-10-29T05:47:57Z)
• Delving into Variance Transmission and Normalization: Shift of Average Gradient Makes the Network Collapse [9.848051975417116]
  分散伝送の視点からバッチ正規化(BN)の効果を説明します。 平均勾配のシフトを解決するために,PWS(Parametric Weights Standardization)を提案する。 pwsは出力を正規化せずにネットワークを高速に収束させることができる。
  論文  参考訳（メタデータ） (2021-03-22T05:40:46Z)
• BN-invariant sharpness regularizes the training model to better generalization [72.97766238317081]
  BN下等価ネットワークに対して一貫した値を与えるシャープネス測定法BN-Sharpnessを提案する。 我々はBNシャープネスを用いてトレーニングを正規化し、アルゴリズムを設計し、新しい正規化対象を最小化する。
  論文  参考訳（メタデータ） (2021-01-08T10:23:24Z)
• Batch Group Normalization [45.03388237812212]
  バッチ正規化(BN)は中規模および大規模なバッチサイズでよく機能する。 BNは、ノイズ/畳み込み統計計算により、小さな/非常に大きなバッチサイズで飽和する。 BGN は小・極大バッチサイズでの BN の雑音/畳み込み統計計算を解くために提案される。
  論文  参考訳（メタデータ） (2020-12-04T18:57:52Z)
• MimicNorm: Weight Mean and Last BN Layer Mimic the Dynamic of Batch Normalization [60.36100335878855]
  ネットワークトレーニングにおける収束と効率を改善するために,MimicNormという新しい正規化手法を提案する。 我々は、神経核(NTK)理論を利用して、我々の重み付けが活性化を弱め、BN層のようなカオス状態にネットワークを移行することを証明する。 MimicNormは、ResNetsやShuffleNetのような軽量ネットワークなど、さまざまなネットワーク構造に対して同様の精度を実現し、約20%のメモリ消費を削減している。
  論文  参考訳（メタデータ） (2020-10-19T07:42:41Z)
• Bayesian Bits: Unifying Quantization and Pruning [73.27732135853243]
  我々は、勾配に基づく最適化による混合精度量子化とプルーニングの実用的な方法であるBayesian Bitsを紹介する。 提案手法をいくつかのベンチマーク・データセット上で実験的に検証し,プレナード付き混合精度ネットワークを学習可能であることを示す。
  論文  参考訳（メタデータ） (2020-05-14T16:00:34Z)
• PowerNorm: Rethinking Batch Normalization in Transformers [96.14956636022957]
  自然言語処理(NLP)におけるニューラルネットワーク(NN)モデルの正規化法は層正規化(LN)である LN は BN (naive/vanilla) の使用が NLP タスクの大幅な性能低下をもたらすという経験的観察により好まれる。 本稿では,この問題を解決する新しい正規化手法である電力正規化(PN)を提案する。
  論文  参考訳（メタデータ） (2020-03-17T17:50:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。