論文の概要: To Fold or Not to Fold: a Necessary and Sufficient Condition on Batch-Normalization Layers Folding

• arxiv url: http://arxiv.org/abs/2203.14646v1
• Date: Mon, 28 Mar 2022 11:08:45 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-29 13:34:54.728925
• Title: To Fold or Not to Fold: a Necessary and Sufficient Condition on Batch-Normalization Layers Folding
• Title（参考訳）: 折りたたむか, 折りたたむか -バッチ・ノーマライゼーション層における必要十分条件-
• Authors: Edouard Yvinec and Arnaud Dapogny and Kevin Bailly
• Abstract要約: Batch-Normalization (BN) 層は、シーケンシャルな演算処理によって計算のボトルネックを生じさせる。 現在のBN折り畳みアプローチは, どれだけの層を除去できるかという点で最適であることを示す。 BNフォールディングに必要な十分条件とそれに対応する最適アルゴリズムを提供する。
• 参考スコア（独自算出の注目度）: 7.971065005161565
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Batch-Normalization (BN) layers have become fundamental components in the evermore complex deep neural network architectures. Such models require acceleration processes for deployment on edge devices. However, BN layers add computation bottlenecks due to the sequential operation processing: thus, a key, yet often overlooked component of the acceleration process is BN layers folding. In this paper, we demonstrate that the current BN folding approaches are suboptimal in terms of how many layers can be removed. We therefore provide a necessary and sufficient condition for BN folding and a corresponding optimal algorithm. The proposed approach systematically outperforms existing baselines and allows to dramatically reduce the inference time of deep neural networks.
• Abstract（参考訳）: バッチ正規化(bn)層は、より複雑なディープニューラルネットワークアーキテクチャの基本コンポーネントとなっている。 このようなモデルはエッジデバイスにデプロイするために加速プロセスを必要とする。 しかし、BN層はシーケンシャルな演算処理によって計算のボトルネックを生じさせ、したがって加速プロセスの重要かつ見落とされがちな要素はBN層折り畳みである。 本稿では,現在のBN折り畳みアプローチが,何層を除去できるかという点で最適であることを示す。 したがって、BNフォールディングに必要な十分条件と対応する最適アルゴリズムを提供する。 提案手法は,既存のベースラインを体系的に上回り,ディープニューラルネットワークの推論時間を劇的に短縮する。

関連論文リスト

• SGLP: A Similarity Guided Fast Layer Partition Pruning for Compressing Large Deep Models [19.479746878680707]
  レイヤプルーニングは、ネットワークサイズを削減し、計算効率を向上させるための強力なアプローチである。 大規模深層モデル圧縮のための類似性誘導高速層分割プルーニングを提案する。 本手法は精度と計算効率の両面で最先端の手法より優れている。
  論文  参考訳（メタデータ） (2024-10-14T04:01:08Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• LightNorm: Area and Energy-Efficient Batch Normalization Hardware for On-Device DNN Training [0.31806743741013654]
  我々はLightNormという名前の非常に効率的なバッチ正規化とそのハードウェアモジュールを提案する。 より詳しくは、i)低ビット精度、i)レンジバッチ正規化、iii)ブロック浮動小数点の3つの近似手法を融合する。
  論文  参考訳（メタデータ） (2022-11-04T18:08:57Z)
• An Adaptive Batch Normalization in Deep Learning [0.0]
  バッチ正規化(BN)は、深層畳み込みニューラルネットワークのトレーニングを加速し、安定させる方法である。 本稿では、BNを必要とするデータとそれを必要としないデータを分離する、しきい値に基づく適応的なBNアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-03T12:12:56Z)
• Improved Branch and Bound for Neural Network Verification via Lagrangian Decomposition [161.09660864941603]
  ニューラルネットワークの入出力特性を公式に証明するためのブランチとバウンド(BaB)アルゴリズムのスケーラビリティを改善します。 活性化に基づく新しい分岐戦略とBaBフレームワークであるブランチとデュアルネットワーク境界(BaDNB)を提案する。 BaDNBは、従来の完全検証システムを大きなマージンで上回り、対数特性で平均検証時間を最大50倍に削減した。
  論文  参考訳（メタデータ） (2021-04-14T09:22:42Z)
• Demystifying Batch Normalization in ReLU Networks: Equivalent Convex Optimization Models and Implicit Regularization [29.411334761836958]
  BNを用いた重量減少正規化RELUネットワークの正確な凸表現を得るための解析フレームワークに基づく凸双対性を導入する。 解析により,高次元および/またはCIF化系における単純な閉形式式として最適層重みを求めることができることがわかった。
  論文  参考訳（メタデータ） (2021-03-02T06:36:31Z)
• FactorizeNet: Progressive Depth Factorization for Efficient Network Architecture Exploration Under Quantization Constraints [93.4221402881609]
  量子化制約下での効率的なCNNアーキテクチャ探索のためのプログレッシブ・ディープ・ファクタライズ・ストラテジーを導入する。 アルゴリズムによって深度分解の粒度を漸進的に増大させることで,層状分布の微細で低レベルな解析が可能となる。 このようなプログレッシブな深度分解戦略は、最適深度分解マクロ構造設計の効率的な同定を可能にする。
  論文  参考訳（メタデータ） (2020-11-30T07:12:26Z)
• Fast and Complete: Enabling Complete Neural Network Verification with Rapid and Massively Parallel Incomplete Verifiers [112.23981192818721]
  BaB プロセス中に線形計画法 (LP) を置き換えるために, 逆モード線形緩和に基づく解析法 (LiRPA) を提案する。 LPとは異なり、LiRPAを適用すると、より弱い境界が得られ、分割時にサブドメインのコンフリクトをチェックすることもできない。 既存のLPベースのアプローチと比較して、桁違いのスピードアップを示す。
  論文  参考訳（メタデータ） (2020-11-27T16:42:12Z)
• MimicNorm: Weight Mean and Last BN Layer Mimic the Dynamic of Batch Normalization [60.36100335878855]
  ネットワークトレーニングにおける収束と効率を改善するために,MimicNormという新しい正規化手法を提案する。 我々は、神経核(NTK)理論を利用して、我々の重み付けが活性化を弱め、BN層のようなカオス状態にネットワークを移行することを証明する。 MimicNormは、ResNetsやShuffleNetのような軽量ネットワークなど、さまざまなネットワーク構造に対して同様の精度を実現し、約20%のメモリ消費を削減している。
  論文  参考訳（メタデータ） (2020-10-19T07:42:41Z)
• Breaking Batch Normalization for better explainability of Deep Neural Networks through Layer-wise Relevance Propagation [2.654526698055524]
  正規化レイヤと畳み込みレイヤと完全に接続されたレイヤを融合する等価ネットワークを構築します。 MNIST と CIFAR 10 で得られた熱マップは畳み込み層に対してより正確である。
  論文  参考訳（メタデータ） (2020-02-24T13:06:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。