Fugu-MT 論文翻訳(概要): Mitigating severe over-parameterization in deep convolutional neural networks through forced feature abstraction and compression with an entropy-based heuristic

論文の概要: Mitigating severe over-parameterization in deep convolutional neural networks through forced feature abstraction and compression with an entropy-based heuristic

arxiv url: http://arxiv.org/abs/2106.14190v1
Date: Sun, 27 Jun 2021 10:34:39 GMT
ステータス: 処理完了
システム内更新日: 2021-06-29 13:56:13.072276
Title: Mitigating severe over-parameterization in deep convolutional neural networks through forced feature abstraction and compression with an entropy-based heuristic
Title（参考訳）: エントロピー型ヒューリスティックを用いた強制的特徴抽出と圧縮による深層畳み込みニューラルネットワークの過大パラメータ化の軽減
Authors: Nidhi Gowdra, Roopak Sinha, Stephen MacDonell and Wei Qi Yan
Abstract要約: 本稿では,エントロピーに基づく畳み込み層推定(EBCLE)を提案する。 EBCLEを用いて訓練したより広いが浅いモデルの相対的有効性を強調する実証的証拠を提示する。
参考スコア（独自算出の注目度）: 7.503338065129185
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Convolutional Neural Networks (CNNs) such as ResNet-50, DenseNet-40 and ResNeXt-56 are severely over-parameterized, necessitating a consequent increase in the computational resources required for model training which scales exponentially for increments in model depth. In this paper, we propose an Entropy-Based Convolutional Layer Estimation (EBCLE) heuristic which is robust and simple, yet effective in resolving the problem of over-parameterization with regards to network depth of CNN model. The EBCLE heuristic employs a priori knowledge of the entropic data distribution of input datasets to determine an upper bound for convolutional network depth, beyond which identity transformations are prevalent offering insignificant contributions for enhancing model performance. Restricting depth redundancies by forcing feature compression and abstraction restricts over-parameterization while decreasing training time by 24.99% - 78.59% without degradation in model performance. We present empirical evidence to emphasize the relative effectiveness of broader, yet shallower models trained using the EBCLE heuristic, which maintains or outperforms baseline classification accuracies of narrower yet deeper models. The EBCLE heuristic is architecturally agnostic and EBCLE based CNN models restrict depth redundancies resulting in enhanced utilization of the available computational resources. The proposed EBCLE heuristic is a compelling technique for researchers to analytically justify their HyperParameter (HP) choices for CNNs. Empirical validation of the EBCLE heuristic in training CNN models was established on five benchmarking datasets (ImageNet32, CIFAR-10/100, STL-10, MNIST) and four network architectures (DenseNet, ResNet, ResNeXt and EfficientNet B0-B2) with appropriate statistical tests employed to infer any conclusive claims presented in this paper.
Abstract（参考訳）: resnet-50, densenet-40, resnext-56などの畳み込みニューラルネットワーク(cnns)は過度に過度にパラメータ化されており、モデル深さの増大に指数関数的にスケールするモデルトレーニングに必要な計算リソースが増加する必要がある。本稿では,cnnモデルのネットワーク深さに関して,超パラメータ化の問題を解く上で有効であり,ロバストかつ単純であるエントロピーに基づく畳み込み層推定(ebcle)ヒューリスティックを提案する。 EBCLEヒューリスティックは、入力データセットのエントロピーデータ分布に関する事前知識を用いて、畳み込みネットワーク深さの上限を決定する。特徴圧縮と抽象化を強制して深度冗長性を制限し、訓練時間を24.99% - 78.59%削減する。我々は,より狭く,より深いモデルのベースライン分類精度を維持または超えているebcle heuristicを用いて訓練された,より広く,かつ浅いモデルの相対的有効性を強調した実証的証拠を示す。 EBCLEのヒューリスティックはアーキテクチャ的に非依存であり、EBCLEベースのCNNモデルは深度冗長性を制限するため、利用可能な計算資源の利用が強化される。提案されたEBCLEヒューリスティックは、研究者がCNNに対するHyperParameter(HP)の選択を解析的に正当化する魅力的な手法である。 CNNモデルのトレーニングにおけるEBCLEヒューリスティックの実証的検証は,5つのベンチマークデータセット (ImageNet32, CIFAR-10/100, STL-10, MNIST) と4つのネットワークアーキテクチャ (DenseNet, ResNet, ResNeXt, EfficientNet B0-B2) で確立された。

関連論文リスト

Bayesian Entropy Neural Networks for Physics-Aware Prediction [14.705526856205454]
本稿では,ベイズニューラルネットワーク(BNN)の予測に制約を加えるためのフレームワークであるBENNを紹介する。ベンは予測値だけでなく、その微分や分散を制約し、より堅牢で信頼性の高いモデル出力を保証できる。その結果、従来のBNNよりも大幅に改善され、現代の制約されたディープラーニング手法と比較して競争性能が向上した。
論文参考訳（メタデータ） (2024-07-01T07:00:44Z)
IB-AdCSCNet:Adaptive Convolutional Sparse Coding Network Driven by Information Bottleneck [4.523653503622693]
IB-AdCSCNetは情報ボトルネック理論に基づくディープラーニングモデルである。 IB-AdCSCNetは、情報ボトルネックトレードオフ戦略をディープネットワークにシームレスに統合する。 CIFAR-10とCIFAR-100データセットの実験結果は、IB-AdCSCNetが深い残差畳み込みネットワークの性能にマッチするだけでなく、破損したデータを扱う際の性能も優れていることを示した。
論文参考訳（メタデータ） (2024-05-23T05:35:57Z)
Spike-and-slab shrinkage priors for structurally sparse Bayesian neural networks [0.16385815610837165]
スパースディープラーニングは、基礎となるターゲット関数のスパース表現を復元することで、課題に対処する。構造化された空間によって圧縮されたディープニューラルアーキテクチャは、低レイテンシ推論、データスループットの向上、エネルギー消費の削減を提供する。本研究では, (i) Spike-and-Slab Group Lasso (SS-GL) と (ii) Spike-and-Slab Group Horseshoe (SS-GHS) を併用した過剰ノードを誘発する構造的疎いベイズニューラルネットワークを提案する。
論文参考訳（メタデータ） (2023-08-17T17:14:18Z)
Towards a Better Theoretical Understanding of Independent Subnetwork Training [56.24689348875711]
独立サブネットワークトレーニング(IST)の理論的考察 ISTは、上記の問題を解決するための、最近提案され、非常に効果的である。圧縮通信を用いた分散手法など,ISTと代替手法の基本的な違いを同定する。
論文参考訳（メタデータ） (2023-06-28T18:14:22Z)
ECQ$^{\text{x}}$: Explainability-Driven Quantization for Low-Bit and Sparse DNNs [13.446502051609036]
我々はディープニューラルネットワーク(DNN)のための新しい量子化パラダイムを開発し、記述する。本手法は,説明可能なAI(XAI)の概念と情報理論の概念を活用する。最終的な目標は、最高の情報内容の量子化クラスタにおいて、最も関連性の高い重みを維持することである。
論文参考訳（メタデータ） (2021-09-09T12:57:06Z)
Compact representations of convolutional neural networks via weight pruning and quantization [63.417651529192014]
本稿では、音源符号化に基づく畳み込みニューラルネットワーク(CNN)の新しいストレージフォーマットを提案し、重み付けと量子化の両方を活用する。我々は、全接続層で0.6%、ネットワーク全体で5.44%のスペース占有率を削減し、最低でもベースラインと同じくらいの競争力を発揮する。
論文参考訳（メタデータ） (2021-08-28T20:39:54Z)
A High-Performance Adaptive Quantization Approach for Edge CNN Applications [0.225596179391365]
最近の畳み込みニューラルネットワーク(CNN)開発は、様々なアプリケーションに対する最先端のモデル精度を推し進めている。精度の向上は、かなりのメモリ帯域幅とストレージ要求のコストが伴う。本稿では,偏りのあるアクティベーションの問題を解決するための適応型高性能量子化法を提案する。
論文参考訳（メタデータ） (2021-07-18T07:49:18Z)
Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文参考訳（メタデータ） (2021-06-17T17:26:31Z)
Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文参考訳（メタデータ） (2020-07-03T01:37:16Z)
Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できるこのモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
論文参考訳（メタデータ） (2020-03-13T13:11:35Z)
Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
論文参考訳（メタデータ） (2020-02-03T04:11:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。