論文の概要: A New Measure of Model Redundancy for Compressed Convolutional Neural Networks

• arxiv url: http://arxiv.org/abs/2112.04857v1
• Date: Thu, 9 Dec 2021 12:05:02 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-10 14:17:42.331476
• Title: A New Measure of Model Redundancy for Compressed Convolutional Neural Networks
• Title（参考訳）: 圧縮畳み込みニューラルネットワークのモデル冗長性の新しい測定法
• Authors: Feiqing Huang, Yuefeng Si, Yao Zheng and Guodong Li
• Abstract要約: 圧縮されたCNNにまだモデル冗長性はあるか? 圧縮されたCNNに対する新しいモデル冗長度尺度、すなわち$K/R$比を導入し、さらに非線形なアクティベーションを可能にする。
• 参考スコア（独自算出の注目度）: 7.173345945188715
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While recently many designs have been proposed to improve the model efficiency of convolutional neural networks (CNNs) on a fixed resource budget, theoretical understanding of these designs is still conspicuously lacking. This paper aims to provide a new framework for answering the question: Is there still any remaining model redundancy in a compressed CNN? We begin by developing a general statistical formulation of CNNs and compressed CNNs via the tensor decomposition, such that the weights across layers can be summarized into a single tensor. Then, through a rigorous sample complexity analysis, we reveal an important discrepancy between the derived sample complexity and the naive parameter counting, which serves as a direct indicator of the model redundancy. Motivated by this finding, we introduce a new model redundancy measure for compressed CNNs, called the $K/R$ ratio, which further allows for nonlinear activations. The usefulness of this new measure is supported by ablation studies on popular block designs and datasets.
• Abstract（参考訳）: 近年、畳み込みニューラルネットワーク(cnns)のモデル効率を固定リソース予算で改善するために多くの設計が提案されているが、これらの設計の理論的理解はまだ顕著に欠けている。 圧縮されたCNNにまだモデル冗長性はあるか? まず, テンソル分解によるCNNと圧縮CNNの一般統計定式化を行い, 層間の重みを1つのテンソルにまとめる。 そして, 厳密なサンプル複雑性解析により, モデル冗長性の直接的な指標となる, 導出されたサンプル複雑性と単純パラメータカウントとの重要な相違を明らかにする。 この発見に動機づけられ、圧縮cnnの新しいモデル冗長性尺度である$k/r$比を導入し、さらに非線形活性化を可能にする。 この新しい尺度の有用性は、一般的なブロック設計とデータセットに関するアブレーション研究によって支えられている。

関連論文リスト

• CCDepth: A Lightweight Self-supervised Depth Estimation Network with Enhanced Interpretability [11.076431337488973]
  本研究では,畳み込みニューラルネットワーク(CNN)とホワイトボックスCRATEネットワークを組み合わせた,ハイブリッド型自己教師型深度推定ネットワークCCDepthを提案する。 このネットワークは,CNNとCRATEモジュールを用いて画像中の局所的およびグローバルな情報を抽出し,学習効率の向上とモデルサイズ削減を実現する。
  論文  参考訳（メタデータ） (2024-09-30T04:19:40Z)
• Spike-and-slab shrinkage priors for structurally sparse Bayesian neural networks [0.16385815610837165]
  スパースディープラーニングは、基礎となるターゲット関数のスパース表現を復元することで、課題に対処する。 構造化された空間によって圧縮されたディープニューラルアーキテクチャは、低レイテンシ推論、データスループットの向上、エネルギー消費の削減を提供する。 本研究では, (i) Spike-and-Slab Group Lasso (SS-GL) と (ii) Spike-and-Slab Group Horseshoe (SS-GHS) を併用した過剰ノードを誘発する構造的疎いベイズニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2023-08-17T17:14:18Z)
• Neural Additive Models for Location Scale and Shape: A Framework for Interpretable Neural Regression Beyond the Mean [1.0923877073891446]
  ディープニューラルネットワーク(DNN)は、様々なタスクで非常に効果的であることが証明されている。 この成功にもかかわらず、DNNの内部構造はしばしば透明ではない。 この解釈可能性の欠如は、本質的に解釈可能なニューラルネットワークの研究の増加につながった。
  論文  参考訳（メタデータ） (2023-01-27T17:06:13Z)
• Compact representations of convolutional neural networks via weight pruning and quantization [63.417651529192014]
  本稿では、音源符号化に基づく畳み込みニューラルネットワーク(CNN)の新しいストレージフォーマットを提案し、重み付けと量子化の両方を活用する。 我々は、全接続層で0.6%、ネットワーク全体で5.44%のスペース占有率を削減し、最低でもベースラインと同じくらいの競争力を発揮する。
  論文  参考訳（メタデータ） (2021-08-28T20:39:54Z)
• Closed-form Continuous-Depth Models [99.40335716948101]
  連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。 我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
  論文  参考訳（メタデータ） (2021-06-25T22:08:51Z)
• A Fully Tensorized Recurrent Neural Network [48.50376453324581]
  重み付けされたRNNアーキテクチャを導入し、各リカレントセル内の個別の重み付け行列を共同で符号化する。 このアプローチはモデルのサイズを数桁削減するが、通常のRNNと同等あるいは優れた性能を維持している。
  論文  参考訳（メタデータ） (2020-10-08T18:24:12Z)
• ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution [57.635467829558664]
  我々は,CNNにおいて,畳み込みカーネル間の構造正則化を導入する。 我々はCNNがパラメータや計算量を劇的に減らして性能を維持していることを示す。
  論文  参考訳（メタデータ） (2020-09-04T20:41:47Z)
• On Robustness and Transferability of Convolutional Neural Networks [147.71743081671508]
  現代の深層畳み込みネットワーク(CNN)は、分散シフトの下で一般化しないとしてしばしば批判される。 現代画像分類CNNにおける分布外と転送性能の相互作用を初めて検討した。 トレーニングセットとモデルサイズを増大させることで、分散シフトロバスト性が著しく向上することがわかった。
  論文  参考訳（メタデータ） (2020-07-16T18:39:04Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• Interpolation between Residual and Non-Residual Networks [24.690238357686134]
  ダンピング項を追加することで,新しいODEモデルを提案する。 提案モデルでは係数を調整してResNetとCNNの両方を復元可能であることを示す。 複数の画像分類ベンチマーク実験により,提案手法はResNetとResNeXtの精度を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2020-06-10T09:36:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。