Fugu-MT 論文翻訳(概要): Layer Pruning via Fusible Residual Convolutional Block for Deep Neural Networks

論文の概要: Layer Pruning via Fusible Residual Convolutional Block for Deep Neural Networks

arxiv url: http://arxiv.org/abs/2011.14356v1
Date: Sun, 29 Nov 2020 12:51:16 GMT
ステータス: 処理完了
システム内更新日: 2021-06-07 09:03:02.677452
Title: Layer Pruning via Fusible Residual Convolutional Block for Deep Neural Networks
Title（参考訳）: 深層ニューラルネットワークのためのファジブル残差畳み込みブロックによる層破砕
Authors: Pengtao Xu, Jian Cao, Fanhua Shang, Wenyu Sun, Pu Li
Abstract要約: レイヤプルーニングは、同じFLOPとパラメータの数でプルーニングされる場合、推論時間と実行時のメモリ使用量が少なくなる。残差畳み込みブロック(ResConv)を用いた簡単な層切断法を提案する。本手法は, 異なるデータセット上での最先端技術に対する圧縮と加速の優れた性能を実現する。
参考スコア（独自算出の注目度）: 15.64167076052513
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In order to deploy deep convolutional neural networks (CNNs) on resource-limited devices, many model pruning methods for filters and weights have been developed, while only a few to layer pruning. However, compared with filter pruning and weight pruning, the compact model obtained by layer pruning has less inference time and run-time memory usage when the same FLOPs and number of parameters are pruned because of less data moving in memory. In this paper, we propose a simple layer pruning method using fusible residual convolutional block (ResConv), which is implemented by inserting shortcut connection with a trainable information control parameter into a single convolutional layer. Using ResConv structures in training can improve network accuracy and train deep plain networks, and adds no additional computation during inference process because ResConv is fused to be an ordinary convolutional layer after training. For layer pruning, we convert convolutional layers of network into ResConv with a layer scaling factor. In the training process, the L1 regularization is adopted to make the scaling factors sparse, so that unimportant layers are automatically identified and then removed, resulting in a model of layer reduction. Our pruning method achieves excellent performance of compression and acceleration over the state-of-the-arts on different datasets, and needs no retraining in the case of low pruning rate. For example, with ResNet-110, we achieve a 65.5%-FLOPs reduction by removing 55.5% of the parameters, with only a small loss of 0.13% in top-1 accuracy on CIFAR-10.
Abstract（参考訳）: リソース制限されたデバイスにディープ畳み込みニューラルネットワーク(CNN)をデプロイするために、フィルタと重み付けのための多くのモデルプルーニング法が開発され、レイヤープルーニングはごくわずかである。しかし,フィルタプルーニングやウェイトプルーニングと比較して,レイヤプルーニングによって得られるコンパクトモデルは,同じFLOPとパラメータ数がメモリ内での移動が少ないため,推論時間や実行時のメモリ使用量が少なくなる。本稿では,学習可能な情報制御パラメータとのショートカット接続を単一畳み込み層に挿入して実装した,可溶性残差畳み込みブロック(ResConv)を用いた単純な層切断法を提案する。 ResConv構造をトレーニングに使用すると、ネットワークの精度が向上し、ディーププレーンネットワークのトレーニングが可能になる。レイヤプルーニングでは,ネットワークの畳み込み層をレイヤスケーリング係数でresconvに変換する。トレーニング工程では、L1正則化を採用してスケーリング係数を小さくし、重要でない層を自動的に識別して除去し、その結果、層縮小のモデルとなる。本手法は, 異なるデータセット上での圧縮と加速の優れた性能を実現し, 低プルーニング率の場合の再学習は不要である。例えば、ResNet-110では、パラメータの55.5%を除去することで65.5%のFLOPを削減でき、CIFAR-10でトップ1の精度が0.13%しか失われていない。

関連論文リスト

LAPP: Layer Adaptive Progressive Pruning for Compressing CNNs from Scratch [14.911305800463285]
本稿では,Layer Adaptive Progressive Pruning (LAPP) という新しいフレームワークを提案する。 LAPPは、各レイヤの学習可能なしきい値と、ネットワークのFLOP制約を導入する、効率的かつ効率的なプルーニング戦略を設計する。提案手法は,各種データセットやバックボーンアーキテクチャにおける従来の圧縮手法よりも優れた性能向上を示す。
論文参考訳（メタデータ） (2023-09-25T14:08:45Z)
Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
論文参考訳（メタデータ） (2023-03-16T21:06:13Z)
Boosting Pruned Networks with Linear Over-parameterization [8.796518772724955]
構造化プルーニングは、高速な推論のためのチャネル(フィルタ)を減らし、実行時にフットプリントを低くすることで、ニューラルネットワークを圧縮する。プルーニング後の精度を回復するため、細調整は通常、プルーニングネットワークに適用される。そこで我々は,まず,細調整パラメータの数を増やすために,刈り込みネットワーク内のコンパクト層を線形に過剰にパラメータ化する手法を提案する。
論文参考訳（メタデータ） (2022-04-25T05:30:26Z)
End-to-End Sensitivity-Based Filter Pruning [49.61707925611295]
本稿では,各層間のフィルタの重要度を学習するための感度に基づくフィルタプルーニングアルゴリズム(SbF-Pruner)を提案する。提案手法はフィルタ重みからスコアを学習し,各層のフィルタ間の相関を考慮できる。
論文参考訳（メタデータ） (2022-04-15T10:21:05Z)
Compact representations of convolutional neural networks via weight pruning and quantization [63.417651529192014]
本稿では、音源符号化に基づく畳み込みニューラルネットワーク(CNN)の新しいストレージフォーマットを提案し、重み付けと量子化の両方を活用する。我々は、全接続層で0.6%、ネットワーク全体で5.44%のスペース占有率を削減し、最低でもベースラインと同じくらいの競争力を発揮する。
論文参考訳（メタデータ） (2021-08-28T20:39:54Z)
Basis Scaling and Double Pruning for Efficient Inference in Network-Based Transfer Learning [1.3467579878240454]
畳み込み層をフィルタとして正規基底ベクトルを持つ畳み込み層と、特徴を再スケーリングする"BasisScalingConv"層に分解する。 CIFAR-10では74.6%、MNISTでは98.9%のプルーニング比が得られる。
論文参考訳（メタデータ） (2021-08-06T00:04:02Z)
Pruning Neural Networks with Interpolative Decompositions [5.377278489623063]
本稿では,ニューラルネットワークのプルーニングに対する原理的アプローチを導入し,その問題を低ランク行列近似として定式化する。まず、プリミティブのセットを構築して、1つの完全に接続された畳み込み層をプルークする方法を実証する。我々は,CIFAR-10上でVGG-16を用いて93.62$pm$0.36%の精度を実現し,FLOPSを51%削減した。
論文参考訳（メタデータ） (2021-07-30T20:13:49Z)
Manifold Regularized Dynamic Network Pruning [102.24146031250034]
本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
論文参考訳（メタデータ） (2021-03-10T03:59:03Z)
UCP: Uniform Channel Pruning for Deep Convolutional Neural Networks Compression and Acceleration [24.42067007684169]
深部CNNを創出するための一様チャネルプルーニング(UCP)手法を提案する。それらに関連する畳み込みカーネルを含む重要でないチャネルは直接プルーニングされる。 CIFAR-10, CIFAR-100, ILSVRC-2012 を用いて画像分類を行った。
論文参考訳（メタデータ） (2020-10-03T01:51:06Z)
ResRep: Lossless CNN Pruning via Decoupling Remembering and Forgetting [105.97936163854693]
本稿では,畳み込み層の幅(出力チャネル数)を小さくすることで,CNNをスリム化するResRepを提案する。記憶と忘れの独立性に関する神経生物学の研究から着想を得て,CNNを記憶部分と忘れ部分にパラメータ化することを提案する。私たちは、記憶と忘れ物を、より狭いレイヤで元のアーキテクチャにマージします。
論文参考訳（メタデータ） (2020-07-07T07:56:45Z)
DHP: Differentiable Meta Pruning via HyperNetworks [158.69345612783198]
本稿では,ネットワークの自動プルーニングのためのハイパーネットによる識別可能なプルーニング手法を提案する。遅延ベクトルは、バックボーンネットワーク内の畳み込み層の出力チャネルを制御し、レイヤのプルーニングのハンドルとして機能する。画像分類、単一画像超解像、復調のための様々なネットワークで実験が行われた。
論文参考訳（メタデータ） (2020-03-30T17:59:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。