Fugu-MT 論文翻訳(概要): UCP: Uniform Channel Pruning for Deep Convolutional Neural Networks Compression and Acceleration

論文の概要: UCP: Uniform Channel Pruning for Deep Convolutional Neural Networks Compression and Acceleration

arxiv url: http://arxiv.org/abs/2010.01251v1
Date: Sat, 3 Oct 2020 01:51:06 GMT
ステータス: 処理完了
システム内更新日: 2022-10-11 08:44:39.980263
Title: UCP: Uniform Channel Pruning for Deep Convolutional Neural Networks Compression and Acceleration
Title（参考訳）: UCP: 深部畳み込みニューラルネットワーク圧縮と高速化のための一様チャネルプルーニング
Authors: Jingfei Chang and Yang Lu and Ping Xue and Xing Wei and Zhen Wei
Abstract要約: 深部CNNを創出するための一様チャネルプルーニング(UCP)手法を提案する。それらに関連する畳み込みカーネルを含む重要でないチャネルは直接プルーニングされる。 CIFAR-10, CIFAR-100, ILSVRC-2012 を用いて画像分類を行った。
参考スコア（独自算出の注目度）: 24.42067007684169
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: To apply deep CNNs to mobile terminals and portable devices, many scholars have recently worked on the compressing and accelerating deep convolutional neural networks. Based on this, we propose a novel uniform channel pruning (UCP) method to prune deep CNN, and the modified squeeze-and-excitation blocks (MSEB) is used to measure the importance of the channels in the convolutional layers. The unimportant channels, including convolutional kernels related to them, are pruned directly, which greatly reduces the storage cost and the number of calculations. There are two types of residual blocks in ResNet. For ResNet with bottlenecks, we use the pruning method with traditional CNN to trim the 3x3 convolutional layer in the middle of the blocks. For ResNet with basic residual blocks, we propose an approach to consistently prune all residual blocks in the same stage to ensure that the compact network structure is dimensionally correct. Considering that the network loses considerable information after pruning and that the larger the pruning amplitude is, the more information that will be lost, we do not choose fine-tuning but retrain from scratch to restore the accuracy of the network after pruning. Finally, we verified our method on CIFAR-10, CIFAR-100 and ILSVRC-2012 for image classification. The results indicate that the performance of the compact network after retraining from scratch, when the pruning rate is small, is better than the original network. Even when the pruning amplitude is large, the accuracy can be maintained or decreased slightly. On the CIFAR-100, when reducing the parameters and FLOPs up to 82% and 62% respectively, the accuracy of VGG-19 even improved by 0.54% after retraining.
Abstract（参考訳）: モバイル端末や携帯機器にディープcnnを適用するために、多くの研究者が最近、ディープ畳み込みニューラルネットワークの圧縮と加速に取り組んでいる。そこで本研究では, 深部CNNをプルークする一様チャネルプルーニング(UCP)手法を提案し, 畳み込み層におけるチャネルの重要性を計測するために, 改良型圧縮励磁ブロック(MSEB)を用いる。それらに関連する畳み込みカーネルを含む重要でないチャネルは直接プルーニングされ、ストレージコストと計算回数を大幅に削減する。 ResNetには2種類の残留ブロックがある。ボトルネックのあるResNetでは、ブロックの中央にある3x3畳み込み層をトリムするために、従来のCNNを使ったプルーニング手法を用いる。基本的残差ブロックを持つResNetに対して、コンパクトなネットワーク構造が次元的に正しいことを保証するため、同じステージ内の残差ブロックを一貫するアプローチを提案する。プルーニング後にネットワークがかなりの情報を失うことと、プルーニング振幅が大きくなればなるほど、失われる情報が増えることを考慮し、プルーニング後のネットワークの精度を回復するために、微調整ではなくスクラッチから再トレーニングする。 CIFAR-10, CIFAR-100, ILSVRC-2012で画像分類を行った。その結果,スクラッチから再トレーニング後の小型ネットワークの性能は,刈り取り速度が小さい場合,元のネットワークよりも良好であることが示唆された。プルーニング振幅が大きい場合でも、精度を維持またはわずかに低下させることができる。 CIFAR-100では、パラメータとFLOPをそれぞれ82%と62%に減少させると、VGG-19の精度は再トレーニング後に0.54%向上した。

関連論文リスト

Instant Complexity Reduction in CNNs using Locality-Sensitive Hashing [50.79602839359522]
本稿では,パラメータフリーでデータフリーなモジュールであるHASTE(Hashing for Tractable Efficiency)を提案する。局所性感応ハッシュ (LSH) を用いることで, 精度を犠牲にすることなく, 遅延特徴写像を劇的に圧縮することができる。特に、HASTEモジュール用のCIFAR-10上のResNet34で畳み込みモジュールを切り替えるだけで、FLOPの46.72%を即座に落とすことができる。
論文参考訳（メタデータ） (2023-09-29T13:09:40Z)
Pruning Very Deep Neural Network Channels for Efficient Inference [6.497816402045099]
トレーニングされたCNNモデルを用いて,各層を効果的にプルーする反復的2段階アルゴリズムを提案する。 VGG-16は5倍のスピードアップを実現し、エラーはわずか0.3%増加した。提案手法は,ResNet,Xceptionなどの現代のネットワークを高速化し,それぞれ2倍のスピードアップで1.4%,1.0%の精度損失を被る。
論文参考訳（メタデータ） (2022-11-14T06:48:33Z)
CHEX: CHannel EXploration for CNN Model Compression [47.3520447163165]
本稿では,これらの問題を是正するために,CHEXと呼ばれる新しいチャネル探索手法を提案する。 CheXはトレーニングプロセスを通じてチャネルを繰り返しプーンして再成長させ、重要なチャネルを早期にプルーニングするリスクを低減させる。 CHEXは様々なコンピュータビジョンタスクにおいて,多様なCNNアーキテクチャのFLOPを効果的に削減できることを示す。
論文参考訳（メタデータ） (2022-03-29T17:52:41Z)
AdaPruner: Adaptive Channel Pruning and Effective Weights Inheritance [9.3421559369389]
本稿では,各レイヤのチャネル数とサブネットワークのワイツ継承基準を適応的に決定するプルーニングフレームワークを提案する。 AdaPrunerは、切断されたネットワークを素早く、正確に、効率的に得ることができる。 ImageNetでは、MobileNetV2の32.8%のFLOPを削減し、トップ1の精度は0.62%しか低下しない。
論文参考訳（メタデータ） (2021-09-14T01:52:05Z)
AIP: Adversarial Iterative Pruning Based on Knowledge Transfer for Convolutional Neural Networks [7.147985297123097]
畳み込みニューラルネットワーク(CNN)には、かなりの計算コストがかかる。現在のプルーニング法ではCNNを少ない性能低下で圧縮することができるが、プルーニング比が大きくなると精度の低下がより深刻になる。本稿では,知識伝達に基づくCNNのための新しい逆反復刈取法(AIP)を提案する。
論文参考訳（メタデータ） (2021-08-31T02:38:36Z)
Group Fisher Pruning for Practical Network Compression [58.25776612812883]
本稿では,様々な複雑な構造に応用可能な汎用チャネルプルーニング手法を提案する。我々は、単一チャネルと結合チャネルの重要性を評価するために、フィッシャー情報に基づく統一されたメトリクスを導出する。提案手法は,結合チャネルを含む任意の構造をプルークするために利用できる。
論文参考訳（メタデータ） (2021-08-02T08:21:44Z)
ACP: Automatic Channel Pruning via Clustering and Swarm Intelligence Optimization for CNN [6.662639002101124]
近年、畳み込みニューラルネットワーク(CNN)はより深く広がっています。既存のマグニチュードベースの切断方法は効率的ですが、圧縮ネットワークのパフォーマンスは予測不可能です。新規な自動チャネル切断法(ACP)を提案する。 ACPは3つの異なる分類データセットに基づいていくつかの最先端CNNに対して評価される。
論文参考訳（メタデータ） (2021-01-16T08:56:38Z)
Layer Pruning via Fusible Residual Convolutional Block for Deep Neural Networks [15.64167076052513]
レイヤプルーニングは、同じFLOPとパラメータの数でプルーニングされる場合、推論時間と実行時のメモリ使用量が少なくなる。残差畳み込みブロック(ResConv)を用いた簡単な層切断法を提案する。本手法は, 異なるデータセット上での最先端技術に対する圧縮と加速の優れた性能を実現する。
論文参考訳（メタデータ） (2020-11-29T12:51:16Z)
ResRep: Lossless CNN Pruning via Decoupling Remembering and Forgetting [105.97936163854693]
本稿では,畳み込み層の幅(出力チャネル数)を小さくすることで,CNNをスリム化するResRepを提案する。記憶と忘れの独立性に関する神経生物学の研究から着想を得て,CNNを記憶部分と忘れ部分にパラメータ化することを提案する。私たちは、記憶と忘れ物を、より狭いレイヤで元のアーキテクチャにマージします。
論文参考訳（メタデータ） (2020-07-07T07:56:45Z)
Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
論文参考訳（メタデータ） (2020-04-06T15:51:00Z)
Discrimination-aware Network Pruning for Deep Model Compression [79.44318503847136]
既存のプルーニング手法は、スクラッチからスパーシティ制約で訓練するか、事前訓練されたモデルと圧縮されたモデルの特徴マップ間の再構成誤差を最小限に抑えるかのいずれかである。本稿では,識別能力に実際に寄与するチャネルを選択するために,識別認識チャネルプルーニング (DCP) と呼ばれる簡便な手法を提案する。画像分類と顔認識の両方の実験により,本手法の有効性が示された。
論文参考訳（メタデータ） (2020-01-04T07:07:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。