論文の概要: AACP: Model Compression by Accurate and Automatic Channel Pruning
- arxiv url: http://arxiv.org/abs/2102.00390v1
- Date: Sun, 31 Jan 2021 06:19:29 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-02 16:33:44.511282
- Title: AACP: Model Compression by Accurate and Automatic Channel Pruning
- Title（参考訳）: AACP:高精度・自動チャンネルプルーニングによるモデル圧縮
- Authors: Lanbo Lin, Yujiu Yang, Zhenhua Guo
- Abstract要約: チャネルプルーニングは近年、ニューラルアーキテクチャサーチ(NAS)問題として定式化されている。
既存のNASベースの手法は、膨大な計算コストとアプリケーションの柔軟性に悩まされている。
本稿では,これらの問題に対処する新しい高精度・自動チャネル・プルーニング法を提案する。
- 参考スコア（独自算出の注目度）: 15.808153503786627
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Channel pruning is formulated as a neural architecture search (NAS) problem
recently. However, existing NAS-based methods are challenged by huge
computational cost and inflexibility of applications. How to deal with multiple
sparsity constraints simultaneously and speed up NAS-based channel pruning are
still open challenges. In this paper, we propose a novel Accurate and Automatic
Channel Pruning (AACP) method to address these problems. Firstly, AACP
represents the structure of a model as a structure vector and introduces a
pruning step vector to control the compressing granularity of each layer.
Secondly, AACP utilizes Pruned Structure Accuracy Estimator (PSAE) to speed up
the performance estimation process. Thirdly, AACP proposes Improved
Differential Evolution (IDE) algorithm to search the optimal structure vector
effectively. Because of IDE, AACP can deal with FLOPs constraint and model size
constraint simultaneously and efficiently. Our method can be easily applied to
various tasks and achieve state of the art performance. On CIFAR10, our method
reduces $65\%$ FLOPs of ResNet110 with an improvement of $0.26\%$ top-1
accuracy. On ImageNet, we reduce $42\%$ FLOPs of ResNet50 with a small loss of
$0.18\%$ top-1 accuracy and reduce $30\%$ FLOPs of MobileNetV2 with a small
loss of $0.7\%$ top-1 accuracy. The source code will be released after
publication.
- Abstract（参考訳）: チャネル切断は最近、神経アーキテクチャ探索(NAS)問題として定式化されている。
しかし、既存のNASベースの手法は、膨大な計算コストとアプリケーションの柔軟性に悩まされている。
複数のスパーシティの制約を同時に処理し、NASベースのチャネル切断をスピードアップする方法はまだオープンな課題です。
本稿では,これらの問題に対処するために,AACP(Accurate and Automatic Channel Pruning)方式を提案する。
第一に、AACPはモデルの構造を構造ベクトルとして表現し、各層の圧縮粒度を制御するpruning step vectorを導入する。
第二に、AACPはPruned Structure Accuracy Estimator (PSAE) を用いて性能推定プロセスを高速化する。
第3に、AACPは最適な構造ベクトルを効率的に探索するための改良微分進化(IDE)アルゴリズムを提案する。
IDEにより、AACPはFLOPの制約とモデルサイズ制約を同時に効率的に扱うことができる。
本手法は,様々なタスクに容易に適用でき,技術性能の達成も可能である。
CIFAR10 では,ResNet110 の 65 %$ FLOP を削減し,0.26 %$ top-1 精度を向上した。
ImageNet では、ResNet50 の $2\%$ FLOP を $0.18\%$ top-1 の小さな損失で削減し、MobileNetV2 の $30\%$ FLOP を $0.7\%$ top-1 の小さな損失で削減します。
ソースコードは公開後に公開されます。
関連論文リスト
- FALCON: FLOP-Aware Combinatorial Optimization for Neural Network Pruning [17.60353530072587]
ネットワークプルーニングは、性能を維持しながら、モデルサイズと計算コストを削減するソリューションを提供する。
現在のプルーニング法のほとんどは、非ゼロパラメータの数を減らし、空間性を改善することに重点を置いている。
本稿では,FALCONを提案する。FALCONは,モデル精度(忠実度),FLOP,スペーサ性制約を考慮に入れた,ネットワークプルーニングを最適化した新しいフレームワークである。
論文 参考訳（メタデータ） (2024-03-11T18:40:47Z) - Instant Complexity Reduction in CNNs using Locality-Sensitive Hashing [50.79602839359522]
本稿では,パラメータフリーでデータフリーなモジュールであるHASTE(Hashing for Tractable Efficiency)を提案する。
局所性感応ハッシュ (LSH) を用いることで, 精度を犠牲にすることなく, 遅延特徴写像を劇的に圧縮することができる。
特に、HASTEモジュール用のCIFAR-10上のResNet34で畳み込みモジュールを切り替えるだけで、FLOPの46.72%を即座に落とすことができる。
論文 参考訳（メタデータ） (2023-09-29T13:09:40Z) - End-to-End Neural Network Compression via $\frac{\ell_1}{\ell_2}$
Regularized Latency Surrogates [20.31383698391339]
我々のアルゴリズムは多用途であり、プルーニング、低ランク因数分解、量子化など多くの一般的な圧縮手法で利用することができる。
高速で、シングルモデルトレーニングとほぼ同じ時間で実行される。
論文 参考訳（メタデータ） (2023-06-09T09:57:17Z) - Pruning-as-Search: Efficient Neural Architecture Search via Channel
Pruning and Structural Reparameterization [50.50023451369742]
プルーニング・アズ・サーチ(Pruning-as-Search、PaS)は、必要なサブネットワークを自動的に効率的に検索するエンドツーエンドのプルーニング手法である。
提案したアーキテクチャは,ImageNet-1000分類タスクにおいて,1.0%$ Top-1精度で先行技術より優れていた。
論文 参考訳（メタデータ） (2022-06-02T17:58:54Z) - Iterative Activation-based Structured Pruning [5.445935252764351]
反復的アクティベーションに基づくプルーニングと適応的アクティベーションに基づくプルーニングを提案する。
IAPとAIAPの精度損失は1%に過ぎず、LeNet-5では7.75Xと15.88$X、ResNet-50では1.25Xと1.71Xとなる。
論文 参考訳（メタデータ） (2022-01-22T00:48:12Z) - Automatic Mapping of the Best-Suited DNN Pruning Schemes for Real-Time
Mobile Acceleration [71.80326738527734]
本稿では,汎用的,きめ細かな構造化プルーニング手法とコンパイラの最適化を提案する。
提案手法は,より微細な構造化プルーニング手法とともに,最先端のDNN最適化フレームワークよりも優れていることを示す。
論文 参考訳（メタデータ） (2021-11-22T23:53:14Z) - CATRO: Channel Pruning via Class-Aware Trace Ratio Optimization [61.71504948770445]
本稿では,CATRO (Class-Aware Trace Ratio Optimization) を用いた新しいチャネルプルーニング手法を提案する。
CATROは、他の最先端チャネルプルーニングアルゴリズムと同等の精度で、同様のコストまたは低コストで高い精度を達成できることを示す。
CATROは、クラス認識の特性のため、様々な分類サブタスクに適応的に効率の良いネットワークを創り出すのに適している。
論文 参考訳（メタデータ） (2021-10-21T06:26:31Z) - ACP: Automatic Channel Pruning via Clustering and Swarm Intelligence
Optimization for CNN [6.662639002101124]
近年、畳み込みニューラルネットワーク(CNN)はより深く広がっています。
既存のマグニチュードベースの切断方法は効率的ですが、圧縮ネットワークのパフォーマンスは予測不可能です。
新規な自動チャネル切断法(ACP)を提案する。
ACPは3つの異なる分類データセットに基づいていくつかの最先端CNNに対して評価される。
論文 参考訳（メタデータ） (2021-01-16T08:56:38Z) - Single-path Bit Sharing for Automatic Loss-aware Model Compression [126.98903867768732]
シングルパスビット共有(SBS)は、計算コストを大幅に削減し、有望な性能を達成する。
SBS圧縮MobileNetV2は、Top-1の精度がわずか0.1%低下した22.6倍ビット演算(BOP)を実現する。
論文 参考訳（メタデータ） (2021-01-13T08:28:21Z) - AQD: Towards Accurate Fully-Quantized Object Detection [94.06347866374927]
本稿では,浮動小数点演算を除去するために,AQDと呼ばれる高精度な量子化オブジェクト検出ソリューションを提案する。
我々のAQDは、非常に低ビットのスキームの下での完全精度と比較して、同等またはそれ以上の性能を実現しています。
論文 参考訳（メタデータ） (2020-07-14T09:07:29Z) - Gradual Channel Pruning while Training using Feature Relevance Scores
for Convolutional Neural Networks [6.534515590778012]
プルーニングは、ディープネットワーク圧縮に使用される主要なアプローチの1つである。
そこで本研究では,新しいデータ駆動計測法を用いて,学習手法を訓練しながら,簡便な効率の段階的なチャネルプルーニングを提案する。
本稿では,VGGやResNetなどのアーキテクチャにおける提案手法の有効性を示す。
論文 参考訳（メタデータ） (2020-02-23T17:56:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。