論文の概要: AIP: Adversarial Iterative Pruning Based on Knowledge Transfer for
Convolutional Neural Networks
- arxiv url: http://arxiv.org/abs/2108.13591v1
- Date: Tue, 31 Aug 2021 02:38:36 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-01 14:30:51.158182
- Title: AIP: Adversarial Iterative Pruning Based on Knowledge Transfer for
Convolutional Neural Networks
- Title（参考訳）: aip:畳み込みニューラルネットワークのための知識伝達に基づく逆反復プルーニング
- Authors: Jingfei Chang, Yang Lu, Ping Xue, Yiqun Xu and Zhen Wei
- Abstract要約: 畳み込みニューラルネットワーク(CNN)には、かなりの計算コストがかかる。
現在のプルーニング法ではCNNを少ない性能低下で圧縮することができるが、プルーニング比が大きくなると精度の低下がより深刻になる。
本稿では,知識伝達に基づくCNNのための新しい逆反復刈取法(AIP)を提案する。
- 参考スコア（独自算出の注目度）: 7.147985297123097
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the increase of structure complexity, convolutional neural networks
(CNNs) take a fair amount of computation cost. Meanwhile, existing research
reveals the salient parameter redundancy in CNNs. The current pruning methods
can compress CNNs with little performance drop, but when the pruning ratio
increases, the accuracy loss is more serious. Moreover, some iterative pruning
methods are difficult to accurately identify and delete unimportant parameters
due to the accuracy drop during pruning. We propose a novel adversarial
iterative pruning method (AIP) for CNNs based on knowledge transfer. The
original network is regarded as the teacher while the compressed network is the
student. We apply attention maps and output features to transfer information
from the teacher to the student. Then, a shallow fully-connected network is
designed as the discriminator to allow the output of two networks to play an
adversarial game, thereby it can quickly recover the pruned accuracy among
pruning intervals. Finally, an iterative pruning scheme based on the importance
of channels is proposed. We conduct extensive experiments on the image
classification tasks CIFAR-10, CIFAR-100, and ILSVRC-2012 to verify our pruning
method can achieve efficient compression for CNNs even without accuracy loss.
On the ILSVRC-2012, when removing 36.78% parameters and 45.55% floating-point
operations (FLOPs) of ResNet-18, the Top-1 accuracy drop are only 0.66%. Our
method is superior to some state-of-the-art pruning schemes in terms of
compressing rate and accuracy. Moreover, we further demonstrate that AIP has
good generalization on the object detection task PASCAL VOC.
- Abstract（参考訳）: 構造複雑性の増大に伴い、畳み込みニューラルネットワーク(CNN)は計算コストを大幅に削減する。
一方,既存の研究では,CNNにおける有意なパラメータ冗長性を明らかにしている。
現在のプルーニング法ではCNNを少ない性能低下で圧縮することができるが、プルーニング比が大きくなると精度損失がより深刻になる。
さらに, 刈り込み時の精度低下により, 重要でないパラメータを正確に識別・削除することは困難である。
本稿では,知識伝達に基づくCNNのための新しい逆反復刈取法(AIP)を提案する。
オリジナルのネットワークは教師と見なされ、圧縮されたネットワークは学生である。
教師から生徒への情報を伝達するために注意マップと出力特徴を適用した。
そして、2つのネットワークの出力を対角ゲームでプレイできるように、浅い完全接続ネットワークを判別器として設計し、プルーニング間隔間のプルーニング精度を迅速に回復する。
最後に,チャネルの重要性に基づいた反復的プルーニング方式を提案する。
画像分類タスクCIFAR-10, CIFAR-100, ILSVRC-2012の広範な実験を行い, 精度の低下を伴わずに, CNNの効率的な圧縮を実現する方法を検証する。
ILSVRC-2012では、ResNet-18の36.78%のパラメータと45.55%の浮動小数点演算(FLOP)が削除された。
本手法は圧縮率と精度の点で最先端の刈り取り方式よりも優れている。
さらに,物体検出タスクPASCAL VOCに対して,AIPが優れた一般化を行うことを示す。
関連論文リスト
- Instant Complexity Reduction in CNNs using Locality-Sensitive Hashing [50.79602839359522]
本稿では,パラメータフリーでデータフリーなモジュールであるHASTE(Hashing for Tractable Efficiency)を提案する。
局所性感応ハッシュ (LSH) を用いることで, 精度を犠牲にすることなく, 遅延特徴写像を劇的に圧縮することができる。
特に、HASTEモジュール用のCIFAR-10上のResNet34で畳み込みモジュールを切り替えるだけで、FLOPの46.72%を即座に落とすことができる。
論文 参考訳（メタデータ） (2023-09-29T13:09:40Z) - Can pruning improve certified robustness of neural networks? [106.03070538582222]
ニューラルネット・プルーニングはディープ・ニューラル・ネットワーク(NN)の実証的ロバスト性を向上させることができることを示す。
実験の結果,NNを適切に刈り取ることで,その精度を8.2%まで向上させることができることがわかった。
さらに,認証された宝くじの存在が,従来の密集モデルの標準および認証された堅牢な精度に一致することを観察する。
論文 参考訳（メタデータ） (2022-06-15T05:48:51Z) - SAR Despeckling Using Overcomplete Convolutional Networks [53.99620005035804]
スペックルはSAR画像を劣化させるため、リモートセンシングにおいて重要な問題である。
近年の研究では、畳み込みニューラルネットワーク(CNN)が古典的解法よりも優れていることが示されている。
本研究は、受容場を制限することで低レベルの特徴を学習することに集中するために、過剰なCNNアーキテクチャを用いる。
本稿では,合成および実SAR画像の非特定化手法と比較して,提案手法により非特定化性能が向上することを示す。
論文 参考訳（メタデータ） (2022-05-31T15:55:37Z) - A Passive Similarity based CNN Filter Pruning for Efficient Acoustic
Scene Classification [23.661189257759535]
音響シーン分類(ASC)のための低複雑さ畳み込みニューラルネットワーク(CNN)の開発手法を提案する。
本稿では,CNNからの畳み込みフィルタを除去し,圧縮したCNNを生成するパッシブ・フィルタ・プルーニング・フレームワークを提案する。
提案手法は単純で,パラメータが25%少なく,精度が1%以下で,推論当たりの計算量を27%削減する。
論文 参考訳（メタデータ） (2022-03-29T17:00:06Z) - An Experimental Study of the Impact of Pre-training on the Pruning of a
Convolutional Neural Network [0.0]
近年、ディープニューラルネットワークは様々なアプリケーション領域で広く成功している。
ディープニューラルネットワークは通常、ネットワークの重みに対応する多数のパラメータを含む。
プルーニング法は特に、無関係な重みを識別して取り除くことにより、パラメータセットのサイズを減らそうとしている。
論文 参考訳（メタデータ） (2021-12-15T16:02:15Z) - Deep Structured Instance Graph for Distilling Object Detectors [82.16270736573176]
本稿では,検出システム内の情報を利用して,検出知識の蒸留を容易にするための簡単な知識構造を提案する。
我々は,1段と2段の両方の検出器上で,多様な学生-教師ペアによるCOCOオブジェクト検出の課題に対して,新しい最先端の成果を達成した。
論文 参考訳（メタデータ） (2021-09-27T08:26:00Z) - ACP: Automatic Channel Pruning via Clustering and Swarm Intelligence
Optimization for CNN [6.662639002101124]
近年、畳み込みニューラルネットワーク(CNN)はより深く広がっています。
既存のマグニチュードベースの切断方法は効率的ですが、圧縮ネットワークのパフォーマンスは予測不可能です。
新規な自動チャネル切断法(ACP)を提案する。
ACPは3つの異なる分類データセットに基づいていくつかの最先端CNNに対して評価される。
論文 参考訳（メタデータ） (2021-01-16T08:56:38Z) - UCP: Uniform Channel Pruning for Deep Convolutional Neural Networks
Compression and Acceleration [24.42067007684169]
深部CNNを創出するための一様チャネルプルーニング(UCP)手法を提案する。
それらに関連する畳み込みカーネルを含む重要でないチャネルは直接プルーニングされる。
CIFAR-10, CIFAR-100, ILSVRC-2012 を用いて画像分類を行った。
論文 参考訳（メタデータ） (2020-10-03T01:51:06Z) - RIFLE: Backpropagation in Depth for Deep Transfer Learning through
Re-Initializing the Fully-connected LayEr [60.07531696857743]
事前訓練されたモデルを用いたディープ畳み込みニューラルネットワーク(CNN)の微調整は、より大きなデータセットから学習した知識をターゲットタスクに転送するのに役立つ。
転送学習環境におけるバックプロパゲーションを深める戦略であるRIFLEを提案する。
RIFLEは、深いCNN層の重み付けに意味のあるアップデートをもたらし、低レベルの機能学習を改善する。
論文 参考訳（メタデータ） (2020-07-07T11:27:43Z) - EagleEye: Fast Sub-net Evaluation for Efficient Neural Network Pruning [82.54669314604097]
EagleEyeは、適応型バッチ正規化に基づく、シンプルだが効率的な評価コンポーネントである。
異なる破砕された構造と最終的な精度の間に強い相関関係が明らかになる。
このモジュールは、既存のプルーニングアルゴリズムをプラグインし改善するためにも一般的である。
論文 参考訳（メタデータ） (2020-07-06T01:32:31Z) - Gradual Channel Pruning while Training using Feature Relevance Scores
for Convolutional Neural Networks [6.534515590778012]
プルーニングは、ディープネットワーク圧縮に使用される主要なアプローチの1つである。
そこで本研究では,新しいデータ駆動計測法を用いて,学習手法を訓練しながら,簡便な効率の段階的なチャネルプルーニングを提案する。
本稿では,VGGやResNetなどのアーキテクチャにおける提案手法の有効性を示す。
論文 参考訳（メタデータ） (2020-02-23T17:56:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。