論文の概要: Gradual Channel Pruning while Training using Feature Relevance Scores
for Convolutional Neural Networks
- arxiv url: http://arxiv.org/abs/2002.09958v2
- Date: Wed, 29 Apr 2020 15:01:47 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-29 09:03:13.322224
- Title: Gradual Channel Pruning while Training using Feature Relevance Scores
for Convolutional Neural Networks
- Title（参考訳）: 畳み込みニューラルネットワークのための特徴関連スコアを用いた訓練中の経時的チャネルプルーニング
- Authors: Sai Aparna Aketi, Sourjya Roy, Anand Raghunathan, Kaushik Roy
- Abstract要約: プルーニングは、ディープネットワーク圧縮に使用される主要なアプローチの1つである。
そこで本研究では,新しいデータ駆動計測法を用いて,学習手法を訓練しながら,簡便な効率の段階的なチャネルプルーニングを提案する。
本稿では,VGGやResNetなどのアーキテクチャにおける提案手法の有効性を示す。
- 参考スコア（独自算出の注目度）: 6.534515590778012
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The enormous inference cost of deep neural networks can be scaled down by
network compression. Pruning is one of the predominant approaches used for deep
network compression. However, existing pruning techniques have one or more of
the following limitations: 1) Additional energy cost on top of the compute
heavy training stage due to pruning and fine-tuning stages, 2) Layer-wise
pruning based on the statistics of a particular, ignoring the effect of error
propagation in the network, 3) Lack of an efficient estimate for determining
the important channels globally, 4) Unstructured pruning requires specialized
hardware for effective use. To address all the above issues, we present a
simple-yet-effective gradual channel pruning while training methodology using a
novel data-driven metric referred to as feature relevance score. The proposed
technique gets rid of the additional retraining cycles by pruning the least
important channels in a structured fashion at fixed intervals during the actual
training phase. Feature relevance scores help in efficiently evaluating the
contribution of each channel towards the discriminative power of the network.
We demonstrate the effectiveness of the proposed methodology on architectures
such as VGG and ResNet using datasets such as CIFAR-10, CIFAR-100 and ImageNet,
and successfully achieve significant model compression while trading off less
than $1\%$ accuracy. Notably on CIFAR-10 dataset trained on ResNet-110, our
approach achieves $2.4\times$ compression and a $56\%$ reduction in FLOPs with
an accuracy drop of $0.01\%$ compared to the unpruned network.
- Abstract（参考訳）: ディープニューラルネットワークの膨大な推論コストは、ネットワーク圧縮によってスケールダウンすることができる。
プルーニングは、ディープネットワーク圧縮に使われる主要なアプローチの1つである。
しかし、既存の刈り取り技術には、次のような制限がある。
1)刈り込みおよび微調整工程による計算重度訓練段階の上におけるエネルギーコストの増大。
2)ネットワークにおける誤り伝播の影響を無視して,特定の統計値に基づく層別プルーニングを行う。
3) グローバルに重要なチャネルを決定するための効率的な見積もりの欠如。
4)非構造化プルーニングは、有効利用のために特別なハードウェアを必要とする。
以上の課題に対処するために,特徴関連スコアと呼ばれる新しいデータ駆動メトリックを用いた訓練手法を実践しながら,単純かつ効果的な段階的なチャネルプルーニングを提案する。
提案手法は,実際の訓練期間中に一定の間隔で,構造化された方法で最重要でないチャネルを刈り取ることにより,追加のリトレーニングサイクルを解消する。
特徴関連スコアは、ネットワークの識別力に対する各チャネルの寄与を効率的に評価するのに役立つ。
CIFAR-10, CIFAR-100, ImageNet などのデータセットを用いた VGG や ResNet などのアーキテクチャにおける提案手法の有効性を実証し, 精度を1\% 以下に抑えながら重要なモデル圧縮を実現した。
特に、ResNet-110でトレーニングされたCIFAR-10データセットでは、未処理のネットワークと比較して精度が0.01\%のFLOPの2.4\times$圧縮と56\%$削減を実現しています。
関連論文リスト
- Instant Complexity Reduction in CNNs using Locality-Sensitive Hashing [50.79602839359522]
本稿では,パラメータフリーでデータフリーなモジュールであるHASTE(Hashing for Tractable Efficiency)を提案する。
局所性感応ハッシュ (LSH) を用いることで, 精度を犠牲にすることなく, 遅延特徴写像を劇的に圧縮することができる。
特に、HASTEモジュール用のCIFAR-10上のResNet34で畳み込みモジュールを切り替えるだけで、FLOPの46.72%を即座に落とすことができる。
論文 参考訳（メタデータ） (2023-09-29T13:09:40Z) - Learning a Consensus Sub-Network with Polarization Regularization and
One Pass Training [3.2214522506924093]
プルーニングスキームは、静的プルーニングのための反復的なトレーニングと微調整、動的プルーニンググラフの繰り返し計算によって、余分なオーバーヘッドを生み出す。
本稿では,より軽量なサブネットワークを学習するためのパラメータ解析手法を提案する。
CIFAR-10 と CIFAR-100 を用いた結果,分類精度が1% 未満の深層ネットワークにおける接続の50%を除去できることが示唆された。
論文 参考訳（メタデータ） (2023-02-17T09:37:17Z) - CATRO: Channel Pruning via Class-Aware Trace Ratio Optimization [61.71504948770445]
本稿では,CATRO (Class-Aware Trace Ratio Optimization) を用いた新しいチャネルプルーニング手法を提案する。
CATROは、他の最先端チャネルプルーニングアルゴリズムと同等の精度で、同様のコストまたは低コストで高い精度を達成できることを示す。
CATROは、クラス認識の特性のため、様々な分類サブタスクに適応的に効率の良いネットワークを創り出すのに適している。
論文 参考訳（メタデータ） (2021-10-21T06:26:31Z) - Pruning with Compensation: Efficient Channel Pruning for Deep
Convolutional Neural Networks [0.9712140341805068]
刈り込みDCNNのコストを大幅に削減する高効率刈り込み法を提案する。
本手法は,最先端のリトレーニングベースプルーニング法と競合するプルーニング性能を示す。
論文 参考訳（メタデータ） (2021-08-31T10:17:36Z) - BWCP: Probabilistic Learning-to-Prune Channels for ConvNets via Batch
Whitening [63.081808698068365]
本稿では,畳み込みニューラルネットワーク(cnns)を高速化する確率的チャネルプルーニング手法を提案する。
以前は、訓練中の重要でないチャンネルを決定論的な方法でゼロにすることが多く、CNNの学習能力が低下し、最適なパフォーマンスが得られます。
本研究では, バッチホワイトニングチャネルプルーニング (BWCP) と呼ばれる確率ベースのプルーニングアルゴリズムを開発し, チャネルの活性化の確率をモデル化することにより, 重要でないチャネルを自動破棄する。
論文 参考訳（メタデータ） (2021-05-13T17:00:05Z) - A Simple Fine-tuning Is All You Need: Towards Robust Deep Learning Via
Adversarial Fine-tuning [90.44219200633286]
我々は,$textitslow start, fast decay$ learning rate schedulingストラテジーに基づく,単純かつ非常に効果的な敵の微調整手法を提案する。
実験の結果,提案手法はCIFAR-10, CIFAR-100, ImageNetデータセットの最先端手法よりも優れていた。
論文 参考訳（メタデータ） (2020-12-25T20:50:15Z) - Rapid Structural Pruning of Neural Networks with Set-based Task-Adaptive
Meta-Pruning [83.59005356327103]
既存のプルーニング技術に共通する制限は、プルーニングの前に少なくとも1回はネットワークの事前トレーニングが必要であることである。
本稿では,ターゲットデータセットの関数としてプルーニングマスクを生成することにより,大規模な参照データセット上で事前訓練されたネットワークをタスク適応的にプルークするSTAMPを提案する。
ベンチマークデータセット上での最近の先進的なプルーニング手法に対するSTAMPの有効性を検証する。
論文 参考訳（メタデータ） (2020-06-22T10:57:43Z) - PruneNet: Channel Pruning via Global Importance [22.463154358632472]
本稿では,計算的に軽量で効率的なデータ駆動最適化ステップに基づいて,チャネルを刈り取る方法を提案する。
In non-uniform pruning on the layer on ResNet-$50$, we can be match the FLOP reduction of State-of-the-art channel pruning results。
論文 参考訳（メタデータ） (2020-05-22T17:09:56Z) - Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。
標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
論文 参考訳（メタデータ） (2020-04-06T15:51:00Z) - Picking Winning Tickets Before Training by Preserving Gradient Flow [9.67608102763644]
効率的なトレーニングには,ネットワーク内の勾配流の保存が必要である,と我々は主張する。
CIFAR-10, CIFAR-100, Tiny-ImageNet, ImageNetにおいて, 提案手法の有効性を実験的に検討した。
論文 参考訳（メタデータ） (2020-02-18T05:14:47Z) - Activation Density driven Energy-Efficient Pruning in Training [2.222917681321253]
本研究では,トレーニング中にネットワークをリアルタイムでプーンする新しいプルーニング手法を提案する。
ベースラインネットワークに匹敵する精度で、非常に疎いネットワークを得る。
論文 参考訳（メタデータ） (2020-02-07T18:34:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。