Fugu-MT 論文翻訳(概要): Pruning with Compensation: Efficient Channel Pruning for Deep Convolutional Neural Networks

論文の概要: Pruning with Compensation: Efficient Channel Pruning for Deep Convolutional Neural Networks

arxiv url: http://arxiv.org/abs/2108.13728v1
Date: Tue, 31 Aug 2021 10:17:36 GMT
ステータス: 処理完了
システム内更新日: 2021-09-01 14:29:39.434880
Title: Pruning with Compensation: Efficient Channel Pruning for Deep Convolutional Neural Networks
Title（参考訳）: 補償付きプルーニング:ディープ畳み込みニューラルネットワークのための効率的なチャネルプルーニング
Authors: Zhouyang Xie, Yan Fu, Shengzhao Tian, Junlin Zhou, Duanbing Chen
Abstract要約: 刈り込みDCNNのコストを大幅に削減する高効率刈り込み法を提案する。本手法は,最先端のリトレーニングベースプルーニング法と競合するプルーニング性能を示す。
参考スコア（独自算出の注目度）: 0.9712140341805068
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Channel pruning is a promising technique to compress the parameters of deep convolutional neural networks(DCNN) and to speed up the inference. This paper aims to address the long-standing inefficiency of channel pruning. Most channel pruning methods recover the prediction accuracy by re-training the pruned model from the remaining parameters or random initialization. This re-training process is heavily dependent on the sufficiency of computational resources, training data, and human interference(tuning the training strategy). In this paper, a highly efficient pruning method is proposed to significantly reduce the cost of pruning DCNN. The main contributions of our method include: 1) pruning compensation, a fast and data-efficient substitute of re-training to minimize the post-pruning reconstruction loss of features, 2) compensation-aware pruning(CaP), a novel pruning algorithm to remove redundant or less-weighted channels by minimizing the loss of information, and 3) binary structural search with step constraint to minimize human interference. On benchmarks including CIFAR-10/100 and ImageNet, our method shows competitive pruning performance among the state-of-the-art retraining-based pruning methods and, more importantly, reduces the processing time by 95% and data usage by 90%.
Abstract（参考訳）: チャネルプルーニングは、深層畳み込みニューラルネットワーク(dcnn)のパラメータを圧縮し、推論を高速化するための有望なテクニックである。本稿では,チャネルプルーニングの長期的非効率性に対処することを目的とする。ほとんどのチャネルプルーニング法は、残りのパラメータやランダム初期化からプルーニングモデルを再学習することで予測精度を回復する。この再学習プロセスは、計算資源、トレーニングデータ、人間の干渉(トレーニング戦略のチューニング)の充足度に大きく依存する。本稿では,DCNNのプルーニングコストを大幅に削減する高効率プルーニング手法を提案する。提案手法の主な貢献は,1)プルーニング補償,2)特徴の修復損失を最小限に抑えるための高速かつデータ効率の代替,2)プライスアウェアプルーニング(CaP),2)情報の損失を最小限に抑えることで冗長あるいは低重み付きチャネルを除去する新しいプルーニングアルゴリズム,3)ステップ制約による2次構造探索である。 CIFAR-10/100やImageNetなどのベンチマークでは、最先端のリトレーニングベースプルーニング手法と競合するプルーニング性能を示し、さらに、処理時間を95%削減し、データ使用量を90%削減した。

関連論文リスト

DRIVE: Dual Gradient-Based Rapid Iterative Pruning [2.209921757303168]
現代のディープニューラルネットワーク(DNN)は、数百万のパラメータで構成され、トレーニングと推論中にハイパフォーマンスコンピューティングを必要とする。学習後推論の合理化に焦点をあてた従来の刈り込み手法は, 訓練前の刈り込みによって早期に疎水性を活用する試みが近年行われている。創発に固有のランダム性に対処するために,初期エポックに対する濃密なトレーニングを活用するDual Gradient-Based Rapid Iterative Pruning (DRIVE)を提案する。
論文参考訳（メタデータ） (2024-04-01T20:44:28Z)
Towards Memory- and Time-Efficient Backpropagation for Training Spiking Neural Networks [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックコンピューティングのためのエネルギー効率の高いモデルである。本研究では,学習効率を大幅に向上させつつ,高い性能を達成できる空間学習時間(SLTT)法を提案する。 BPTTと比較して, メモリコストとトレーニング時間は, それぞれ70%以上, 50%以上削減されている。
論文参考訳（メタデータ） (2023-02-28T05:01:01Z)
Learning a Consensus Sub-Network with Polarization Regularization and One Pass Training [3.2214522506924093]
プルーニングスキームは、静的プルーニングのための反復的なトレーニングと微調整、動的プルーニンググラフの繰り返し計算によって、余分なオーバーヘッドを生み出す。本稿では,より軽量なサブネットワークを学習するためのパラメータ解析手法を提案する。 CIFAR-10 と CIFAR-100 を用いた結果,分類精度が1% 未満の深層ネットワークにおける接続の50%を除去できることが示唆された。
論文参考訳（メタデータ） (2023-02-17T09:37:17Z)
Trainability Preserving Neural Structured Pruning [64.65659982877891]
本稿では,正規化型構造化プルーニング法であるTPP(Traiability Preserving pruning)を提案する。 TPPは線形ネットワーク上での地中動力学的等尺性回復法と競合する。多くのトップパフォーマンスのフィルタプルーニング手法と比較して、優れたパフォーマンスを提供する。
論文参考訳（メタデータ） (2022-07-25T21:15:47Z)
CATRO: Channel Pruning via Class-Aware Trace Ratio Optimization [61.71504948770445]
本稿では,CATRO (Class-Aware Trace Ratio Optimization) を用いた新しいチャネルプルーニング手法を提案する。 CATROは、他の最先端チャネルプルーニングアルゴリズムと同等の精度で、同様のコストまたは低コストで高い精度を達成できることを示す。 CATROは、クラス認識の特性のため、様々な分類サブタスクに適応的に効率の良いネットワークを創り出すのに適している。
論文参考訳（メタデータ） (2021-10-21T06:26:31Z)
Sparse Training via Boosting Pruning Plasticity with Neuroregeneration [79.78184026678659]
本研究では, プラスティック性の観点から, 訓練を通しての刈り込みの効果について検討した。ゼロコスト神経再生(GraNet)と動的スパーストレーニング(DST)変異(GraNet-ST)を併用した段階的プラニング(gradual pruning)法を考案した。おそらく最も印象的なのは、ImageNet上のResNet-50との大きなマージンで、さまざまな密集したスパースメソッドに対するスパース・ツー・スパーストレーニングのパフォーマンスを初めて向上させたことだ。
論文参考訳（メタデータ） (2021-06-19T02:09:25Z)
Hessian-Aware Pruning and Optimal Neural Implant [74.3282611517773]
プルーニングは、ニューラルネットワークモデルに関連するメモリフットプリントとフラップを減らす効果的な方法である。構造的プルーニングの指標として2次感度を用いたニューラルインプラントアプローチと組み合わされた新しいヘッセン認識プルーニング法を提案する。
論文参考訳（メタデータ） (2021-01-22T04:08:03Z)
UCP: Uniform Channel Pruning for Deep Convolutional Neural Networks Compression and Acceleration [24.42067007684169]
深部CNNを創出するための一様チャネルプルーニング(UCP)手法を提案する。それらに関連する畳み込みカーネルを含む重要でないチャネルは直接プルーニングされる。 CIFAR-10, CIFAR-100, ILSVRC-2012 を用いて画像分類を行った。
論文参考訳（メタデータ） (2020-10-03T01:51:06Z)
Rapid Structural Pruning of Neural Networks with Set-based Task-Adaptive Meta-Pruning [83.59005356327103]
既存のプルーニング技術に共通する制限は、プルーニングの前に少なくとも1回はネットワークの事前トレーニングが必要であることである。本稿では,ターゲットデータセットの関数としてプルーニングマスクを生成することにより,大規模な参照データセット上で事前訓練されたネットワークをタスク適応的にプルークするSTAMPを提案する。ベンチマークデータセット上での最近の先進的なプルーニング手法に対するSTAMPの有効性を検証する。
論文参考訳（メタデータ） (2020-06-22T10:57:43Z)
Pruning Filters while Training for Efficiently Optimizing Deep Learning Networks [6.269700080380206]
深層ネットワークの重みを少なくするプルーニング技術が提案されている。本研究では,訓練中に深層ネットワークのフィルタをプーンする動的プルーニング学習手法を提案する。その結果, フィルタの50%をプルーニングすると, ほぼ精度の低下のない圧縮ネットワークが得られることがわかった。
論文参考訳（メタデータ） (2020-03-05T18:05:17Z)
Gradual Channel Pruning while Training using Feature Relevance Scores for Convolutional Neural Networks [6.534515590778012]
プルーニングは、ディープネットワーク圧縮に使用される主要なアプローチの1つである。そこで本研究では,新しいデータ駆動計測法を用いて,学習手法を訓練しながら,簡便な効率の段階的なチャネルプルーニングを提案する。本稿では,VGGやResNetなどのアーキテクチャにおける提案手法の有効性を示す。
論文参考訳（メタデータ） (2020-02-23T17:56:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。