論文の概要: Pruning Filters while Training for Efficiently Optimizing Deep Learning Networks

• arxiv url: http://arxiv.org/abs/2003.02800v1
• Date: Thu, 5 Mar 2020 18:05:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-26 06:32:18.139913
• Title: Pruning Filters while Training for Efficiently Optimizing Deep Learning Networks
• Title（参考訳）: ディープラーニングネットワークの効率的な最適化のための学習中のプルーニングフィルタ
• Authors: Sourjya Roy, Priyadarshini Panda, Gopalakrishnan Srinivasan, and Anand Raghunathan
• Abstract要約: 深層ネットワークの重みを少なくするプルーニング技術が提案されている。 本研究では,訓練中に深層ネットワークのフィルタをプーンする動的プルーニング学習手法を提案する。 その結果, フィルタの50%をプルーニングすると, ほぼ精度の低下のない圧縮ネットワークが得られることがわかった。
• 参考スコア（独自算出の注目度）: 6.269700080380206
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern deep networks have millions to billions of parameters, which leads to high memory and energy requirements during training as well as during inference on resource-constrained edge devices. Consequently, pruning techniques have been proposed that remove less significant weights in deep networks, thereby reducing their memory and computational requirements. Pruning is usually performed after training the original network, and is followed by further retraining to compensate for the accuracy loss incurred during pruning. The prune-and-retrain procedure is repeated iteratively until an optimum tradeoff between accuracy and efficiency is reached. However, such iterative retraining adds to the overall training complexity of the network. In this work, we propose a dynamic pruning-while-training procedure, wherein we prune filters of the convolutional layers of a deep network during training itself, thereby precluding the need for separate retraining. We evaluate our dynamic pruning-while-training approach with three different pre-existing pruning strategies, viz. mean activation-based pruning, random pruning, and L1 normalization-based pruning. Our results for VGG-16 trained on CIFAR10 shows that L1 normalization provides the best performance among all the techniques explored in this work with less than 1% drop in accuracy after pruning 80% of the filters compared to the original network. We further evaluated the L1 normalization based pruning mechanism on CIFAR100. Results indicate that pruning while training yields a compressed network with almost no accuracy loss after pruning 50% of the filters compared to the original network and ~5% loss for high pruning rates (>80%). The proposed pruning methodology yields 41% reduction in the number of computations and memory accesses during training for CIFAR10, CIFAR100 and ImageNet compared to training with retraining for 10 epochs .
• Abstract（参考訳）: 現代のディープネットワークには数百万から数十億のパラメータがあり、トレーニングやリソース制約のあるエッジデバイスでの推論において、高いメモリとエネルギー要件をもたらす。 その結果、ディープネットワークの重みを少なくし、メモリと計算の要求を減少させるプルーニング手法が提案されている。 プルーニングは通常、元のネットワークをトレーニングした後で行われ、プルーニング中に発生する精度損失を補うためにさらにトレーニングが行われる。 精度と効率の最適なトレードオフに到達するまで、プルーネ・アンド・リトラクション手順を反復的に繰り返す。 しかし、このような反復的再トレーニングは、ネットワーク全体のトレーニングの複雑さを増す。 そこで本研究では,深層ネットワークの畳み込み層のフィルタを学習中にプルーニングし,分離した再トレーニングの必要性を未然に防ぐ動的プルーニング・イズ・トレーニング手法を提案する。 我々は,既存の3種類のプルーニング戦略 (viz. mean activation-based pruning, random pruning, l1 normalization-based pruning) を用いて動的プルーニング・イズ・トレーニング手法を評価する。 CIFAR10でトレーニングしたVGG-16の結果,L1の正規化は,元のネットワークと比較してフィルタの80%を切断した後,1%未満の精度で,本研究で検討したすべての手法の中で最高の性能を提供することが示された。 さらに, CIFAR100上でのL1正規化に基づくプルーニング機構について検討した。 その結果, プレニング中のプレニングは, 従来のネットワークに比べて50%のフィルタをプルーニングし, 高プルーニング率 (>80%) で約5%の精度で圧縮されたネットワークが得られることがわかった。 提案手法は, CIFAR10, CIFAR100, ImageNetのトレーニング中の計算量とメモリアクセス数を, 10時間後のトレーニングと比較して41%削減する。

関連論文リスト

• Learning a Consensus Sub-Network with Polarization Regularization and One Pass Training [3.2214522506924093]
  プルーニングスキームは、静的プルーニングのための反復的なトレーニングと微調整、動的プルーニンググラフの繰り返し計算によって、余分なオーバーヘッドを生み出す。 本稿では,より軽量なサブネットワークを学習するためのパラメータ解析手法を提案する。 CIFAR-10 と CIFAR-100 を用いた結果,分類精度が1% 未満の深層ネットワークにおける接続の50%を除去できることが示唆された。
  論文  参考訳（メタデータ） (2023-02-17T09:37:17Z)
• Trainability Preserving Neural Structured Pruning [64.65659982877891]
  本稿では,正規化型構造化プルーニング法であるTPP(Traiability Preserving pruning)を提案する。 TPPは線形ネットワーク上での地中動力学的等尺性回復法と競合する。 多くのトップパフォーマンスのフィルタプルーニング手法と比較して、優れたパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2022-07-25T21:15:47Z)
• End-to-End Sensitivity-Based Filter Pruning [49.61707925611295]
  本稿では,各層間のフィルタの重要度を学習するための感度に基づくフィルタプルーニングアルゴリズム(SbF-Pruner)を提案する。 提案手法はフィルタ重みからスコアを学習し,各層のフィルタ間の相関を考慮できる。
  論文  参考訳（メタデータ） (2022-04-15T10:21:05Z)
• Back to Basics: Efficient Network Compression via IMP [22.586474627159287]
  イテレーティブ・マグニチュード・プルーニング(IMP)は、ネットワーク・プルーニングにおける最も確立されたアプローチの1つである。 IMPは、トレーニングフェーズにスパーシフィケーションを組み込まないことで、最適以下の状態に達するとしばしば主張される。 再学習のためのSLRを用いたIMPは、最先端のプルーニング訓練手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2021-11-01T11:23:44Z)
• Pruning with Compensation: Efficient Channel Pruning for Deep Convolutional Neural Networks [0.9712140341805068]
  刈り込みDCNNのコストを大幅に削減する高効率刈り込み法を提案する。 本手法は,最先端のリトレーニングベースプルーニング法と競合するプルーニング性能を示す。
  論文  参考訳（メタデータ） (2021-08-31T10:17:36Z)
• Sparse Training via Boosting Pruning Plasticity with Neuroregeneration [79.78184026678659]
  本研究では, プラスティック性の観点から, 訓練を通しての刈り込みの効果について検討した。 ゼロコスト神経再生(GraNet)と動的スパーストレーニング(DST)変異(GraNet-ST)を併用した段階的プラニング(gradual pruning)法を考案した。 おそらく最も印象的なのは、ImageNet上のResNet-50との大きなマージンで、さまざまな密集したスパースメソッドに対するスパース・ツー・スパーストレーニングのパフォーマンスを初めて向上させたことだ。
  論文  参考訳（メタデータ） (2021-06-19T02:09:25Z)
• Manifold Regularized Dynamic Network Pruning [102.24146031250034]
  本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。 提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-03-10T03:59:03Z)
• Rapid Structural Pruning of Neural Networks with Set-based Task-Adaptive Meta-Pruning [83.59005356327103]
  既存のプルーニング技術に共通する制限は、プルーニングの前に少なくとも1回はネットワークの事前トレーニングが必要であることである。 本稿では,ターゲットデータセットの関数としてプルーニングマスクを生成することにより,大規模な参照データセット上で事前訓練されたネットワークをタスク適応的にプルークするSTAMPを提案する。 ベンチマークデータセット上での最近の先進的なプルーニング手法に対するSTAMPの有効性を検証する。
  論文  参考訳（メタデータ） (2020-06-22T10:57:43Z)
• Picking Winning Tickets Before Training by Preserving Gradient Flow [9.67608102763644]
  効率的なトレーニングには,ネットワーク内の勾配流の保存が必要である,と我々は主張する。 CIFAR-10, CIFAR-100, Tiny-ImageNet, ImageNetにおいて, 提案手法の有効性を実験的に検討した。
  論文  参考訳（メタデータ） (2020-02-18T05:14:47Z)
• Activation Density driven Energy-Efficient Pruning in Training [2.222917681321253]
  本研究では,トレーニング中にネットワークをリアルタイムでプーンする新しいプルーニング手法を提案する。 ベースラインネットワークに匹敵する精度で、非常に疎いネットワークを得る。
  論文  参考訳（メタデータ） (2020-02-07T18:34:31Z)
• Filter Sketch for Network Pruning [184.41079868885265]
  事前学習したネットワーク重み(フィルタ)の情報保存による新しいネットワークプルーニング手法を提案する。 われわれのアプローチは、FilterSketchと呼ばれ、事前訓練された重みの2次情報を符号化する。 CIFAR-10の実験では、FilterSketchはFLOPの63.3%を削減し、ネットワークパラメータの59.9%を無視できる精度で削減している。
  論文  参考訳（メタデータ） (2020-01-23T13:57:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。