論文の概要: Automatic Neural Network Pruning that Efficiently Preserves the Model Accuracy

• arxiv url: http://arxiv.org/abs/2111.09635v1
• Date: Thu, 18 Nov 2021 11:29:35 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-19 14:16:28.407594
• Title: Automatic Neural Network Pruning that Efficiently Preserves the Model Accuracy
• Title（参考訳）: モデル精度を効率的に保存する自動ニューラルネットワークプルーニング
• Authors: Thibault Castells and Seul-Ki Yeom
• Abstract要約: プルーニングフィルタは一般的な解であるが、既存のプルーニング法ではモデルの精度を効率的に保たない。 本研究では,FLOPを予め定義された目標に還元しつつ,モデル精度を維持するためにどのニューロンを保存すべきかを学習する自動プルーニング手法を提案する。 ResNet-50では52.00%のFLOPが減少し,prun処理後のTop-1精度は47.51%,微細加工後のSOTA精度は76.63%であった。
• 参考スコア（独自算出の注目度）: 2.538209532048867
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural networks performance has been significantly improved in the last few years, at the cost of an increasing number of floating point operations per second (FLOPs). However, more FLOPs can be an issue when computational resources are limited. As an attempt to solve this problem, pruning filters is a common solution, but most existing pruning methods do not preserve the model accuracy efficiently and therefore require a large number of finetuning epochs. In this paper, we propose an automatic pruning method that learns which neurons to preserve in order to maintain the model accuracy while reducing the FLOPs to a predefined target. To accomplish this task, we introduce a trainable bottleneck that only requires one single epoch with 25.6% (CIFAR-10) or 7.49% (ILSVRC2012) of the dataset to learn which filters to prune. Experiments on various architectures and datasets show that the proposed method can not only preserve the accuracy after pruning but also outperform existing methods after finetuning. We achieve a 52.00% FLOPs reduction on ResNet-50, with a Top-1 accuracy of 47.51% after pruning and a state-of-the-art (SOTA) accuracy of 76.63% after finetuning on ILSVRC2012. Code is available at (link anonymized for review).
• Abstract（参考訳）: ニューラルネットワークの性能はここ数年で大幅に改善され、毎秒の浮動小数点演算(FLOP)が増加している。 しかし、計算資源が限られている場合、より多くのFLOPが問題となる。 この問題を解決する試みとして、プルーニングフィルタは一般的な解決策であるが、既存のプルーニング法はモデルの精度を効率的に保たず、多くの微調整エポックを必要とする。 本稿では,FLOPを予め定義された目標に還元しつつ,モデル精度を維持するため,どのニューロンを保存すべきかを学習する自動プルーニング手法を提案する。 この課題を達成するために、データセットの25.6%(CIFAR-10)と7.49%(ILSVRC2012)の1つのエポックしか必要としないトレーニング可能なボトルネックを導入する。 各種アーキテクチャとデータセットを用いた実験により,提案手法はプルーニング後の精度を維持できるだけでなく,微調整後の既存手法よりも優れることが示された。 我々は,ResNet-50上で52.00%のFLOPs削減を実現し,プルーニング後のTop-1精度は47.51%,ILSVRC2012の微調整後の最先端(SOTA)精度は76.63%であった。 コードは (link anonymized for review) で入手できる。

関連論文リスト

• Instant Complexity Reduction in CNNs using Locality-Sensitive Hashing [50.79602839359522]
  本稿では,パラメータフリーでデータフリーなモジュールであるHASTE(Hashing for Tractable Efficiency)を提案する。 局所性感応ハッシュ (LSH) を用いることで, 精度を犠牲にすることなく, 遅延特徴写像を劇的に圧縮することができる。 特に、HASTEモジュール用のCIFAR-10上のResNet34で畳み込みモジュールを切り替えるだけで、FLOPの46.72%を即座に落とすことができる。
  論文  参考訳（メタデータ） (2023-09-29T13:09:40Z)
• Gradient-Free Structured Pruning with Unlabeled Data [57.999191898036706]
  ラベルのないデータのみを使用する勾配のない構造化プルーニングフレームワークを提案する。 元々のFLOPカウントの最大40%は、考慮されたすべてのタスクで4%未満の精度で削減できる。
  論文  参考訳（メタデータ） (2023-03-07T19:12:31Z)
• Pruning On-the-Fly: A Recoverable Pruning Method without Fine-tuning [12.90416661059601]
  本稿では,超球面学習と損失ペナルティ項に基づく再学習不要プルーニング手法を提案する。 提案された損失ペナルティ項は、モデルの重みのいくつかをゼロから遠ざけ、残りの重みの値は0に近いように押し付ける。 提案手法は,プルーンド値を平均値に置き換えることで,プルーンドモデルの精度を即座に回復することができる。
  論文  参考訳（メタデータ） (2022-12-24T04:33:03Z)
• Non-Parametric Adaptive Network Pruning [125.4414216272874]
  アルゴリズム設計を簡略化するノンパラメトリックモデリングを導入。 顔認識コミュニティに触発されて,メッセージパッシングアルゴリズムを用いて,適応的な例示数を求める。 EPrunerは「重要」フィルタを決定する際にトレーニングデータへの依存を壊します。
  論文  参考訳（メタデータ） (2021-01-20T06:18:38Z)
• ACP: Automatic Channel Pruning via Clustering and Swarm Intelligence Optimization for CNN [6.662639002101124]
  近年、畳み込みニューラルネットワーク(CNN)はより深く広がっています。 既存のマグニチュードベースの切断方法は効率的ですが、圧縮ネットワークのパフォーマンスは予測不可能です。 新規な自動チャネル切断法(ACP)を提案する。 ACPは3つの異なる分類データセットに基づいていくつかの最先端CNNに対して評価される。
  論文  参考訳（メタデータ） (2021-01-16T08:56:38Z)
• ResRep: Lossless CNN Pruning via Decoupling Remembering and Forgetting [105.97936163854693]
  本稿では,畳み込み層の幅(出力チャネル数)を小さくすることで,CNNをスリム化するResRepを提案する。 記憶と忘れの独立性に関する神経生物学の研究から着想を得て,CNNを記憶部分と忘れ部分にパラメータ化することを提案する。 私たちは、記憶と忘れ物を、より狭いレイヤで元のアーキテクチャにマージします。
  論文  参考訳（メタデータ） (2020-07-07T07:56:45Z)
• EagleEye: Fast Sub-net Evaluation for Efficient Neural Network Pruning [82.54669314604097]
  EagleEyeは、適応型バッチ正規化に基づく、シンプルだが効率的な評価コンポーネントである。 異なる破砕された構造と最終的な精度の間に強い相関関係が明らかになる。 このモジュールは、既存のプルーニングアルゴリズムをプラグインし改善するためにも一般的である。
  論文  参考訳（メタデータ） (2020-07-06T01:32:31Z)
• Filter Sketch for Network Pruning [184.41079868885265]
  事前学習したネットワーク重み(フィルタ)の情報保存による新しいネットワークプルーニング手法を提案する。 われわれのアプローチは、FilterSketchと呼ばれ、事前訓練された重みの2次情報を符号化する。 CIFAR-10の実験では、FilterSketchはFLOPの63.3%を削減し、ネットワークパラメータの59.9%を無視できる精度で削減している。
  論文  参考訳（メタデータ） (2020-01-23T13:57:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。