論文の概要: EagleEye: Fast Sub-net Evaluation for Efficient Neural Network Pruning

• arxiv url: http://arxiv.org/abs/2007.02491v2
• Date: Wed, 5 Aug 2020 09:32:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-13 02:36:07.320150
• Title: EagleEye: Fast Sub-net Evaluation for Efficient Neural Network Pruning
• Title（参考訳）: eagleeye:効率的なニューラルネットワークプルーニングのための高速サブネット評価
• Authors: Bailin Li, Bowen Wu, Jiang Su, Guangrun Wang and Liang Lin
• Abstract要約: EagleEyeは、適応型バッチ正規化に基づく、シンプルだが効率的な評価コンポーネントである。 異なる破砕された構造と最終的な精度の間に強い相関関係が明らかになる。 このモジュールは、既存のプルーニングアルゴリズムをプラグインし改善するためにも一般的である。
• 参考スコア（独自算出の注目度）: 82.54669314604097
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Finding out the computational redundant part of a trained Deep Neural Network (DNN) is the key question that pruning algorithms target on. Many algorithms try to predict model performance of the pruned sub-nets by introducing various evaluation methods. But they are either inaccurate or very complicated for general application. In this work, we present a pruning method called EagleEye, in which a simple yet efficient evaluation component based on adaptive batch normalization is applied to unveil a strong correlation between different pruned DNN structures and their final settled accuracy. This strong correlation allows us to fast spot the pruned candidates with highest potential accuracy without actually fine-tuning them. This module is also general to plug-in and improve some existing pruning algorithms. EagleEye achieves better pruning performance than all of the studied pruning algorithms in our experiments. Concretely, to prune MobileNet V1 and ResNet-50, EagleEye outperforms all compared methods by up to 3.8%. Even in the more challenging experiments of pruning the compact model of MobileNet V1, EagleEye achieves the highest accuracy of 70.9% with an overall 50% operations (FLOPs) pruned. All accuracy results are Top-1 ImageNet classification accuracy. Source code and models are accessible to open-source community https://github.com/anonymous47823493/EagleEye .
• Abstract（参考訳）: 訓練されたディープニューラルネットワーク(DNN)の計算冗長部分を見つけることが、アルゴリズムがターゲットとする重要な問題である。 多くのアルゴリズムは、様々な評価手法を導入して、刈り取られたサブネットのモデル性能を予測しようとする。 しかし、それらは一般的な用途では不正確か非常に複雑である。 本稿では, 適応バッチ正規化に基づく簡易かつ効率的な評価成分を適用し, 異なるDNN構造と最終精度との強い相関関係を明らかにするEagleEyeというプルーニング手法を提案する。 この強い相関により、実際に微調整することなく、高い潜在的な精度で刈り取られた候補を素早く見つけ出すことができる。 このモジュールは、既存のプルーニングアルゴリズムをプラグインし改善するためにも一般的である。 EagleEyeは、我々の実験で研究されたすべてのプルーニングアルゴリズムよりも優れたプルーニング性能を実現する。 具体的には、MobileNet V1とResNet-50のプルークでは、EagleEyeは比較対象のメソッドを最大3.8%上回っている。 MobileNet V1のコンパクトモデルを刈り取るというより難しい実験でも、EagleEyeは全体の50%の操作(FLOP)を刈り取ることで、70.9%の精度を達成した。 すべての精度は、トップ1のimagenet分類精度である。 ソースコードとモデルは、オープンソースコミュニティ https://github.com/anonymous47823493/EagleEye にアクセスできる。

関連論文リスト

• Towards Better Out-of-Distribution Generalization of Neural Algorithmic Reasoning Tasks [51.8723187709964]
  ニューラルネットワーク推論タスクのOOD一般化について検討する。 目標は、ディープニューラルネットワークを使用して入出力ペアからアルゴリズムを学ぶことである。
  論文  参考訳（メタデータ） (2022-11-01T18:33:20Z)
• EdgeNeXt: Efficiently Amalgamated CNN-Transformer Architecture for Mobile Vision Applications [68.35683849098105]
  入力テンソルを複数のチャネルグループに分割するSDTAエンコーダを導入する。 1.3Mパラメータを持つEdgeNeXtモデルでは、ImageNet-1Kで71.2%のTop-1精度を実現している。 パラメータ5.6MのEdgeNeXtモデルでは、ImageNet-1Kで79.4%のTop-1精度を実現しています。
  論文  参考訳（メタデータ） (2022-06-21T17:59:56Z)
• Automatic Neural Network Pruning that Efficiently Preserves the Model Accuracy [2.538209532048867]
  プルーニングフィルタは一般的な解であるが、既存のプルーニング法ではモデルの精度を効率的に保たない。 本研究では,FLOPを予め定義された目標に還元しつつ,モデル精度を維持するためにどのニューロンを保存すべきかを学習する自動プルーニング手法を提案する。 ResNet-50では52.00%のFLOPが減少し,prun処理後のTop-1精度は47.51%,微細加工後のSOTA精度は76.63%であった。
  論文  参考訳（メタデータ） (2021-11-18T11:29:35Z)
• Neural network relief: a pruning algorithm based on neural activity [47.57448823030151]
  重要でない接続を非活性化する簡易な重要スコア計量を提案する。 MNIST上でのLeNetアーキテクチャの性能に匹敵する性能を実現する。 このアルゴリズムは、現在のハードウェアとソフトウェアの実装を考えるとき、FLOPを最小化するように設計されていない。
  論文  参考訳（メタデータ） (2021-09-22T15:33:49Z)
• AIP: Adversarial Iterative Pruning Based on Knowledge Transfer for Convolutional Neural Networks [7.147985297123097]
  畳み込みニューラルネットワーク(CNN)には、かなりの計算コストがかかる。 現在のプルーニング法ではCNNを少ない性能低下で圧縮することができるが、プルーニング比が大きくなると精度の低下がより深刻になる。 本稿では,知識伝達に基づくCNNのための新しい逆反復刈取法(AIP)を提案する。
  論文  参考訳（メタデータ） (2021-08-31T02:38:36Z)
• Effective Model Sparsification by Scheduled Grow-and-Prune Methods [73.03533268740605]
  本稿では,高密度モデルの事前学習を伴わない新規なGrow-and-prune(GaP)手法を提案する。 実験により、そのようなモデルは様々なタスクにおいて80%の間隔で高度に最適化された高密度モデルの品質に適合または打ち勝つことができることが示された。
  論文  参考訳（メタデータ） (2021-06-18T01:03:13Z)
• ACP: Automatic Channel Pruning via Clustering and Swarm Intelligence Optimization for CNN [6.662639002101124]
  近年、畳み込みニューラルネットワーク(CNN)はより深く広がっています。 既存のマグニチュードベースの切断方法は効率的ですが、圧縮ネットワークのパフォーマンスは予測不可能です。 新規な自動チャネル切断法(ACP)を提案する。 ACPは3つの異なる分類データセットに基づいていくつかの最先端CNNに対して評価される。
  論文  参考訳（メタデータ） (2021-01-16T08:56:38Z)
• Holistic Filter Pruning for Efficient Deep Neural Networks [25.328005340524825]
  HFP(Holistic Filter Pruning)は、実装が容易で正確なプルーニング率の特定が可能な、一般的なDNNトレーニングのための新しいアプローチである。 各種実験において,CIFAR-10 と ImageNet のトレーニングと最先端性能について考察した。
  論文  参考訳（メタデータ） (2020-09-17T09:23:36Z)
• AdderNet: Do We Really Need Multiplications in Deep Learning? [159.174891462064]
  我々は、深層ニューラルネットワークにおける膨大な乗算を、計算コストを削減するためにはるかに安価な加算のために取引するための加算器ネットワーク(AdderNets)を提案する。 本稿では,AdderNets のバックプロパゲーション手法を提案する。 その結果、提案されたAdderNetsは、ImageNetデータセット上でResNet-50を使用して、74.9%のTop-1精度91.7%のTop-5精度を達成することができる。
  論文  参考訳（メタデータ） (2019-12-31T06:56:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。