論文の概要: Network Automatic Pruning: Start NAP and Take a Nap

• arxiv url: http://arxiv.org/abs/2101.06608v1
• Date: Sun, 17 Jan 2021 07:09:19 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-28 01:37:51.377903
• Title: Network Automatic Pruning: Start NAP and Take a Nap
• Title（参考訳）: Network Automatic Pruning: NAPを開始してNapを取る
• Authors: Wenyuan Zeng, Yuwen Xiong, Raquel Urtasun
• Abstract要約: 我々は,粒度および構造化プルーニングのための統一かつ自動プルーニングフレームワークであるNAPを提案する。 ネットワークの重要でないコンポーネントを見つけ出し、異なるレイヤに対する適切な圧縮比を自動的に決定する。 使いやすさにもかかわらず、NAPは以前のプルーニング法よりも大きなマージンで優れている。
• 参考スコア（独自算出の注目度）: 94.14675930881366
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Network pruning can significantly reduce the computation and memory footprint of large neural networks. To achieve a good trade-off between model size and performance, popular pruning techniques usually rely on hand-crafted heuristics and require manually setting the compression ratio for each layer. This process is typically time-consuming and requires expert knowledge to achieve good results. In this paper, we propose NAP, a unified and automatic pruning framework for both fine-grained and structured pruning. It can find out unimportant components of a network and automatically decide appropriate compression ratios for different layers, based on a theoretically sound criterion. Towards this goal, NAP uses an efficient approximation of the Hessian for evaluating the importances of components, based on a Kronecker-factored Approximate Curvature method. Despite its simpleness to use, NAP outperforms previous pruning methods by large margins. For fine-grained pruning, NAP can compress AlexNet and VGG16 by 25x, and ResNet-50 by 6.7x without loss in accuracy on ImageNet. For structured pruning (e.g. channel pruning), it can reduce flops of VGG16 by 5.4x and ResNet-50 by 2.3x with only 1% accuracy drop. More importantly, this method is almost free from hyper-parameter tuning and requires no expert knowledge. You can start NAP and then take a nap!
• Abstract（参考訳）: ネットワークプルーニングは、大規模ニューラルネットワークの計算量とメモリフットプリントを大幅に削減することができる。 モデルサイズと性能の良好なトレードオフを達成するために、一般的なプルーニング技術は手作りのヒューリスティックに依存し、各層に圧縮比を手動で設定する必要がある。 このプロセスは一般的に時間がかかり、優れた結果を得るためには専門家の知識が必要です。 本稿では,粒度および構造化プルーニングのための統一かつ自動プルーニングフレームワークであるNAPを提案する。 ネットワークの重要でないコンポーネントを見つけ出し、理論的に音質基準に基づいて、異なるレイヤに対する適切な圧縮比を自動的に決定する。 この目標に向けて、NAPはKronecker-factored Approximate Curvature法に基づいて、Hessianの効率的な近似を用いてコンポーネントの重要性を評価する。 使いやすさにもかかわらず、NAPは以前のプルーニング法よりも大きなマージンで優れている。 きめ細かいプルーニングのために、NAPはAlexNetとVGG16を25倍圧縮し、ResNet-50を6.7倍圧縮できる。 構造的な刈り取り(例えば vgg16のフロップを5.4倍、resnet-50を2.3倍、精度を1%低下させる。 さらに重要なことに、この方法はハイパーパラメータチューニングがほとんどなく、専門家の知識も必要ありません。 NAPを始めれば、昼寝もできます!

関連論文リスト

• LAPP: Layer Adaptive Progressive Pruning for Compressing CNNs from Scratch [14.911305800463285]
  本稿では,Layer Adaptive Progressive Pruning (LAPP) という新しいフレームワークを提案する。 LAPPは、各レイヤの学習可能なしきい値と、ネットワークのFLOP制約を導入する、効率的かつ効率的なプルーニング戦略を設計する。 提案手法は,各種データセットやバックボーンアーキテクチャにおける従来の圧縮手法よりも優れた性能向上を示す。
  論文  参考訳（メタデータ） (2023-09-25T14:08:45Z)
• Neural Network Pruning by Cooperative Coevolution [16.0753044050118]
  協調的共進化による新しいフィルタプルーニングアルゴリズムCCEPを提案する。 CCEPは分割・対数戦略により刈り取り空間を縮小する。 実験により,CCEPは最先端の刈り取り法と競合する性能を発揮することが示された。
  論文  参考訳（メタデータ） (2022-04-12T09:06:38Z)
• Structured Pruning is All You Need for Pruning CNNs at Initialization [38.88730369884401]
  プルーニングは畳み込みニューラルネットワーク(CNN)のモデルサイズと計算コストを削減する一般的な手法である ハードウェア効率の良いモデル圧縮方式であるPreCroppingを提案する。 重み付けと比較して, 提案手法は, 精度を犠牲にすることなく, 記憶と計算の両面において規則的で密度が高い。
  論文  参考訳（メタデータ） (2022-03-04T19:54:31Z)
• MLPruning: A Multilevel Structured Pruning Framework for Transformer-based Models [78.45898846056303]
  プルーニングは、大きな自然言語処理モデルに関連するメモリフットプリントと計算コストを削減する効果的な方法である。 我々は,頭部刈り込み,行刈り,ブロックワイズ刈りという3つの異なるレベルの構造化刈り込みを利用する,新しいマルチレベル構造化刈り込みフレームワークを開発した。
  論文  参考訳（メタデータ） (2021-05-30T22:00:44Z)
• Dynamic Probabilistic Pruning: A general framework for hardware-constrained pruning at different granularities [80.06422693778141]
  異なる粒度(重み、カーネル、フィルタ/フィーチャーマップ)での刈り取りを容易にするフレキシブルな新しい刈り取り機構を提案する。 このアルゴリズムをDPP(Dynamic Probabilistic Pruning)と呼ぶ。 DPPは、画像分類のための異なるベンチマークデータセットで訓練された一般的なディープラーニングモデルを刈り取る際に、競合圧縮率と分類精度を達成する。
  論文  参考訳（メタデータ） (2021-05-26T17:01:52Z)
• Single-path Bit Sharing for Automatic Loss-aware Model Compression [126.98903867768732]
  シングルパスビット共有(SBS)は、計算コストを大幅に削減し、有望な性能を達成する。 SBS圧縮MobileNetV2は、Top-1の精度がわずか0.1%低下した22.6倍ビット演算(BOP)を実現する。
  論文  参考訳（メタデータ） (2021-01-13T08:28:21Z)
• Rapid Structural Pruning of Neural Networks with Set-based Task-Adaptive Meta-Pruning [83.59005356327103]
  既存のプルーニング技術に共通する制限は、プルーニングの前に少なくとも1回はネットワークの事前トレーニングが必要であることである。 本稿では,ターゲットデータセットの関数としてプルーニングマスクを生成することにより,大規模な参照データセット上で事前訓練されたネットワークをタスク適応的にプルークするSTAMPを提案する。 ベンチマークデータセット上での最近の先進的なプルーニング手法に対するSTAMPの有効性を検証する。
  論文  参考訳（メタデータ） (2020-06-22T10:57:43Z)
• Paying more attention to snapshots of Iterative Pruning: Improving Model Compression via Ensemble Distillation [4.254099382808598]
  既存の手法はしばしば、性能に大きな損失を与えることなく、高い圧縮率を達成するために反復的にプルーンネットワークを使用する。 本研究は,ネットワーク構造に異なる競合性能を実現するため,反復的プルーニングのスナップショットから強力なアンサンブルを構築することができることを示す。 CIFARやTiny-Imagenetなどの標準画像分類ベンチマークでは、簡単なl1-normフィルタをパイプラインに組み込むことで、構造化プルーニングの最先端プルーニング比を推し進める。
  論文  参考訳（メタデータ） (2020-06-20T03:59:46Z)
• Learned Threshold Pruning [15.394473766381518]
  本手法は, 入力として設定された従来の手法とは異なり, 勾配降下による層間しきい値の学習を行う。 ImageNet上のResNet50を9.1ドルでチューニングするには30ドルかかる。 また,EfficientNet,MobileNetV2,MixNetなどのモダンなテキストコンポーネントのアーキテクチャを効果的にチューニングできることも示す。
  論文  参考訳（メタデータ） (2020-02-28T21:32:39Z)
• A "Network Pruning Network" Approach to Deep Model Compression [62.68120664998911]
  マルチタスクネットワークを用いた深部モデル圧縮のためのフィルタプルーニング手法を提案する。 我々のアプローチは、プレナーネットワークを学習して、事前訓練されたターゲットネットワークを訓練することに基づいている。 提案手法によって生成された圧縮モデルは汎用的であり,特別なハードウェア/ソフトウェアのサポートは不要である。
  論文  参考訳（メタデータ） (2020-01-15T20:38:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。