論文の概要: Is Complexity Required for Neural Network Pruning? A Case Study on Global Magnitude Pruning

• arxiv url: http://arxiv.org/abs/2209.14624v2
• Date: Wed, 30 Aug 2023 08:01:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-31 18:13:51.842843
• Title: Is Complexity Required for Neural Network Pruning? A Case Study on Global Magnitude Pruning
• Title（参考訳）: ニューラルネットワークのプルーニングに複雑度は必要か? グローバル・マグニチュード・プルーニングの事例研究
• Authors: Manas Gupta, Efe Camci, Vishandi Rudy Keneta, Abhishek Vaidyanathan, Ritwik Kanodia, Chuan-Sheng Foo, Wu Min and Lin Jie
• Abstract要約: プルーニングニューラルネットワークはこの10年で人気を博している。 精度を損なうことなく、多数の重みを現代のニューラルネットワークから安全に除去できることが示されている。 現在、多くの最先端技術 (SOTA) は複雑な刈り取り法に依存している。
• 参考スコア（独自算出の注目度）: 12.725025361344635
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Pruning neural networks has become popular in the last decade when it was shown that a large number of weights can be safely removed from modern neural networks without compromising accuracy. Numerous pruning methods have been proposed since then, each claiming to be better than the previous. Many state-of-the-art (SOTA) techniques today rely on complex pruning methodologies utilizing importance scores, getting feedback through back-propagation or having heuristics-based pruning rules amongst others. In this work, we question whether this pattern of introducing complexity is really necessary to achieve better pruning results. We benchmark these SOTA techniques against a naive pruning baseline, namely, Global Magnitude Pruning (Global MP). Global MP ranks weights in order of their magnitudes and prunes the smallest ones. Hence, in its vanilla form, it is one of the simplest pruning techniques. Surprisingly, we find that vanilla Global MP outperforms all the other SOTA techniques and achieves a new SOTA result. It also achieves promising performance on FLOPs sparsification, which we find is enhanced, when pruning is conducted in a gradual fashion. We also find that Global MP is generalizable across tasks, datasets, and models with superior performance. Moreover, a common issue that many pruning algorithms run into at high sparsity rates, namely, layer-collapse, can be easily fixed in Global MP by setting a minimum threshold of weights to be retained in each layer. Lastly, unlike many other SOTA techniques, Global MP does not require any additional algorithm specific hyper-parameters and is very straightforward to tune and implement. We showcase our findings on various models (WRN-28-8, ResNet-32, ResNet-50, MobileNet-V1 and FastGRNN) and multiple datasets (CIFAR-10, ImageNet and HAR-2). Code is available at https://github.com/manasgupta-1/GlobalMP.
• Abstract（参考訳）: ニューラルネットワークのプルーニングは、最近のニューラルネットワークから大量の重みを、精度を損なうことなく安全に除去できることが示されてから、この10年間で人気が高まっている。 それ以来、多くのプルーニング法が提案され、それぞれが以前のものより優れていると主張している。 今日では多くの最先端(SOTA)技術は、重要なスコアを利用した複雑な刈り込み手法に依存しており、バックプロパゲーションやヒューリスティックスに基づく刈り出しルールなどを通じてフィードバックを得ている。 本研究は, より優れた刈り取り結果を得るためには, 複雑さの導入というこのパターンが本当に必要かどうかを問うものである。 我々は、これらのSOTA手法を、単純なプルーニングベースライン、すなわちGlobal Magnitude Pruning (Global MP)に対してベンチマークする。 グローバルMPは、その大きさの順に重みをランク付けし、最小のものをプーンする。 したがって、バニラ形式においては最も単純な刈り取り技法の一つである。 驚いたことに、バニラグローバルMPは、他のすべてのSOTA技術より優れており、新しいSOTA結果が得られる。 刈り取りを段階的に行うと,フロップススパーシフィケーション(frups sparsification)の有望なパフォーマンスも向上します。 また、Global MPはタスク、データセット、モデルにまたがって、優れたパフォーマンスで一般化可能であることもわかりました。 さらに,各層に保持する重量の最小限のしきい値を設定することで,多くのプルーニングアルゴリズムが高間隔,すなわち層崩壊で発生する共通問題を,Global MPで容易に解決することができる。 最後に、他の多くのSOTA技術とは異なり、Global MPは追加のアルゴリズム固有のハイパーパラメータを必要としない。 本稿では,様々なモデル (WRN-28-8, ResNet-32, ResNet-50, MobileNet-V1, FastGRNN) と複数のデータセット (CIFAR-10, ImageNet, HAR-2) について紹介する。 コードはhttps://github.com/manasgupta-1/GlobalMPで入手できる。

関連論文リスト

• Mutual Information Preserving Neural Network Pruning [3.7414804164475983]
  ノード間の相互情報を保存するMIPP(Mitual Information Preserving Pruning)を導入する。 MIPPはビジョンモデルやデータセットにおける最先端の手法よりも優れています。
  論文  参考訳（メタデータ） (2024-10-31T18:50:15Z)
• MPruner: Optimizing Neural Network Size with CKA-Based Mutual Information Pruning [7.262751938473306]
  プルーニング(Pruning)は、ニューラルネットワークのサイズを減らし、数学的に精度の保存を保証している、よく確立されたテクニックである。 我々は,ベクトル類似性により相互情報を活用する新しいプルーニングアルゴリズムMPrunerを開発した。 MPrunerはCNNとトランスフォーマーベースのモデルで最大50%のパラメータとメモリ使用量の削減を実現した。
  論文  参考訳（メタデータ） (2024-08-24T05:54:47Z)
• Towards Higher Ranks via Adversarial Weight Pruning [34.602137305496335]
  逆方向のスパース重みのランクを維持するために,ランクベースのPruninG(RPG)手法を提案する。 RPGは、ResNet-50のImageNetで1.13%の精度で最先端のパフォーマンスを98%で上回っている。
  論文  参考訳（メタデータ） (2023-11-29T10:04:39Z)
• ECoFLaP: Efficient Coarse-to-Fine Layer-Wise Pruning for Vision-Language Models [70.45441031021291]
  LVLM(Large Vision-Language Models)は、様々なモダリティから豊富な情報を統合することで、世界を包括的に理解することができる。 LVLMは計算/エネルギーの膨大なコストと炭素消費のためにしばしば問題となる。 本稿では,LVLMの2段間粗大な重み付け法であるECoFLaP(Efficient Coarse-to-Fine LayerWise Pruning)を提案する。
  論文  参考訳（メタデータ） (2023-10-04T17:34:00Z)
• Sparsity May Cry: Let Us Fail (Current) Sparse Neural Networks Together! [100.19080749267316]
  Sparsity May Cry"ベンチマーク(SMC-Bench)は、慎重に計算された4つのタスクと10のデータセットのコレクションである。 SMC-Benchは、よりスケーラブルで一般化可能なスパースアルゴリズムの開発を奨励するように設計されている。
  論文  参考訳（メタデータ） (2023-03-03T18:47:21Z)
• Effective Model Sparsification by Scheduled Grow-and-Prune Methods [73.03533268740605]
  本稿では,高密度モデルの事前学習を伴わない新規なGrow-and-prune(GaP)手法を提案する。 実験により、そのようなモデルは様々なタスクにおいて80%の間隔で高度に最適化された高密度モデルの品質に適合または打ち勝つことができることが示された。
  論文  参考訳（メタデータ） (2021-06-18T01:03:13Z)
• Over-and-Under Complete Convolutional RNN for MRI Reconstruction [57.95363471940937]
  MR画像再構成のための最近のディープラーニングに基づく手法は、通常、汎用的なオートエンコーダアーキテクチャを利用する。 OUCR(Over-and-Under Complete Convolu?tional Recurrent Neural Network)を提案する。 提案手法は, トレーニング可能なパラメータの少ない圧縮されたセンシングと, 一般的なディープラーニングに基づく手法に対して, 大幅な改善を実現する。
  論文  参考訳（メタデータ） (2021-06-16T15:56:34Z)
• Effective Sparsification of Neural Networks with Global Sparsity Constraint [45.640862235500165]
  重み付けは、実世界の展開におけるディープニューラルネットワークのモデルサイズと推論時間を短縮するための効果的な技術です。 既存の手法では、各層に対して個別に適切な刈り取り率を見つけるために手動のチューニングまたは手作りのルールに依存している。 グローバルスパーシティー制約下で自然スパーシフィケーションの定式化を解決するプロバビリスティックマスキング(ProbMask)と呼ばれる効果的なネットワークスパーシフィケーション手法を提案する。
  論文  参考訳（メタデータ） (2021-05-03T14:13:42Z)
• Layer-adaptive sparsity for the Magnitude-based Pruning [88.37510230946478]
  本稿では,LAMP(Layer-Adaptive magnitude-based pruning)スコアを用いたグローバルプルーニングの新たな重要点を提案する。 LAMPは、階層的な空間選択のための一般的なスキームを一貫して上回っている。
  論文  参考訳（メタデータ） (2020-10-15T09:14:02Z)
• Breaking (Global) Barriers in Parallel Stochastic Optimization with Wait-Avoiding Group Averaging [34.55741812648229]
  本稿では、ウェイトアビジングサブグループであるWAGMA-SGDについて述べる。 ImageNet上でResNet-50をトレーニングし、機械翻訳用のトランスフォーマー、大規模ナビゲーションのための深い強化学習を行う。 最先端の分散SGDと比較すると、WAGMA-SGDはトレーニングのスループットを大幅に改善する。
  論文  参考訳（メタデータ） (2020-04-30T22:11:53Z)
• Convolutional Networks with Dense Connectivity [59.30634544498946]
  Dense Convolutional Network (DenseNet)を導入し、フィードフォワード方式で各レイヤを他のすべてのレイヤに接続する。 各レイヤについて、先行するすべてのレイヤのフィーチャーマップをインプットとして使用し、それ自身のフィーチャーマップをその後のすべてのレイヤへのインプットとして使用します。 提案したアーキテクチャを、4つの高度に競争力のあるオブジェクト認識ベンチマークタスクで評価する。
  論文  参考訳（メタデータ） (2020-01-08T06:54:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。