論文の概要: Is Complexity Required for Neural Network Pruning? A Case Study on Global Magnitude Pruning

• arxiv url: http://arxiv.org/abs/2209.14624v3
• Date: Sun, 7 Jan 2024 07:08:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-10 00:51:53.092536
• Title: Is Complexity Required for Neural Network Pruning? A Case Study on Global Magnitude Pruning
• Title（参考訳）: ニューラルネットワークのプルーニングに複雑度は必要か? グローバル・マグニチュード・プルーニングの事例研究
• Authors: Manas Gupta, Efe Camci, Vishandi Rudy Keneta, Abhishek Vaidyanathan, Ritwik Kanodia, Chuan-Sheng Foo, Wu Min and Lin Jie
• Abstract要約: 我々は、SOTAの手法を、単純なプルーニングベースライン、すなわちGlobal Magnitude Pruning (Global MP)に対してベンチマークする。 驚いたことに、バニラグローバルMPはSOTA技術に対して非常に優れている。 多くのプルーニングアルゴリズムが高頻度、すなわち層崩壊で発生する共通問題は、Global MPで簡単に修正できる。
• 参考スコア（独自算出の注目度）: 12.725025361344635
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Pruning neural networks has become popular in the last decade when it was shown that a large number of weights can be safely removed from modern neural networks without compromising accuracy. Numerous pruning methods have been proposed since, each claiming to be better than prior art, however, at the cost of increasingly complex pruning methodologies. These methodologies include utilizing importance scores, getting feedback through back-propagation or having heuristics-based pruning rules amongst others. In this work, we question whether this pattern of introducing complexity is really necessary to achieve better pruning results. We benchmark these SOTA techniques against a simple pruning baseline, namely, Global Magnitude Pruning (Global MP), that ranks weights in order of their magnitudes and prunes the smallest ones. Surprisingly, we find that vanilla Global MP performs very well against the SOTA techniques. When considering sparsity-accuracy trade-off, Global MP performs better than all SOTA techniques at all sparsity ratios. When considering FLOPs-accuracy trade-off, some SOTA techniques outperform Global MP at lower sparsity ratios, however, Global MP starts performing well at high sparsity ratios and performs very well at extremely high sparsity ratios. Moreover, we find that a common issue that many pruning algorithms run into at high sparsity rates, namely, layer-collapse, can be easily fixed in Global MP. We explore why layer collapse occurs in networks and how it can be mitigated in Global MP by utilizing a technique called Minimum Threshold. We showcase the above findings on various models (WRN-28-8, ResNet-32, ResNet-50, MobileNet-V1 and FastGRNN) and multiple datasets (CIFAR-10, ImageNet and HAR-2). Code is available at https://github.com/manasgupta-1/GlobalMP.
• Abstract（参考訳）: ニューラルネットワークのプルーニングは、最近のニューラルネットワークから大量の重みを、精度を損なうことなく安全に除去できることが示されてから、この10年間で人気が高まっている。 それ以来、多くのプルーニング手法が提案され、それぞれが先行技術よりも優れていると主張するが、より複雑なプルーニング手法のコストがかかる。 これらの手法には、重要なスコアの活用、バックプロパゲーションによるフィードバック、ヒューリスティックスに基づくプルーニングルールなどが含まれる。 本研究は, より優れた刈り取り結果を得るためには, 複雑さの導入というこのパターンが本当に必要かどうかを問うものである。 我々は、これらのSOTA手法を、単純なプルーニングベースライン、すなわちGlobal Magnitude Pruning (Global MP)に対してベンチマークする。 驚いたことに、バニラグローバルMPはSOTA技術に対して非常に優れている。 スパーシティ・正確なトレードオフを考えると、グローバルmpはスパーシティ比で全てのsoma技術よりもパフォーマンスが良い。 フラップ精度トレードオフを考えると、いくつかのsota技術はグローバルmpを低いスパース率で上回っているが、グローバルmpは高いスパース率で良好に動作し始め、非常に高いスパース率で非常によく機能する。 さらに,多くのプルーニングアルゴリズムが高いスパース率,すなわち層分割率で動作しているという共通の問題は,グローバルmpで容易に修正できることがわかった。 ネットワークにおける層崩壊の理由と,その軽減方法について,Minimum Thresholdと呼ばれる手法を用いて検討する。 本稿では,様々なモデル (WRN-28-8, ResNet-32, ResNet-50, MobileNet-V1, FastGRNN) と複数のデータセット (CIFAR-10, ImageNet, HAR-2) について紹介する。 コードはhttps://github.com/manasgupta-1/GlobalMPで入手できる。

関連論文リスト

• Mutual Information Preserving Neural Network Pruning [3.7414804164475983]
  ノード間の相互情報を保存するMIPP(Mitual Information Preserving Pruning)を導入する。 MIPPはビジョンモデルやデータセットにおける最先端の手法よりも優れています。
  論文  参考訳（メタデータ） (2024-10-31T18:50:15Z)
• MPruner: Optimizing Neural Network Size with CKA-Based Mutual Information Pruning [7.262751938473306]
  プルーニング(Pruning)は、ニューラルネットワークのサイズを減らし、数学的に精度の保存を保証している、よく確立されたテクニックである。 我々は,ベクトル類似性により相互情報を活用する新しいプルーニングアルゴリズムMPrunerを開発した。 MPrunerはCNNとトランスフォーマーベースのモデルで最大50%のパラメータとメモリ使用量の削減を実現した。
  論文  参考訳（メタデータ） (2024-08-24T05:54:47Z)
• Towards Higher Ranks via Adversarial Weight Pruning [34.602137305496335]
  逆方向のスパース重みのランクを維持するために,ランクベースのPruninG(RPG)手法を提案する。 RPGは、ResNet-50のImageNetで1.13%の精度で最先端のパフォーマンスを98%で上回っている。
  論文  参考訳（メタデータ） (2023-11-29T10:04:39Z)
• ECoFLaP: Efficient Coarse-to-Fine Layer-Wise Pruning for Vision-Language Models [70.45441031021291]
  LVLM(Large Vision-Language Models)は、様々なモダリティから豊富な情報を統合することで、世界を包括的に理解することができる。 LVLMは計算/エネルギーの膨大なコストと炭素消費のためにしばしば問題となる。 本稿では,LVLMの2段間粗大な重み付け法であるECoFLaP(Efficient Coarse-to-Fine LayerWise Pruning)を提案する。
  論文  参考訳（メタデータ） (2023-10-04T17:34:00Z)
• Sparsity May Cry: Let Us Fail (Current) Sparse Neural Networks Together! [100.19080749267316]
  Sparsity May Cry"ベンチマーク(SMC-Bench)は、慎重に計算された4つのタスクと10のデータセットのコレクションである。 SMC-Benchは、よりスケーラブルで一般化可能なスパースアルゴリズムの開発を奨励するように設計されている。
  論文  参考訳（メタデータ） (2023-03-03T18:47:21Z)
• Effective Model Sparsification by Scheduled Grow-and-Prune Methods [73.03533268740605]
  本稿では,高密度モデルの事前学習を伴わない新規なGrow-and-prune(GaP)手法を提案する。 実験により、そのようなモデルは様々なタスクにおいて80%の間隔で高度に最適化された高密度モデルの品質に適合または打ち勝つことができることが示された。
  論文  参考訳（メタデータ） (2021-06-18T01:03:13Z)
• Over-and-Under Complete Convolutional RNN for MRI Reconstruction [57.95363471940937]
  MR画像再構成のための最近のディープラーニングに基づく手法は、通常、汎用的なオートエンコーダアーキテクチャを利用する。 OUCR(Over-and-Under Complete Convolu?tional Recurrent Neural Network)を提案する。 提案手法は, トレーニング可能なパラメータの少ない圧縮されたセンシングと, 一般的なディープラーニングに基づく手法に対して, 大幅な改善を実現する。
  論文  参考訳（メタデータ） (2021-06-16T15:56:34Z)
• Effective Sparsification of Neural Networks with Global Sparsity Constraint [45.640862235500165]
  重み付けは、実世界の展開におけるディープニューラルネットワークのモデルサイズと推論時間を短縮するための効果的な技術です。 既存の手法では、各層に対して個別に適切な刈り取り率を見つけるために手動のチューニングまたは手作りのルールに依存している。 グローバルスパーシティー制約下で自然スパーシフィケーションの定式化を解決するプロバビリスティックマスキング(ProbMask)と呼ばれる効果的なネットワークスパーシフィケーション手法を提案する。
  論文  参考訳（メタデータ） (2021-05-03T14:13:42Z)
• Layer-adaptive sparsity for the Magnitude-based Pruning [88.37510230946478]
  本稿では,LAMP(Layer-Adaptive magnitude-based pruning)スコアを用いたグローバルプルーニングの新たな重要点を提案する。 LAMPは、階層的な空間選択のための一般的なスキームを一貫して上回っている。
  論文  参考訳（メタデータ） (2020-10-15T09:14:02Z)
• Breaking (Global) Barriers in Parallel Stochastic Optimization with Wait-Avoiding Group Averaging [34.55741812648229]
  本稿では、ウェイトアビジングサブグループであるWAGMA-SGDについて述べる。 ImageNet上でResNet-50をトレーニングし、機械翻訳用のトランスフォーマー、大規模ナビゲーションのための深い強化学習を行う。 最先端の分散SGDと比較すると、WAGMA-SGDはトレーニングのスループットを大幅に改善する。
  論文  参考訳（メタデータ） (2020-04-30T22:11:53Z)
• Convolutional Networks with Dense Connectivity [59.30634544498946]
  Dense Convolutional Network (DenseNet)を導入し、フィードフォワード方式で各レイヤを他のすべてのレイヤに接続する。 各レイヤについて、先行するすべてのレイヤのフィーチャーマップをインプットとして使用し、それ自身のフィーチャーマップをその後のすべてのレイヤへのインプットとして使用します。 提案したアーキテクチャを、4つの高度に競争力のあるオブジェクト認識ベンチマークタスクで評価する。
  論文  参考訳（メタデータ） (2020-01-08T06:54:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。