論文の概要: Layer-adaptive sparsity for the Magnitude-based Pruning

• arxiv url: http://arxiv.org/abs/2010.07611v2
• Date: Sun, 9 May 2021 10:19:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-07 04:35:22.814466
• Title: Layer-adaptive sparsity for the Magnitude-based Pruning
• Title（参考訳）: マグニチュードプルーニングにおける層適応性
• Authors: Jaeho Lee and Sejun Park and Sangwoo Mo and Sungsoo Ahn and Jinwoo Shin
• Abstract要約: 本稿では,LAMP(Layer-Adaptive magnitude-based pruning)スコアを用いたグローバルプルーニングの新たな重要点を提案する。 LAMPは、階層的な空間選択のための一般的なスキームを一貫して上回っている。
• 参考スコア（独自算出の注目度）: 88.37510230946478
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent discoveries on neural network pruning reveal that, with a carefully chosen layerwise sparsity, a simple magnitude-based pruning achieves state-of-the-art tradeoff between sparsity and performance. However, without a clear consensus on "how to choose," the layerwise sparsities are mostly selected algorithm-by-algorithm, often resorting to handcrafted heuristics or an extensive hyperparameter search. To fill this gap, we propose a novel importance score for global pruning, coined layer-adaptive magnitude-based pruning (LAMP) score; the score is a rescaled version of weight magnitude that incorporates the model-level $\ell_2$ distortion incurred by pruning, and does not require any hyperparameter tuning or heavy computation. Under various image classification setups, LAMP consistently outperforms popular existing schemes for layerwise sparsity selection. Furthermore, we observe that LAMP continues to outperform baselines even in weight-rewinding setups, while the connectivity-oriented layerwise sparsity (the strongest baseline overall) performs worse than a simple global magnitude-based pruning in this case. Code: https://github.com/jaeho-lee/layer-adaptive-sparsity
• Abstract（参考訳）: ニューラルネットワークのプルーニングに関する最近の発見は、慎重に選択された階層的なスパーニングによって、単純なマグニチュードベースのプルーニングがスパーニングとパフォーマンスの最先端のトレードオフを達成していることを示している。 しかし、「どのように選択するか」について明確な合意が得られず、階層的な空間はアルゴリズムごとに選択され、しばしば手作りのヒューリスティックや広範囲なハイパーパラメータ探索に頼っている。 このギャップを埋めるために,我々は,グローバルプルーニングにおける新しい重要度スコアを提案する。このスコアは,モデルレベル$\ell_2$ のプルーニングによる歪みを組み込んだ,重み付けの縮小版であり,ハイパーパラメータチューニングや重い計算は不要である。 様々な画像分類設定の下で、LAMPは階層的な空間選択のための一般的なスキームを一貫して上回っている。 さらに、LAMPは、重み付けのセットアップにおいてもベースラインよりも優れており、接続指向層幅(全体の最強ベースライン)は、この場合、単純な大域的なプルーニングよりも性能が劣る。 コード: https://github.com/jaeho-lee/layer-adaptive-sparsity

関連論文リスト

• SGLP: A Similarity Guided Fast Layer Partition Pruning for Compressing Large Deep Models [19.479746878680707]
  レイヤプルーニングは、ネットワークサイズを削減し、計算効率を向上させるための強力なアプローチである。 大規模深層モデル圧縮のための類似性誘導高速層分割プルーニングを提案する。 本手法は精度と計算効率の両面で最先端の手法より優れている。
  論文  参考訳（メタデータ） (2024-10-14T04:01:08Z)
• ECoFLaP: Efficient Coarse-to-Fine Layer-Wise Pruning for Vision-Language Models [70.45441031021291]
  LVLM(Large Vision-Language Models)は、様々なモダリティから豊富な情報を統合することで、世界を包括的に理解することができる。 LVLMは計算/エネルギーの膨大なコストと炭素消費のためにしばしば問題となる。 本稿では,LVLMの2段間粗大な重み付け法であるECoFLaP(Efficient Coarse-to-Fine LayerWise Pruning)を提案する。
  論文  参考訳（メタデータ） (2023-10-04T17:34:00Z)
• Scaling Forward Gradient With Local Losses [117.22685584919756]
  フォワード学習は、ディープニューラルネットワークを学ぶためのバックプロップに代わる生物学的に妥当な代替手段である。 重みよりも活性化に摂動を適用することにより、前方勾配のばらつきを著しく低減できることを示す。 提案手法はMNIST と CIFAR-10 のバックプロップと一致し,ImageNet 上で提案したバックプロップフリーアルゴリズムよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2022-10-07T03:52:27Z)
• Logit Attenuating Weight Normalization [5.856897366207895]
  勾配に基づく一般化を用いて訓練されたディープネットワークは、分類とランキング問題を解決するのに一般的な選択肢である。 適切に調整された$ell$正規化やウェイト崩壊がなければ、そのようなネットワークは出力スコア(論理)とネットワークウェイトを大きくする傾向にある。 そこで我々は,任意の勾配に基づく一般化に積み重ねることができる測位ウェイト正規化法 (LAWN) を提案する。
  論文  参考訳（メタデータ） (2021-08-12T16:44:24Z)
• Connectivity Matters: Neural Network Pruning Through the Lens of Effective Sparsity [0.0]
  ニューラル・ネットワーク・プルーニング(Neural Network pruning)は、高空間性体制への関心が高まり、実りある研究分野である。 ランダムに刈り取られたLeNet-300-100の効率的な圧縮は、直接の圧縮よりも桁違いに大きいことを示す。 我々は, 直接的, 疎性ではなく, 効果的に目的を達成するために, プルーニングアルゴリズムを低コストで拡張する手法を開発した。
  論文  参考訳（メタデータ） (2021-07-05T22:36:57Z)
• Dynamic Probabilistic Pruning: A general framework for hardware-constrained pruning at different granularities [80.06422693778141]
  異なる粒度(重み、カーネル、フィルタ/フィーチャーマップ)での刈り取りを容易にするフレキシブルな新しい刈り取り機構を提案する。 このアルゴリズムをDPP(Dynamic Probabilistic Pruning)と呼ぶ。 DPPは、画像分類のための異なるベンチマークデータセットで訓練された一般的なディープラーニングモデルを刈り取る際に、競合圧縮率と分類精度を達成する。
  論文  参考訳（メタデータ） (2021-05-26T17:01:52Z)
• DHP: Differentiable Meta Pruning via HyperNetworks [158.69345612783198]
  本稿では,ネットワークの自動プルーニングのためのハイパーネットによる識別可能なプルーニング手法を提案する。 遅延ベクトルは、バックボーンネットワーク内の畳み込み層の出力チャネルを制御し、レイヤのプルーニングのハンドルとして機能する。 画像分類、単一画像超解像、復調のための様々なネットワークで実験が行われた。
  論文  参考訳（メタデータ） (2020-03-30T17:59:18Z)
• Lookahead: A Far-Sighted Alternative of Magnitude-based Pruning [83.99191569112682]
  マグニチュードベースのプルーニングは、ニューラルネットワークをプルーニングする最も単純な方法の1つである。 我々は,単一層最適化を多層最適化に拡張することにより,単純なプルーニング法であるルックアヘッドプルーニングを開発した。 実験の結果,提案手法は様々なネットワーク上での大規模プルーニングよりも一貫して優れていた。
  論文  参考訳（メタデータ） (2020-02-12T05:38:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。