論文の概要: Max-Affine Spline Insights Into Deep Network Pruning

• arxiv url: http://arxiv.org/abs/2101.02338v2
• Date: Sat, 13 Feb 2021 01:21:40 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-10 21:57:51.443615
• Title: Max-Affine Spline Insights Into Deep Network Pruning
• Title（参考訳）: Max-Affine Spline Insights in Deep Network Pruning
• Authors: Randall Balestriero, Haoran You, Zhihan Lu, Yutong Kou, Huihong Shi, Yingyan Lin, Richard Baraniuk
• Abstract要約: 我々は、Deep Networks(DNs)におけるプルーニングの重要性と、高度にパラメータ化されたDNのプルーニングと「明確」な小さなDNのトレーニングの関係について検討する。 我々はアーリーバード(EB)チケット現象を検出し、現在のプルーニング技術への解釈可能性を提供し、原則的プルーニング戦略を開発することができる。
• 参考スコア（独自算出の注目度）: 14.770084026153828
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we study the importance of pruning in Deep Networks (DNs) and the yin & yang relationship between (1) pruning highly overparametrized DNs that have been trained from random initialization and (2) training small DNs that have been "cleverly" initialized. As in most cases practitioners can only resort to random initialization, there is a strong need to develop a grounded understanding of DN pruning. Current literature remains largely empirical, lacking a theoretical understanding of how pruning affects DNs' decision boundary, how to interpret pruning, and how to design corresponding principled pruning techniques. To tackle those questions, we propose to employ recent advances in the theoretical analysis of Continuous Piecewise Affine (CPA) DNs. From this perspective, we will be able to detect the early-bird (EB) ticket phenomenon, provide interpretability into current pruning techniques, and develop a principled pruning strategy. In each step of our study, we conduct extensive experiments supporting our claims and results; while our main goal is to enhance the current understanding towards DN pruning instead of developing a new pruning method, our spline pruning criteria in terms of layerwise and global pruning is on par with or even outperforms state-of-the-art pruning methods.
• Abstract（参考訳）: 本稿では,Deep Networks (DNs) におけるプルーニングの重要性と,(1) ランダム初期化から訓練された高度にパラメータ化されたDNのプルーニングと(2) 初期化された小さなDNのトレーニングの関係について検討する。 多くの場合、実践者はランダムな初期化のみに頼ることができるため、dnのプラニングを基礎的に理解する必要がある。 現在の文献は、プルーニングがDNsの意思決定境界に与える影響、プルーニングの解釈方法、およびそれに対応するプルーニング技術の設計方法に関する理論的理解を欠いている。 これらの問題に対処するため,我々はCPA(Continuous Piecewise Affine)DNの理論的解析に最近の進歩を採用することを提案する。 この観点から、アーリーバード(EB)チケット現象を検出し、現在のプルーニング技術に対する解釈可能性を提供し、原則的プルーニング戦略を開発することができる。 研究の各段階において,我々はクレームと結果を裏付ける広範囲な実験を行い,新たなプルーニング法ではなくDNプルーニングに対する現在の理解を高めることを目的としている一方で,我々はスプラインプルーニング基準をレイヤーワイドで,グローバルプルーニング基準は最先端プルーニング法と同程度あるいはそれ以上に向上する。

関連論文リスト

• Hierarchical Decomposition of Prompt-Based Continual Learning: Rethinking Obscured Sub-optimality [55.88910947643436]
  大量のラベルのないデータを実際に扱うためには、自己教師付き事前トレーニングが不可欠である。 HiDe-Promptは、タスク固有のプロンプトと統計のアンサンブルで階層的なコンポーネントを明示的に最適化する革新的なアプローチである。 実験では,HiDe-Promptの優れた性能と,継続学習における事前学習パラダイムへの頑健さを実証した。
  論文  参考訳（メタデータ） (2023-10-11T06:51:46Z)
• Back to Basics: Efficient Network Compression via IMP [22.586474627159287]
  イテレーティブ・マグニチュード・プルーニング(IMP)は、ネットワーク・プルーニングにおける最も確立されたアプローチの1つである。 IMPは、トレーニングフェーズにスパーシフィケーションを組み込まないことで、最適以下の状態に達するとしばしば主張される。 再学習のためのSLRを用いたIMPは、最先端のプルーニング訓練手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2021-11-01T11:23:44Z)
• An Operator Theoretic Perspective on Pruning Deep Neural Networks [2.624902795082451]
  我々は、動的システム理論の最近の進歩を利用して、理論上動機付けられたプルーニングアルゴリズムの新しいクラスを定義する。 これらのアルゴリズムは、等級や勾配に基づくプルーニングと等価であることを示す。
  論文  参考訳（メタデータ） (2021-10-28T02:33:50Z)
• When to Prune? A Policy towards Early Structural Pruning [27.91996628143805]
  我々は,パフォーマンスを損なうことなく,できるだけ早期に訓練を行う政策を提案する。 我々の方法では、最先端のプルーニングに比べて1.4%の精度でトップ1の精度が向上し、GPUのトレーニングコストを2.4%削減する。
  論文  参考訳（メタデータ） (2021-10-22T18:39:22Z)
• Sparse Training via Boosting Pruning Plasticity with Neuroregeneration [79.78184026678659]
  本研究では, プラスティック性の観点から, 訓練を通しての刈り込みの効果について検討した。 ゼロコスト神経再生(GraNet)と動的スパーストレーニング(DST)変異(GraNet-ST)を併用した段階的プラニング(gradual pruning)法を考案した。 おそらく最も印象的なのは、ImageNet上のResNet-50との大きなマージンで、さまざまな密集したスパースメソッドに対するスパース・ツー・スパーストレーニングのパフォーマンスを初めて向上させたことだ。
  論文  参考訳（メタデータ） (2021-06-19T02:09:25Z)
• Emerging Paradigms of Neural Network Pruning [82.9322109208353]
  この問題に対する後処理ソリューションとしてPruningが採用され、パフォーマンスを損なわないニューラルネットワークの不要なパラメータの除去を目指している。 最近の研究では、パフォーマンスと密接なそれとを一致させるように訓練できるランダムなスパースネットワークを発見することによって、この信念に挑戦している。 この調査は、従来のアルゴリズムとうまく適合できるように、一般的な刈り取りフレームワークを提案し、ギャップを埋めることを目指しています。
  論文  参考訳（メタデータ） (2021-03-11T05:01:52Z)
• Neural Pruning via Growing Regularization [82.9322109208353]
  プルーニングの2つの中心的な問題:プルーニングのスケジュールと重み付けの重要度だ。 具体的には, ペナルティ要因が増大するL2正規化変種を提案し, 精度が著しく向上することを示した。 提案アルゴリズムは,構造化プルーニングと非構造化プルーニングの両方において,大規模データセットとネットワークの実装が容易かつスケーラブルである。
  論文  参考訳（メタデータ） (2020-12-16T20:16:28Z)
• Progressive Skeletonization: Trimming more fat from a network at initialization [76.11947969140608]
  本稿では,接続感度が最大となるスケルトン化ネットワークを提案する。 次に、目的を最大化する2つの近似手順を提案する。 提案手法は, 高い刈り込みレベルにおいて, 性能を著しく向上させる。
  論文  参考訳（メタデータ） (2020-06-16T11:32:47Z)
• Robust Pruning at Initialization [61.30574156442608]
  計算リソースが限られているデバイス上で、機械学習アプリケーションを使用するための、より小さく、エネルギー効率のよいニューラルネットワークの必要性が高まっている。 ディープNNにとって、このような手順はトレーニングが困難であり、例えば、ひとつの層が完全に切断されるのを防ぐことができないため、満足できないままである。
  論文  参考訳（メタデータ） (2020-02-19T17:09:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。