論文の概要: Revisiting Loss Modelling for Unstructured Pruning

• arxiv url: http://arxiv.org/abs/2006.12279v1
• Date: Mon, 22 Jun 2020 14:08:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-18 05:03:54.598443
• Title: Revisiting Loss Modelling for Unstructured Pruning
• Title（参考訳）: 非構造切削における損失モデルの再検討
• Authors: C\'esar Laurent, Camille Ballas, Thomas George, Nicolas Ballas, Pascal Vincent
• Abstract要約: 非構造化プルーニング手法は、予測精度を維持しながら、メモリフットプリントと計算コストを削減することを目的としている。 未構造化プルーニングにおける損失モデリングを再考し、プルーニングステップの局所性を確保することの重要性を示す。 そこで本研究では,従来のネットワーク関数の保存性の向上が,微調整後のネットワークの動作性の向上に必ずしも寄与しないことを示す。
• 参考スコア（独自算出の注目度）: 19.934177130986946
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: By removing parameters from deep neural networks, unstructured pruning methods aim at cutting down memory footprint and computational cost, while maintaining prediction accuracy. In order to tackle this otherwise intractable problem, many of these methods model the loss landscape using first or second order Taylor expansions to identify which parameters can be discarded. We revisit loss modelling for unstructured pruning: we show the importance of ensuring locality of the pruning steps. We systematically compare first and second order Taylor expansions and empirically show that both can reach similar levels of performance. Finally, we show that better preserving the original network function does not necessarily transfer to better performing networks after fine-tuning, suggesting that only considering the impact of pruning on the loss might not be a sufficient objective to design good pruning criteria.
• Abstract（参考訳）: 深層ニューラルネットワークからパラメータを除去することにより、非構造化プルーニング手法は、予測精度を維持しながら、メモリフットプリントと計算コストを削減することを目的としている。 それ以外の難解な問題に対処するために、これらの手法の多くは1次または2次テイラー展開を用いて損失景観をモデル化し、どのパラメータを破棄できるかを特定する。 我々は,非構造的プルーニングのための損失モデリングを再考する: プルーニングステップの局所性を保証することの重要性を示す。 一階および二階のテイラー展開を体系的に比較し、両者が同様のレベルの性能に達することを実証的に示す。 最後に, 元のネットワーク関数の保存性が向上しても, 微調整後のネットワーク性能が向上するとは限らないことを示し, 刈り取りの影響を考慮すれば, 刈り取り基準の設計に十分な目的が得られない可能性が示唆された。

関連論文リスト

• Isomorphic Pruning for Vision Models [56.286064975443026]
  構造化プルーニングは、冗長なサブ構造を取り除くことによって、ディープニューラルネットワークの計算オーバーヘッドを低減する。 Isomorphic Pruningは、ネットワークアーキテクチャの範囲で有効性を示すシンプルなアプローチである。
  論文  参考訳（メタデータ） (2024-07-05T16:14:53Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• Boosting Pruned Networks with Linear Over-parameterization [8.796518772724955]
  構造化プルーニングは、高速な推論のためのチャネル(フィルタ)を減らし、実行時にフットプリントを低くすることで、ニューラルネットワークを圧縮する。 プルーニング後の精度を回復するため、細調整は通常、プルーニングネットワークに適用される。 そこで我々は,まず,細調整パラメータの数を増やすために,刈り込みネットワーク内のコンパクト層を線形に過剰にパラメータ化する手法を提案する。
  論文  参考訳（メタデータ） (2022-04-25T05:30:26Z)
• Emerging Paradigms of Neural Network Pruning [82.9322109208353]
  この問題に対する後処理ソリューションとしてPruningが採用され、パフォーマンスを損なわないニューラルネットワークの不要なパラメータの除去を目指している。 最近の研究では、パフォーマンスと密接なそれとを一致させるように訓練できるランダムなスパースネットワークを発見することによって、この信念に挑戦している。 この調査は、従来のアルゴリズムとうまく適合できるように、一般的な刈り取りフレームワークを提案し、ギャップを埋めることを目指しています。
  論文  参考訳（メタデータ） (2021-03-11T05:01:52Z)
• Robustness to Pruning Predicts Generalization in Deep Neural Networks [29.660568281957072]
  トレーニングの損失に悪影響を与えることなく、pruning中に維持できるネットワークのパラメータの最小の屈折であるprunabilityを紹介します。 この測定は、CIFAR-10で訓練された大規模な畳み込みネットワーク全体のモデル一般化性能を非常に予測できることを示した。
  論文  参考訳（メタデータ） (2021-03-10T11:39:14Z)
• Lost in Pruning: The Effects of Pruning Neural Networks beyond Test Accuracy [42.15969584135412]
  ニューラルネットワークプルーニングは、現代のネットワークの推論コストを削減するために使用される一般的な技術です。 試験精度のみを終了条件で使用するだけで、結果のモデルが正常に機能するかどうかを評価します。 刈り取られたネットワークは、効果的に未刈り込みモデルに近似するが、刈り取られたネットワークがコンメンシュレートのパフォーマンスを達成できるプルー比はタスクによって大きく異なる。
  論文  参考訳（メタデータ） (2021-03-04T13:22:16Z)
• Neural Pruning via Growing Regularization [82.9322109208353]
  プルーニングの2つの中心的な問題:プルーニングのスケジュールと重み付けの重要度だ。 具体的には, ペナルティ要因が増大するL2正規化変種を提案し, 精度が著しく向上することを示した。 提案アルゴリズムは,構造化プルーニングと非構造化プルーニングの両方において,大規模データセットとネットワークの実装が容易かつスケーラブルである。
  論文  参考訳（メタデータ） (2020-12-16T20:16:28Z)
• Discretization-Aware Architecture Search [81.35557425784026]
  本稿では,離散化対応アーキテクチャサーチ(DAtextsuperscript2S)を提案する。 中心となる考え方は、超ネットワークを所望のトポロジの構成に向けることであり、離散化による精度損失がほとんど軽減される。 標準画像分類ベンチマークの実験は、我々のアプローチの優位性を実証している。
  論文  参考訳（メタデータ） (2020-07-07T01:18:58Z)
• Progressive Skeletonization: Trimming more fat from a network at initialization [76.11947969140608]
  本稿では,接続感度が最大となるスケルトン化ネットワークを提案する。 次に、目的を最大化する2つの近似手順を提案する。 提案手法は, 高い刈り込みレベルにおいて, 性能を著しく向上させる。
  論文  参考訳（メタデータ） (2020-06-16T11:32:47Z)
• Shapley Value as Principled Metric for Structured Network Pruning [10.96182578337852]
  構造化プルーニング(Structured pruning)は、ニューラルネットワークのストレージサイズと推論コストを低減する技術である。 ネットワークの性能を維持するためには,刈り込みによる害を軽減することが重要である。 本稿では,この課題の基準値としてShapley値を提案する。
  論文  参考訳（メタデータ） (2020-06-02T17:26:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。