論文の概要: Why is the State of Neural Network Pruning so Confusing? On the Fairness, Comparison Setup, and Trainability in Network Pruning

• arxiv url: http://arxiv.org/abs/2301.05219v1
• Date: Thu, 12 Jan 2023 18:58:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-13 13:34:11.134279
• Title: Why is the State of Neural Network Pruning so Confusing? On the Fairness, Comparison Setup, and Trainability in Network Pruning
• Title（参考訳）: なぜニューラルネットワークがこれほど混乱しているのか? ネットワークプルーニングにおける公平性,比較設定,訓練性について
• Authors: Huan Wang, Can Qin, Yue Bai, Yun Fu
• Abstract要約: ニューラルネットワークのプルーニングの状況は、しばらくの間不明瞭で、混乱することさえあることに気付きました。 まず, 刈り取り実験における公正性原理を明らかにし, 広く利用されている比較設定を要約する。 そして,ネットワークのトレーニング性の中心的役割を指摘する。
• 参考スコア（独自算出の注目度）: 58.34310957892895
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The state of neural network pruning has been noticed to be unclear and even confusing for a while, largely due to "a lack of standardized benchmarks and metrics" [3]. To standardize benchmarks, first, we need to answer: what kind of comparison setup is considered fair? This basic yet crucial question has barely been clarified in the community, unfortunately. Meanwhile, we observe several papers have used (severely) sub-optimal hyper-parameters in pruning experiments, while the reason behind them is also elusive. These sub-optimal hyper-parameters further exacerbate the distorted benchmarks, rendering the state of neural network pruning even more obscure. Two mysteries in pruning represent such a confusing status: the performance-boosting effect of a larger finetuning learning rate, and the no-value argument of inheriting pretrained weights in filter pruning. In this work, we attempt to explain the confusing state of network pruning by demystifying the two mysteries. Specifically, (1) we first clarify the fairness principle in pruning experiments and summarize the widely-used comparison setups; (2) then we unveil the two pruning mysteries and point out the central role of network trainability, which has not been well recognized so far; (3) finally, we conclude the paper and give some concrete suggestions regarding how to calibrate the pruning benchmarks in the future. Code: https://github.com/mingsun-tse/why-the-state-of-pruning-so-confusing.
• Abstract（参考訳）: ニューラルネットワークのプルーニング状態は、"標準化されたベンチマークとメトリクスの欠如"が原因で、しばらくの間不明瞭で混乱していたことが指摘されている。 ベンチマークを標準化するには、まず、以下の質問に答える必要がある。 この基本的な重要な質問は、残念ながらコミュニティでほとんど明確化されていない。 一方,いくつかの論文では,プルーニング実験において(ほぼ)準最適ハイパーパラメータを用いたが,その背後にある理由も不明である。 これらの準最適ハイパーパラメータは歪んだベンチマークをさらに悪化させ、ニューラルネットワークのプルーニング状態はさらに曖昧になる。 プルーニングにおける2つの謎は、より大きな微調整学習率による性能ブースティング効果と、フィルタープルーニングにおける事前訓練された重みを継承する価値のない議論である。 本研究では,2つの謎を解き明かすことにより,ネットワークプルーニングの混乱状態を説明する。 具体的には,(1)プルーニング実験における公正性原理を明確にし,広く利用されている比較設定を要約し,(2)2つのプルーニングミステリーを公表し,これまでよく認識されていなかったネットワークトレーサビリティの中心的役割を指摘し,(3)最後に論文を締めくくり,今後のプルーニングベンチマークの校正方法について具体的な提案を行う。 コード: https://github.com/mingsun-tse/why-the-state-of-pruning-so-confusing。

関連論文リスト

• Pruning vs Quantization: Which is Better? [25.539649458493614]
  深層ニューラルネットワークを圧縮する2つの手法の比較を行った。 その結果,ほとんどの場合,量子化はプルーニングよりも優れていた。 非常に高い圧縮比を持ついくつかのシナリオでのみ、プルーニングは精度の観点から有益である。
  論文  参考訳（メタデータ） (2023-07-06T13:18:44Z)
• How Sparse Can We Prune A Deep Network: A Fundamental Limit Viewpoint [3.7575861326462845]
  ネットワークプルーニングは、ディープニューラルネットワークの記憶と計算の負担を軽減する効果的な手段である。 我々は、第一原理的アプローチ、すなわち、元の損失関数に空間的制約を課す。 刈り取り比の限界を決定する2つの要因を同定する。
  論文  参考訳（メタデータ） (2023-06-09T12:39:41Z)
• Theoretical Characterization of How Neural Network Pruning Affects its Generalization [131.1347309639727]
  この研究は、異なるプルーニング率がモデルの勾配降下ダイナミクスと一般化にどのように影響するかを研究する最初の試みである。 プルーニング率が一定の閾値以下である限り、勾配降下はトレーニング損失をゼロに導くことができる。 より驚くべきことに、プルーニング分数が大きくなるにつれて、一般化境界はより良くなる。
  論文  参考訳（メタデータ） (2023-01-01T03:10:45Z)
• Sparse Double Descent: Where Network Pruning Aggravates Overfitting [8.425040193238777]
  本稿では,ネットワークプルーニングによるモデル間隔の増加に伴い,テスト性能が悪化する予期せぬ二重降下現象を報告する。 本稿では,スパースモデルの学習距離$ell_2$の曲線がスパース二重降下曲線とよく相関することを示す。
  論文  参考訳（メタデータ） (2022-06-17T11:02:15Z)
• The Unreasonable Effectiveness of Random Pruning: Return of the Most Naive Baseline for Sparse Training [111.15069968583042]
  ランダムプルーニングは、ニューラルネットワークのスパーシティを実現する最も単純な方法であることは間違いないが、トレーニング後のプルーニングやスパーストレーニングでは非競争的であると見なされている。 我々は、スクラッチからランダムに切断されたネットワークをスクラッチからスクラッチ的に訓練することで、その密度の高い等価性の性能に一致することを実証的に実証した。 以上の結果から,大規模なスパーストレーニングを行う余地はより大きいことが示唆され,スポーシティのメリットは慎重に設計されたプルーニングを超えて普遍的である可能性が示唆された。
  論文  参考訳（メタデータ） (2022-02-05T21:19:41Z)
• Emerging Paradigms of Neural Network Pruning [82.9322109208353]
  この問題に対する後処理ソリューションとしてPruningが採用され、パフォーマンスを損なわないニューラルネットワークの不要なパラメータの除去を目指している。 最近の研究では、パフォーマンスと密接なそれとを一致させるように訓練できるランダムなスパースネットワークを発見することによって、この信念に挑戦している。 この調査は、従来のアルゴリズムとうまく適合できるように、一般的な刈り取りフレームワークを提案し、ギャップを埋めることを目指しています。
  論文  参考訳（メタデータ） (2021-03-11T05:01:52Z)
• Neural Pruning via Growing Regularization [82.9322109208353]
  プルーニングの2つの中心的な問題:プルーニングのスケジュールと重み付けの重要度だ。 具体的には, ペナルティ要因が増大するL2正規化変種を提案し, 精度が著しく向上することを示した。 提案アルゴリズムは,構造化プルーニングと非構造化プルーニングの両方において,大規模データセットとネットワークの実装が容易かつスケーラブルである。
  論文  参考訳（メタデータ） (2020-12-16T20:16:28Z)
• Progressive Skeletonization: Trimming more fat from a network at initialization [76.11947969140608]
  本稿では,接続感度が最大となるスケルトン化ネットワークを提案する。 次に、目的を最大化する2つの近似手順を提案する。 提案手法は, 高い刈り込みレベルにおいて, 性能を著しく向上させる。
  論文  参考訳（メタデータ） (2020-06-16T11:32:47Z)
• Shapley Value as Principled Metric for Structured Network Pruning [10.96182578337852]
  構造化プルーニング(Structured pruning)は、ニューラルネットワークのストレージサイズと推論コストを低減する技術である。 ネットワークの性能を維持するためには,刈り込みによる害を軽減することが重要である。 本稿では,この課題の基準値としてShapley値を提案する。
  論文  参考訳（メタデータ） (2020-06-02T17:26:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。