論文の概要: Recall Distortion in Neural Network Pruning and the Undecayed Pruning
Algorithm
- arxiv url: http://arxiv.org/abs/2206.02976v2
- Date: Wed, 8 Jun 2022 23:27:35 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-10 09:46:44.960962
- Title: Recall Distortion in Neural Network Pruning and the Undecayed Pruning
Algorithm
- Title(参考訳): ニューラルネットワークプルーニングにおけるリコール歪みと未決定プルーニングアルゴリズム
- Authors: Aidan Good and Jiaqi Lin and Hannah Sieg and Mikey Ferguson and Xin Yu
and Shandian Zhe and Jerzy Wieczorek and Thiago Serra
- Abstract要約: プルーニング技術は、スパシティの精度を交換するためにニューラルネットワークでうまく使われてきた。
本研究では,モデルに固有の強化効果を仮定して,リコール中の相対歪みについて検討する。
このような効果の減衰を目的とした新しい刈り込みアルゴリズムを提案する。
- 参考スコア(独自算出の注目度): 24.145261729258195
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Pruning techniques have been successfully used in neural networks to trade
accuracy for sparsity. However, the impact of network pruning is not uniform:
prior work has shown that the recall for underrepresented classes in a dataset
may be more negatively affected. In this work, we study such relative
distortions in recall by hypothesizing an intensification effect that is
inherent to the model. Namely, that pruning makes recall relatively worse for a
class with recall below accuracy and, conversely, that it makes recall
relatively better for a class with recall above accuracy. In addition, we
propose a new pruning algorithm aimed at attenuating such effect. Through
statistical analysis, we have observed that intensification is less severe with
our algorithm but nevertheless more pronounced with relatively more difficult
tasks, less complex models, and higher pruning ratios. More surprisingly, we
conversely observe a de-intensification effect with lower pruning ratios.
- Abstract(参考訳): プルーニング技術はニューラルネットワークで精度とスパーシティのトレードオフに成功している。
しかし、ネットワークのプルーニングの影響は一様ではなく、以前の研究では、データセット内の表現不足のクラスに対するリコールがよりネガティブな影響を受ける可能性があることが示されている。
本研究では,モデルに固有の強度効果を仮定することにより,リコール中の相対歪みについて検討する。
すなわち、プルーニングは、精度より低いクラスのリコールを比較的悪くし、逆に、精度より高いクラスのリコールを比較的良くする。
また,その効果の減衰を目的とした新しい刈り込みアルゴリズムを提案する。
統計的解析により, 強化はアルゴリズムの重大さを低下させるが, 比較的難易度の高いタスク, 複雑度の低いモデル, 高い刈り取り率でより明瞭になることがわかった。
より驚くべきことに、より低いプルーニング比によるデインテンシフィケーション効果を逆に観察する。
関連論文リスト
- Disparate Impact on Group Accuracy of Linearization for Private
Inference [52.73179793185882]
多数派と比較して,ReLUアクティベーション数の減少は少数派に対する精度を著しく低下させることを示す。
また,線形化モデルの微調整手順を変更する簡単な手順が,効果的な緩和戦略として有効であることを示す。
論文 参考訳(メタデータ) (2024-02-06T01:56:29Z) - Theoretical Characterization of How Neural Network Pruning Affects its
Generalization [131.1347309639727]
この研究は、異なるプルーニング率がモデルの勾配降下ダイナミクスと一般化にどのように影響するかを研究する最初の試みである。
プルーニング率が一定の閾値以下である限り、勾配降下はトレーニング損失をゼロに導くことができる。
より驚くべきことに、プルーニング分数が大きくなるにつれて、一般化境界はより良くなる。
論文 参考訳(メタデータ) (2023-01-01T03:10:45Z) - Last Layer Re-Training is Sufficient for Robustness to Spurious
Correlations [51.552870594221865]
最後の層再トレーニングは,突発的な相関ベンチマークにおいて,最先端の手法と一致するか,あるいは性能的に優れていることを示す。
また,大規模な画像ネット学習モデルにおける最終層の再トレーニングにより,背景情報やテクスチャ情報への依存を著しく低減できることを示す。
論文 参考訳(メタデータ) (2022-04-06T16:55:41Z) - Powerpropagation: A sparsity inducing weight reparameterisation [65.85142037667065]
我々は、本質的にスパースモデルにつながるニューラルネットワークの新しい重みパラメータ化であるPowerpropagationを紹介した。
この方法で訓練されたモデルは同様の性能を示すが、0で明らかに高い密度の分布を持ち、より多くのパラメータを安全に刈り取ることができる。
ここでは、Powerpropagationと従来のウェイトプルーニング技術と、最近の最先端スパース・トゥ・スパースアルゴリズムを組み合わせることで、ImageNetベンチマークで優れたパフォーマンスを示す。
論文 参考訳(メタデータ) (2021-10-01T10:03:57Z) - Pre-interpolation loss behaviour in neural networks [3.8716601453641886]
テスト損失は全体としては増加せず,少数のサンプルに限られることを示す。
この効果は主に、正しく処理されたサンプルの特徴に関連するパラメータ値の増加に起因すると考えられる。
本研究は,ディープニューラルネットワークの共通行動の実用的理解に寄与する。
論文 参考訳(メタデータ) (2021-03-14T18:08:59Z) - Robustness in Compressed Neural Networks for Object Detection [2.9823962001574182]
圧縮されたモデルの異なる歪みタイプに対する感度はニュアンス化されている。
いくつかの汚職は圧縮法に大きく影響している。
データ拡張はモデルの堅牢性に肯定的な影響を与えることが確認された。
論文 参考訳(メタデータ) (2021-02-10T15:52:11Z) - Neural Pruning via Growing Regularization [82.9322109208353]
プルーニングの2つの中心的な問題:プルーニングのスケジュールと重み付けの重要度だ。
具体的には, ペナルティ要因が増大するL2正規化変種を提案し, 精度が著しく向上することを示した。
提案アルゴリズムは,構造化プルーニングと非構造化プルーニングの両方において,大規模データセットとネットワークの実装が容易かつスケーラブルである。
論文 参考訳(メタデータ) (2020-12-16T20:16:28Z) - Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。
本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文 参考訳(メタデータ) (2020-06-10T08:22:41Z) - Pruning artificial neural networks: a way to find well-generalizing,
high-entropy sharp minima [8.72305226979945]
本研究では,2つの異なるプルーニング手法,ワンショット法と漸進法を比較し,解析する。
段階的なプルーニングにより、狭く一般化されたミニマへのアクセスが可能であり、通常はワンショットアプローチでは無視される。
また、与えられたニューロンが特定の学習クラスとどのように関連しているかを理解するための尺度であるPSPエントロピーを提案する。
論文 参考訳(メタデータ) (2020-04-30T13:29:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。