論文の概要: Recall Distortion in Neural Network Pruning and the Undecayed Pruning Algorithm

• arxiv url: http://arxiv.org/abs/2206.02976v2
• Date: Wed, 8 Jun 2022 23:27:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-10 09:46:44.960962
• Title: Recall Distortion in Neural Network Pruning and the Undecayed Pruning Algorithm
• Title（参考訳）: ニューラルネットワークプルーニングにおけるリコール歪みと未決定プルーニングアルゴリズム
• Authors: Aidan Good and Jiaqi Lin and Hannah Sieg and Mikey Ferguson and Xin Yu and Shandian Zhe and Jerzy Wieczorek and Thiago Serra
• Abstract要約: プルーニング技術は、スパシティの精度を交換するためにニューラルネットワークでうまく使われてきた。 本研究では,モデルに固有の強化効果を仮定して,リコール中の相対歪みについて検討する。 このような効果の減衰を目的とした新しい刈り込みアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 24.145261729258195
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pruning techniques have been successfully used in neural networks to trade accuracy for sparsity. However, the impact of network pruning is not uniform: prior work has shown that the recall for underrepresented classes in a dataset may be more negatively affected. In this work, we study such relative distortions in recall by hypothesizing an intensification effect that is inherent to the model. Namely, that pruning makes recall relatively worse for a class with recall below accuracy and, conversely, that it makes recall relatively better for a class with recall above accuracy. In addition, we propose a new pruning algorithm aimed at attenuating such effect. Through statistical analysis, we have observed that intensification is less severe with our algorithm but nevertheless more pronounced with relatively more difficult tasks, less complex models, and higher pruning ratios. More surprisingly, we conversely observe a de-intensification effect with lower pruning ratios.
• Abstract（参考訳）: プルーニング技術はニューラルネットワークで精度とスパーシティのトレードオフに成功している。 しかし、ネットワークのプルーニングの影響は一様ではなく、以前の研究では、データセット内の表現不足のクラスに対するリコールがよりネガティブな影響を受ける可能性があることが示されている。 本研究では,モデルに固有の強度効果を仮定することにより,リコール中の相対歪みについて検討する。 すなわち、プルーニングは、精度より低いクラスのリコールを比較的悪くし、逆に、精度より高いクラスのリコールを比較的良くする。 また,その効果の減衰を目的とした新しい刈り込みアルゴリズムを提案する。 統計的解析により, 強化はアルゴリズムの重大さを低下させるが, 比較的難易度の高いタスク, 複雑度の低いモデル, 高い刈り取り率でより明瞭になることがわかった。 より驚くべきことに、より低いプルーニング比によるデインテンシフィケーション効果を逆に観察する。

関連論文リスト

• Effective Layer Pruning Through Similarity Metric Perspective [0.0]
  ディープニューラルネットワークは、認知タスクを解決する機械学習において、主要なパラダイムとなっている。 これらのモデルから構造を抽出することは、ネットワークの複雑さを減らすための簡単なアプローチである。 層プルーニングは、しばしば高い圧縮速度でネットワーク予測能力(すなわち精度)を損なう。 この研究は、プルーニング手法によって追求されるすべての基礎特性を満たす効果的なレイヤ・プルーニング戦略を導入する。
  論文  参考訳（メタデータ） (2024-05-27T11:54:51Z)
• PUMA: margin-based data pruning [51.12154122266251]
  モデル分類境界からの距離(すなわちマージン)に基づいて、いくつかのトレーニングサンプルを除去するデータプルーニングに焦点を当てる。 我々は,DeepFoolを用いてマージンを算出する新しいデータプルーニング戦略PUMAを提案する。 PUMAは,現状の最先端手法であるロバスト性の上に利用でき,既存のデータプルーニング戦略と異なり,モデル性能を著しく向上させることができることを示す。
  論文  参考訳（メタデータ） (2024-05-10T08:02:20Z)
• Theoretical Characterization of How Neural Network Pruning Affects its Generalization [131.1347309639727]
  この研究は、異なるプルーニング率がモデルの勾配降下ダイナミクスと一般化にどのように影響するかを研究する最初の試みである。 プルーニング率が一定の閾値以下である限り、勾配降下はトレーニング損失をゼロに導くことができる。 より驚くべきことに、プルーニング分数が大きくなるにつれて、一般化境界はより良くなる。
  論文  参考訳（メタデータ） (2023-01-01T03:10:45Z)
• Last Layer Re-Training is Sufficient for Robustness to Spurious Correlations [51.552870594221865]
  最後の層再トレーニングは,突発的な相関ベンチマークにおいて,最先端の手法と一致するか,あるいは性能的に優れていることを示す。 また,大規模な画像ネット学習モデルにおける最終層の再トレーニングにより,背景情報やテクスチャ情報への依存を著しく低減できることを示す。
  論文  参考訳（メタデータ） (2022-04-06T16:55:41Z)
• Powerpropagation: A sparsity inducing weight reparameterisation [65.85142037667065]
  我々は、本質的にスパースモデルにつながるニューラルネットワークの新しい重みパラメータ化であるPowerpropagationを紹介した。 この方法で訓練されたモデルは同様の性能を示すが、0で明らかに高い密度の分布を持ち、より多くのパラメータを安全に刈り取ることができる。 ここでは、Powerpropagationと従来のウェイトプルーニング技術と、最近の最先端スパース・トゥ・スパースアルゴリズムを組み合わせることで、ImageNetベンチマークで優れたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2021-10-01T10:03:57Z)
• Robustness in Compressed Neural Networks for Object Detection [2.9823962001574182]
  圧縮されたモデルの異なる歪みタイプに対する感度はニュアンス化されている。 いくつかの汚職は圧縮法に大きく影響している。 データ拡張はモデルの堅牢性に肯定的な影響を与えることが確認された。
  論文  参考訳（メタデータ） (2021-02-10T15:52:11Z)
• Neural Pruning via Growing Regularization [82.9322109208353]
  プルーニングの2つの中心的な問題:プルーニングのスケジュールと重み付けの重要度だ。 具体的には, ペナルティ要因が増大するL2正規化変種を提案し, 精度が著しく向上することを示した。 提案アルゴリズムは,構造化プルーニングと非構造化プルーニングの両方において,大規模データセットとネットワークの実装が容易かつスケーラブルである。
  論文  参考訳（メタデータ） (2020-12-16T20:16:28Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)
• Pruning artificial neural networks: a way to find well-generalizing, high-entropy sharp minima [8.72305226979945]
  本研究では,2つの異なるプルーニング手法,ワンショット法と漸進法を比較し,解析する。 段階的なプルーニングにより、狭く一般化されたミニマへのアクセスが可能であり、通常はワンショットアプローチでは無視される。 また、与えられたニューロンが特定の学習クラスとどのように関連しているかを理解するための尺度であるPSPエントロピーを提案する。
  論文  参考訳（メタデータ） (2020-04-30T13:29:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。