論文の概要: Emerging Paradigms of Neural Network Pruning

• arxiv url: http://arxiv.org/abs/2103.06460v1
• Date: Thu, 11 Mar 2021 05:01:52 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-12 15:00:27.298960
• Title: Emerging Paradigms of Neural Network Pruning
• Title（参考訳）: ニューラルネットワークPruningの新たなパラダイム
• Authors: Huan Wang, Can Qin, Yulun Zhang, Yun Fu
• Abstract要約: この問題に対する後処理ソリューションとしてPruningが採用され、パフォーマンスを損なわないニューラルネットワークの不要なパラメータの除去を目指している。 最近の研究では、パフォーマンスと密接なそれとを一致させるように訓練できるランダムなスパースネットワークを発見することによって、この信念に挑戦している。 この調査は、従来のアルゴリズムとうまく適合できるように、一般的な刈り取りフレームワークを提案し、ギャップを埋めることを目指しています。
• 参考スコア（独自算出の注目度）: 82.9322109208353
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Over-parameterization of neural networks benefits the optimization and generalization yet brings cost in practice. Pruning is adopted as a post-processing solution to this problem, which aims to remove unnecessary parameters in a neural network with little performance compromised. It has been broadly believed the resulted sparse neural network cannot be trained from scratch to comparable accuracy. However, several recent works (e.g., [Frankle and Carbin, 2019a]) challenge this belief by discovering random sparse networks which can be trained to match the performance with their dense counterpart. This new pruning paradigm later inspires more new methods of pruning at initialization. In spite of the encouraging progress, how to coordinate these new pruning fashions with the traditional pruning has not been explored yet. This survey seeks to bridge the gap by proposing a general pruning framework so that the emerging pruning paradigms can be accommodated well with the traditional one. With it, we systematically reflect the major differences and new insights brought by these new pruning fashions, with representative works discussed at length. Finally, we summarize the open questions as worthy future directions.
• Abstract（参考訳）: ニューラルネットワークの過度パラメータ化は最適化と一般化の恩恵を受けるが、実際にはコストがかかる。 この問題に対する後処理ソリューションとしてPruningが採用され、パフォーマンスを損なわないニューラルネットワークの不要なパラメータの除去を目指している。 結果として得られるスパースニューラルネットワークは、スクラッチから同等の精度までトレーニングできないと広く信じられている。 しかし、いくつかの最近の作品(例えば [frankle and carbin, 2019a])は、パフォーマンスと密集した結果に合致するように訓練できるランダムなスパースネットワークを発見することで、この信念に挑戦している。 この新しいpruningパラダイムは、後で初期化時にpruningの新しい方法を刺激します。 奨励的な進歩にもかかわらず、これらの新しい刈り取りファッションと伝統的な刈り取りをコーディネートする方法はまだ検討されていません。 この調査は、従来のアルゴリズムとうまく適合できるように、一般的な刈り取りフレームワークを提案し、ギャップを埋めることを目指しています。 そこで本研究では,これらの新作ファッションがもたらす大きな違いと新たな洞察を体系的に反映し,代表的研究を長々と議論する。 最後に,オープン質問を今後の方向性として要約する。

関連論文リスト

• Convergence Guarantees of Overparametrized Wide Deep Inverse Prior [1.5362025549031046]
  逆優先法(Inverse Priors)は、ランダムな入力をフォワードモデルの下で画像が観察に一致するオブジェクトに変換する、教師なしのアプローチである。 本研究では, 連続時間勾配勾配勾配からトレーニングしたネットワークが, 高確率で指数関数的に高速に収束するオーバーパラメトリゼーション境界を提供する。 この研究は、過度にパラメータ化されたDIPネットワークの理論的理解への第一歩であり、より広い範囲で、逆問題設定におけるニューラルネットワークの理論的理解に関与している。
  論文  参考訳（メタデータ） (2023-03-20T16:49:40Z)
• Theoretical Characterization of How Neural Network Pruning Affects its Generalization [131.1347309639727]
  この研究は、異なるプルーニング率がモデルの勾配降下ダイナミクスと一般化にどのように影響するかを研究する最初の試みである。 プルーニング率が一定の閾値以下である限り、勾配降下はトレーニング損失をゼロに導くことができる。 より驚くべきことに、プルーニング分数が大きくなるにつれて、一般化境界はより良くなる。
  論文  参考訳（メタデータ） (2023-01-01T03:10:45Z)
• Neural Network Pruning Through Constrained Reinforcement Learning [3.2880869992413246]
  本稿では,ニューラルネットワークを解析するための一般的な手法を提案する。 提案手法は、事前に定義された計算予算を尊重するためにニューラルネットワークを創出することができる。 標準画像分類データセットにおける最先端手法との比較により,提案手法の有効性を実証する。
  論文  参考訳（メタデータ） (2021-10-16T11:57:38Z)
• Neural Pruning via Growing Regularization [82.9322109208353]
  プルーニングの2つの中心的な問題:プルーニングのスケジュールと重み付けの重要度だ。 具体的には, ペナルティ要因が増大するL2正規化変種を提案し, 精度が著しく向上することを示した。 提案アルゴリズムは,構造化プルーニングと非構造化プルーニングの両方において,大規模データセットとネットワークの実装が容易かつスケーラブルである。
  論文  参考訳（メタデータ） (2020-12-16T20:16:28Z)
• All You Need is a Good Functional Prior for Bayesian Deep Learning [15.10662960548448]
  これはベイジアンディープラーニングの極めて限定的な側面である、と我々は主張する。 本稿では,ニューラルネットワークの先行機能に適合する,新しい,堅牢なフレームワークを提案する。 我々は、これらの先行をスケーラブルなマルコフ連鎖モンテカルロサンプリングと結合させることで、体系的に大きな性能改善をもたらすという膨大な実験的な証拠を提供する。
  論文  参考訳（メタデータ） (2020-11-25T15:36:16Z)
• Progressive Skeletonization: Trimming more fat from a network at initialization [76.11947969140608]
  本稿では,接続感度が最大となるスケルトン化ネットワークを提案する。 次に、目的を最大化する2つの近似手順を提案する。 提案手法は, 高い刈り込みレベルにおいて, 性能を著しく向上させる。
  論文  参考訳（メタデータ） (2020-06-16T11:32:47Z)
• A Framework for Neural Network Pruning Using Gibbs Distributions [34.0576955010317]
  Gibbs pruningは、ニューラルネットワークのプルーニングメソッドを表現および設計するための新しいフレームワークである。 学習したウェイトとプルーニングマスクが互いに順応するように、同時にネットワークを訓練し訓練することができる。 我々は、CIFAR-10データセットでResNet-56を刈り取るための、最先端の新たな結果を得る。
  論文  参考訳（メタデータ） (2020-06-08T23:04:53Z)
• Robust Pruning at Initialization [61.30574156442608]
  計算リソースが限られているデバイス上で、機械学習アプリケーションを使用するための、より小さく、エネルギー効率のよいニューラルネットワークの必要性が高まっている。 ディープNNにとって、このような手順はトレーニングが困難であり、例えば、ひとつの層が完全に切断されるのを防ぐことができないため、満足できないままである。
  論文  参考訳（メタデータ） (2020-02-19T17:09:50Z)
• MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
  ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。 グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。 確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
  論文  参考訳（メタデータ） (2020-01-28T18:25:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。