論文の概要: An Operator Theoretic Perspective on Pruning Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2110.14856v1
• Date: Thu, 28 Oct 2021 02:33:50 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-30 07:52:22.210315
• Title: An Operator Theoretic Perspective on Pruning Deep Neural Networks
• Title（参考訳）: プルーニング深層ニューラルネットワークにおけるオペレータ理論の展望
• Authors: William T. Redman, Maria Fonoberova, Ryan Mohr, Ioannis G. Kevrekidis, Igor Mezic
• Abstract要約: 我々は、動的システム理論の最近の進歩を利用して、理論上動機付けられたプルーニングアルゴリズムの新しいクラスを定義する。 これらのアルゴリズムは、等級や勾配に基づくプルーニングと等価であることを示す。
• 参考スコア（独自算出の注目度）: 2.624902795082451
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The discovery of sparse subnetworks that are able to perform as well as full models has found broad applied and theoretical interest. While many pruning methods have been developed to this end, the na\"ive approach of removing parameters based on their magnitude has been found to be as robust as more complex, state-of-the-art algorithms. The lack of theory behind magnitude pruning's success, especially pre-convergence, and its relation to other pruning methods, such as gradient based pruning, are outstanding open questions in the field that are in need of being addressed. We make use of recent advances in dynamical systems theory, namely Koopman operator theory, to define a new class of theoretically motivated pruning algorithms. We show that these algorithms can be equivalent to magnitude and gradient based pruning, unifying these seemingly disparate methods, and that they can be used to shed light on magnitude pruning's performance during early training.
• Abstract（参考訳）: 完全なモデルと同様に実行できるスパースサブネットワークの発見は、広く応用され、理論的な関心を集めている。 この目的のために多くのプルーニング法が開発されているが、その大きさに基づいてパラメータを除去する「経験的」アプローチは、より複雑で最先端のアルゴリズムと同じくらい堅牢であることがわかった。 マグニチュード・プルーニングの成功の背後にある理論の欠如、特にプレコンバージェンス、およびグラデーション・ベースのプルーニングのような他のプルーニング法との関係は、対処する必要のある分野における未解決の問題である。 我々は、動的システム理論、すなわちクープマン作用素理論の最近の進歩を利用して、理論上動機付けられたプルーニングアルゴリズムの新しいクラスを定義する。 これらのアルゴリズムは, 等級と勾配に基づくプルーニングと等価であり, 異なるように見える手法を統一し, 早期訓練におけるプルーニングの性能を照らすのに有効であることを示す。

関連論文リスト

• The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
  本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。 FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。 我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
  論文  参考訳（メタデータ） (2023-03-17T02:01:11Z)
• A Robust Hypothesis Test for Tree Ensemble Pruning [2.4923006485141284]
  そこで我々は,勾配増進木アンサンブルの分割品質に関する理論的に正当化された新しい仮説を考案し,提示する。 本手法は, 一般的なペナルティ条件ではなく, サンプル損失の低減につながることを示す。 また,この手法にいくつかの革新的な拡張を加えて,様々な新しい木刈りアルゴリズムの扉を開く。
  論文  参考訳（メタデータ） (2023-01-24T16:31:49Z)
• Theoretical Characterization of How Neural Network Pruning Affects its Generalization [131.1347309639727]
  この研究は、異なるプルーニング率がモデルの勾配降下ダイナミクスと一般化にどのように影響するかを研究する最初の試みである。 プルーニング率が一定の閾値以下である限り、勾配降下はトレーニング損失をゼロに導くことができる。 より驚くべきことに、プルーニング分数が大きくなるにつれて、一般化境界はより良くなる。
  論文  参考訳（メタデータ） (2023-01-01T03:10:45Z)
• The rise of the lottery heroes: why zero-shot pruning is hard [3.1473798197405944]
  ディープラーニング最適化の最近の進歩は、モデルのトレーニングを成功させるためには、パラメータのサブセットが本当に必要であることを示している。 トレーニング可能なサブネットワークを見つけるのは通常、コストがかかるプロセスです。 ディープラーニングモデルにおける学習されたサブグラフ構造は、トレーニング時に見つけることができるか?
  論文  参考訳（メタデータ） (2022-02-24T22:49:36Z)
• Do Proportionate Algorithms Exploit Sparsity? [13.303007365477862]
  本稿では,比例型アルゴリズムの未検討の欠点と限界に対処する。 本研究の結果は,いくつかのスパースシナリオにおけるこれらのアルゴリズムの性能低下に対する理論的正当性や,非定常・圧縮可能なシステムを扱う場合の正当性について考察した。
  論文  参考訳（メタデータ） (2021-08-16T00:56:00Z)
• Fractal Structure and Generalization Properties of Stochastic Optimization Algorithms [71.62575565990502]
  最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。 さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
  論文  参考訳（メタデータ） (2021-06-09T08:05:36Z)
• Emerging Paradigms of Neural Network Pruning [82.9322109208353]
  この問題に対する後処理ソリューションとしてPruningが採用され、パフォーマンスを損なわないニューラルネットワークの不要なパラメータの除去を目指している。 最近の研究では、パフォーマンスと密接なそれとを一致させるように訓練できるランダムなスパースネットワークを発見することによって、この信念に挑戦している。 この調査は、従来のアルゴリズムとうまく適合できるように、一般的な刈り取りフレームワークを提案し、ギャップを埋めることを目指しています。
  論文  参考訳（メタデータ） (2021-03-11T05:01:52Z)
• Phase Retrieval using Expectation Consistent Signal Recovery Algorithm based on Hypernetwork [73.94896986868146]
  位相検索は現代の計算イメージングシステムにおいて重要な要素である。 近年のディープラーニングの進歩は、堅牢で高速なPRの新たな可能性を開いた。 我々は、既存の制限を克服するために、深層展開のための新しいフレームワークを開発する。
  論文  参考訳（メタデータ） (2021-01-12T08:36:23Z)
• Robust Pruning at Initialization [61.30574156442608]
  計算リソースが限られているデバイス上で、機械学習アプリケーションを使用するための、より小さく、エネルギー効率のよいニューラルネットワークの必要性が高まっている。 ディープNNにとって、このような手順はトレーニングが困難であり、例えば、ひとつの層が完全に切断されるのを防ぐことができないため、満足できないままである。
  論文  参考訳（メタデータ） (2020-02-19T17:09:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。