論文の概要: Greedy Optimization Provably Wins the Lottery: Logarithmic Number of Winning Tickets is Enough

• arxiv url: http://arxiv.org/abs/2010.15969v1
• Date: Thu, 29 Oct 2020 22:06:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-01 22:34:37.935825
• Title: Greedy Optimization Provably Wins the Lottery: Logarithmic Number of Winning Tickets is Enough
• Title（参考訳）: 豪華な最適化が宝くじに勝つ: 当選チケットの対数数だけで十分
• Authors: Mao Ye, Lemeng Wu, Qiang Liu
• Abstract要約: 精度低下の許容範囲が指定されたニューラルネットワークのプルーク数を示す。 提案手法は,プルーンドネットワークと元のネットワークとの差が指数関数的に速い速度で減衰することを保証している。 本研究では,ResNet や MobilenetV2/V3 など,様々なネットワークアーキテクチャを ImageNet 上で刈り取る手法を実証的に改良する。
• 参考スコア（独自算出の注目度）: 19.19644194006565
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the great success of deep learning, recent works show that large deep neural networks are often highly redundant and can be significantly reduced in size. However, the theoretical question of how much we can prune a neural network given a specified tolerance of accuracy drop is still open. This paper provides one answer to this question by proposing a greedy optimization based pruning method. The proposed method has the guarantee that the discrepancy between the pruned network and the original network decays with exponentially fast rate w.r.t. the size of the pruned network, under weak assumptions that apply for most practical settings. Empirically, our method improves prior arts on pruning various network architectures including ResNet, MobilenetV2/V3 on ImageNet.
• Abstract（参考訳）: ディープラーニングの大きな成功にもかかわらず、最近の研究は、大きなディープニューラルネットワークがしばしば非常に冗長であり、サイズを大幅に削減できることを示している。 しかし、精度低下の許容範囲が指定されているニューラルネットワークをどの程度実行できるかという理論的問題は、まだ未解決である。 本稿では, グリーディ最適化に基づくプルーニング手法を提案する。 提案手法は,prunedネットワークと元のネットワークとの差が指数関数的に速いw.r.t.ネットワークのサイズで減少する保証を,最も実用的な設定に適用できる弱い仮定下で有する。 本研究では,ResNet や MobilenetV2/V3 など,様々なネットワークアーキテクチャを ImageNet 上で刈り取る手法を実証的に改良する。

関連論文リスト

• Deep Learning without Shortcuts: Shaping the Kernel with Tailored Rectifiers [83.74380713308605]
  我々は、ReLUの変種であるLeaky ReLUsと完全に互換性のある新しいタイプの変換を開発する。 実験では,ResNetsと競合する深層バニラネットワークによる検証精度を考慮し,計算コストを考慮しない手法を提案する。
  論文  参考訳（メタデータ） (2022-03-15T17:49:08Z)
• The Unreasonable Effectiveness of Random Pruning: Return of the Most Naive Baseline for Sparse Training [111.15069968583042]
  ランダムプルーニングは、ニューラルネットワークのスパーシティを実現する最も単純な方法であることは間違いないが、トレーニング後のプルーニングやスパーストレーニングでは非競争的であると見なされている。 我々は、スクラッチからランダムに切断されたネットワークをスクラッチからスクラッチ的に訓練することで、その密度の高い等価性の性能に一致することを実証的に実証した。 以上の結果から,大規模なスパーストレーニングを行う余地はより大きいことが示唆され,スポーシティのメリットは慎重に設計されたプルーニングを超えて普遍的である可能性が示唆された。
  論文  参考訳（メタデータ） (2022-02-05T21:19:41Z)
• Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity on Pruned Neural Networks [79.74580058178594]
  目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。 本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
  論文  参考訳（メタデータ） (2021-10-12T01:11:07Z)
• DeepSplit: Scalable Verification of Deep Neural Networks via Operator Splitting [70.62923754433461]
  入力摂動に対するディープニューラルネットワークの最悪の性能を分析することは、大規模な非最適化問題の解決につながる。 解析解を持つ小さなサブプロブレムに分割することで,問題の凸緩和を直接高精度に解ける新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-06-16T20:43:49Z)
• Neural Pruning via Growing Regularization [82.9322109208353]
  プルーニングの2つの中心的な問題:プルーニングのスケジュールと重み付けの重要度だ。 具体的には, ペナルティ要因が増大するL2正規化変種を提案し, 精度が著しく向上することを示した。 提案アルゴリズムは,構造化プルーニングと非構造化プルーニングの両方において,大規模データセットとネットワークの実装が容易かつスケーラブルである。
  論文  参考訳（メタデータ） (2020-12-16T20:16:28Z)
• ESPN: Extremely Sparse Pruned Networks [50.436905934791035]
  簡単な反復マスク探索法により,非常に深いネットワークの最先端の圧縮を実現することができることを示す。 本アルゴリズムは,シングルショット・ネットワーク・プルーニング法とロッテ・ティケット方式のハイブリッド・アプローチを示す。
  論文  参考訳（メタデータ） (2020-06-28T23:09:27Z)
• Good Subnetworks Provably Exist: Pruning via Greedy Forward Selection [35.121856435677564]
  本稿では,ディープニューラルネットワークにおけるグッドワークを見つけるための,単純な欲求選択手法を提案する。 十分に大きな事前訓練ネットワークに欲求選択戦略を適用することで、勾配降下で直接訓練されたネットワークよりも損失の少ないスモールワークを見つけることが保証される。
  論文  参考訳（メタデータ） (2020-03-03T21:03:11Z)
• Network Pruning via Annealing and Direct Sparsity Control [4.976007156860966]
  本稿では,非構造的および構造的チャネルレベルのプルーニングに適した,新しい効率的なネットワークプルーニング手法を提案する。 提案手法は, 基準とスケジュールに基づいて, ネットワークパラメータやフィルタチャネルを徐々に除去することにより, 空間制約を緩和する。
  論文  参考訳（メタデータ） (2020-02-11T10:51:12Z)
• ReluDiff: Differential Verification of Deep Neural Networks [8.601847909798165]
  我々は2つの密接に関連するネットワークの差分検証法を開発した。 我々は2つのネットワークの構造的および行動的類似性を利用して、2つのネットワークの出力ニューロン間の差異をより正確に拘束する。 実験の結果,最先端の検証ツールと比較して,精度向上が可能であることがわかった。
  論文  参考訳（メタデータ） (2020-01-10T20:47:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。