論文の概要: Winning the Lottery Ahead of Time: Efficient Early Network Pruning

• arxiv url: http://arxiv.org/abs/2206.10451v1
• Date: Tue, 21 Jun 2022 14:59:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-22 18:16:34.024289
• Title: Winning the Lottery Ahead of Time: Efficient Early Network Pruning
• Title（参考訳）: 時間前に宝くじに勝つ:効率的な早期ネットワークの刈り取り
• Authors: John Rachwan, Daniel Z\"ugner, Bertrand Charpentier, Simon Geisler, Morgane Ayle, Stephan G\"unnemann
• Abstract要約: ディープニューラルネットワークをスパース化するタスクであるPruningは、最近注目を集めている。 本研究では, 早期圧縮をグラディエントフロー保存 (EarlyCroP) で行うことで, 訓練前後に最先端のスパースモデルを効率的に抽出する手法を提案する。 EarlyCroPは、プルーニングベースラインを上回りながら、密集したトレーニングに匹敵する精度に導かれる。
• 参考スコア（独自算出の注目度）: 28.832060124537843
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pruning, the task of sparsifying deep neural networks, received increasing attention recently. Although state-of-the-art pruning methods extract highly sparse models, they neglect two main challenges: (1) the process of finding these sparse models is often very expensive; (2) unstructured pruning does not provide benefits in terms of GPU memory, training time, or carbon emissions. We propose Early Compression via Gradient Flow Preservation (EarlyCroP), which efficiently extracts state-of-the-art sparse models before or early in training addressing challenge (1), and can be applied in a structured manner addressing challenge (2). This enables us to train sparse networks on commodity GPUs whose dense versions would be too large, thereby saving costs and reducing hardware requirements. We empirically show that EarlyCroP outperforms a rich set of baselines for many tasks (incl. classification, regression) and domains (incl. computer vision, natural language processing, and reinforcment learning). EarlyCroP leads to accuracy comparable to dense training while outperforming pruning baselines.
• Abstract（参考訳）: ディープニューラルネットワークのスパース化タスクであるpruningが最近注目を集めている。 最先端のpruningメソッドは、非常にスパースなモデルを抽出するが、1)これらのスパースモデルを見つけるプロセスは、しばしば非常に高価であり、2)非構造化pruningは、gpuメモリ、トレーニング時間、または二酸化炭素排出量の点でメリットを提供しない。 本研究では, 学習課題(1)の前後で最先端スパースモデルを効率的に抽出し, 構造化方法(2)に応用できる, グラディエントフロー保存(EarlyCroP)による早期圧縮を提案する。 これにより、高密度バージョンが大きすぎるコモディティGPU上でスパースネットワークのトレーニングが可能になり、コスト削減とハードウェア要件の削減が可能になります。 実験によって、EarlyCroPは、多くのタスク(分類、回帰を含む)とドメイン(コンピュータビジョン、自然言語処理、強化学習を含む)において、豊富なベースラインのセットより優れています。 EarlyCroPは、プルーニングベースラインを上回りながら、密集したトレーニングに匹敵する精度をもたらす。

関連論文リスト

• Accurate Neural Network Pruning Requires Rethinking Sparse Optimization [87.90654868505518]
  標準コンピュータビジョンと自然言語処理の疎度ベンチマークを用いたモデルトレーニングにおいて,高い疎度が与える影響について述べる。 本稿では,視覚モデルのスパース事前学習と言語モデルのスパース微調整の両面において,この問題を軽減するための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-08-03T21:49:14Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• What to Prune and What Not to Prune at Initialization [0.0]
  トレーニング後のドロップアウトベースのアプローチは、高いスパシティを実現する。 ネットワークの計算コストのスケーリングに関しては,初期化プルーニングの方が有効だ。 目標は、パフォーマンスを維持しながら、より高い疎性を達成することです。
  論文  参考訳（メタデータ） (2022-09-06T03:48:10Z)
• Pruning Early Exit Networks [14.048989759890475]
  モデル性能を高く保ちながら計算コストを削減しようとする2つのアプローチを組み合わせる。 1) ネットワーク全体を一度にプルーニングすること,(2) ベースネットワークをプルーニングすること,および線形分類器を順序付きで追加すること,の2つのアプローチを評価する。
  論文  参考訳（メタデータ） (2022-07-08T01:57:52Z)
• The Unreasonable Effectiveness of Random Pruning: Return of the Most Naive Baseline for Sparse Training [111.15069968583042]
  ランダムプルーニングは、ニューラルネットワークのスパーシティを実現する最も単純な方法であることは間違いないが、トレーニング後のプルーニングやスパーストレーニングでは非競争的であると見なされている。 我々は、スクラッチからランダムに切断されたネットワークをスクラッチからスクラッチ的に訓練することで、その密度の高い等価性の性能に一致することを実証的に実証した。 以上の結果から,大規模なスパーストレーニングを行う余地はより大きいことが示唆され,スポーシティのメリットは慎重に設計されたプルーニングを超えて普遍的である可能性が示唆された。
  論文  参考訳（メタデータ） (2022-02-05T21:19:41Z)
• When to Prune? A Policy towards Early Structural Pruning [27.91996628143805]
  我々は,パフォーマンスを損なうことなく,できるだけ早期に訓練を行う政策を提案する。 我々の方法では、最先端のプルーニングに比べて1.4%の精度でトップ1の精度が向上し、GPUのトレーニングコストを2.4%削減する。
  論文  参考訳（メタデータ） (2021-10-22T18:39:22Z)
• Sparse Training via Boosting Pruning Plasticity with Neuroregeneration [79.78184026678659]
  本研究では, プラスティック性の観点から, 訓練を通しての刈り込みの効果について検討した。 ゼロコスト神経再生(GraNet)と動的スパーストレーニング(DST)変異(GraNet-ST)を併用した段階的プラニング(gradual pruning)法を考案した。 おそらく最も印象的なのは、ImageNet上のResNet-50との大きなマージンで、さまざまな密集したスパースメソッドに対するスパース・ツー・スパーストレーニングのパフォーマンスを初めて向上させたことだ。
  論文  参考訳（メタデータ） (2021-06-19T02:09:25Z)
• Neural Pruning via Growing Regularization [82.9322109208353]
  プルーニングの2つの中心的な問題:プルーニングのスケジュールと重み付けの重要度だ。 具体的には, ペナルティ要因が増大するL2正規化変種を提案し, 精度が著しく向上することを示した。 提案アルゴリズムは,構造化プルーニングと非構造化プルーニングの両方において,大規模データセットとネットワークの実装が容易かつスケーラブルである。
  論文  参考訳（メタデータ） (2020-12-16T20:16:28Z)
• Pruning Convolutional Filters using Batch Bridgeout [14.677724755838556]
  最先端のコンピュータビジョンモデルでは、トレーニングセットに適合するために必要なパラメータ数がはるかに多いため、能力が急速に向上している。 これにより最適化と一般化性能が向上する。 推論コストを削減するために、トレーニングされたニューラルネットワークの畳み込みフィルタを切断することで、推論中の実行時のメモリと計算要求を削減できる。 本稿では,ニューラルネットワークの性能低下を最小限に抑え,効率よく刈り取ることができるようにトレーニングするために,スパシティ誘導正規化スキームであるBatch Bridgeoutを提案する。
  論文  参考訳（メタデータ） (2020-09-23T01:51:47Z)
• Rapid Structural Pruning of Neural Networks with Set-based Task-Adaptive Meta-Pruning [83.59005356327103]
  既存のプルーニング技術に共通する制限は、プルーニングの前に少なくとも1回はネットワークの事前トレーニングが必要であることである。 本稿では,ターゲットデータセットの関数としてプルーニングマスクを生成することにより,大規模な参照データセット上で事前訓練されたネットワークをタスク適応的にプルークするSTAMPを提案する。 ベンチマークデータセット上での最近の先進的なプルーニング手法に対するSTAMPの有効性を検証する。
  論文  参考訳（メタデータ） (2020-06-22T10:57:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。