Fugu-MT 論文翻訳(概要): Single Shot Structured Pruning Before Training

論文の概要: Single Shot Structured Pruning Before Training

arxiv url: http://arxiv.org/abs/2007.00389v1
Date: Wed, 1 Jul 2020 11:27:37 GMT
ステータス: 処理完了
システム内更新日: 2022-11-14 22:08:42.207205
Title: Single Shot Structured Pruning Before Training
Title（参考訳）: トレーニング前の単一ショット構造化プルーニング
Authors: Joost van Amersfoort, Milad Alizadeh, Sebastian Farquhar, Nicholas Lane, Yarin Gal
Abstract要約: 我々の研究は、トレーニングと推論をスピードアップすることを目的として、チャネル全体と隠れたユニットを除去する方法論を開発した。本稿では,FLOP毎の感度単位のプルーニングを可能とし,より高速なアップを可能にする計算対応スコアリング機構を提案する。
参考スコア（独自算出の注目度）: 34.34435316622998
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We introduce a method to speed up training by 2x and inference by 3x in deep neural networks using structured pruning applied before training. Unlike previous works on pruning before training which prune individual weights, our work develops a methodology to remove entire channels and hidden units with the explicit aim of speeding up training and inference. We introduce a compute-aware scoring mechanism which enables pruning in units of sensitivity per FLOP removed, allowing even greater speed ups. Our method is fast, easy to implement, and needs just one forward/backward pass on a single batch of data to complete pruning before training begins.
Abstract（参考訳）: 本稿では,トレーニング前の構造的プルーニングを用いた深層ニューラルネットワークにおいて,トレーニングを2倍高速化し,推論を3倍高速化する手法を提案する。従来のトレーニング前の刈り取り作業とは違って、トレーニングと推論をスピードアップする目的で、チャネル全体と隠れたユニットを除去する手法を開発しました。 FLOPあたりの感度の単位をプラニングすることで、より高速なアップを可能にする計算対応スコアリング機構を導入する。我々の手法は高速で実装が簡単で、トレーニングが始まる前に1つのデータに1つの前方/後方パスだけでプルーニングが完了する。

関連論文リスト

Joint or Disjoint: Mixing Training Regimes for Early-Exit Models [3.052154851421859]
早期出口はディープニューラルネットワークに必要な計算量を大幅に削減する。ほとんどの早期出口法では、バックボーンネットワークと出口ヘッドを同時に訓練するか、出口ヘッドを別々に訓練する訓練戦略を採用している。本稿では,バックボーンを自力でトレーニングし,その後にバックボーンと出口ヘッドを併用したトレーニング手法を提案する。
論文参考訳（メタデータ） (2024-07-19T13:56:57Z)
Fast Propagation is Better: Accelerating Single-Step Adversarial Training via Sampling Subnetworks [69.54774045493227]
逆行訓練の欠点は、逆行例の生成によって引き起こされる計算オーバーヘッドである。モデルの内部構造ブロックを利用して効率を向上させることを提案する。従来の手法と比較して,本手法はトレーニングコストを削減できるだけでなく,モデルの堅牢性も向上する。
論文参考訳（メタデータ） (2023-10-24T01:36:20Z)
Efficient Adversarial Training with Robust Early-Bird Tickets [57.72115485770303]
パラメータが収束するずっと前に、初期のトレーニングフェーズに堅牢な接続パターンが現れることが分かりました。この発見にインスパイアされた我々は、効率的な対人訓練方法を開発するために、堅牢な早期バードチケットを掘り下げる。実験の結果,提案手法は最大7倍の高速化を達成できることがわかった。
論文参考訳（メタデータ） (2022-11-14T10:44:25Z)
Neural Network Panning: Screening the Optimal Sparse Network Before Training [15.349144733875368]
ネットワークプルーニングは重みの表現力伝達過程として要約できると我々は主張する。本稿では,マルチインデックスおよびマルチプロセスステップによる表現力伝達をガイドするニューラルネットワークパニングと呼ばれるトレーニング前のプルーニング手法を提案する。
論文参考訳（メタデータ） (2022-09-27T13:31:43Z)
Dimensionality Reduced Training by Pruning and Freezing Parts of a Deep Neural Network, a Survey [69.3939291118954]
最先端のディープラーニングモデルには、何十億にも達するパラメータカウントがある。そのようなモデルのトレーニング、保存、転送は、エネルギーと時間を要するため、コストがかかる。モデル圧縮は、ストレージと転送コストを低減し、フォワードおよび/または後方パスでの計算数を減少させることで、トレーニングをより効率的にすることができる。この研究は、トレーニング全体を通してディープラーニングモデルでトレーニングされた重量を減らす方法に関する調査である。
論文参考訳（メタデータ） (2022-05-17T05:37:08Z)
When to Prune? A Policy towards Early Structural Pruning [27.91996628143805]
我々は,パフォーマンスを損なうことなく,できるだけ早期に訓練を行う政策を提案する。我々の方法では、最先端のプルーニングに比べて1.4%の精度でトップ1の精度が向上し、GPUのトレーニングコストを2.4%削減する。
論文参考訳（メタデータ） (2021-10-22T18:39:22Z)
Sparse Training via Boosting Pruning Plasticity with Neuroregeneration [79.78184026678659]
本研究では, プラスティック性の観点から, 訓練を通しての刈り込みの効果について検討した。ゼロコスト神経再生(GraNet)と動的スパーストレーニング(DST)変異(GraNet-ST)を併用した段階的プラニング(gradual pruning)法を考案した。おそらく最も印象的なのは、ImageNet上のResNet-50との大きなマージンで、さまざまな密集したスパースメソッドに対するスパース・ツー・スパーストレーニングのパフォーマンスを初めて向上させたことだ。
論文参考訳（メタデータ） (2021-06-19T02:09:25Z)
Rapid Structural Pruning of Neural Networks with Set-based Task-Adaptive Meta-Pruning [83.59005356327103]
既存のプルーニング技術に共通する制限は、プルーニングの前に少なくとも1回はネットワークの事前トレーニングが必要であることである。本稿では,ターゲットデータセットの関数としてプルーニングマスクを生成することにより,大規模な参照データセット上で事前訓練されたネットワークをタスク適応的にプルークするSTAMPを提案する。ベンチマークデータセット上での最近の先進的なプルーニング手法に対するSTAMPの有効性を検証する。
論文参考訳（メタデータ） (2020-06-22T10:57:43Z)
Pruning via Iterative Ranking of Sensitivity Statistics [0.0]
トレーニング前の小さなステップで、感度基準を反復的に適用することで、実装が難しいことなしにパフォーマンスを向上させることができることを示す。次に、構造化プルーニングと非構造化プルーニングの両方に適用可能であり、かつ、最先端のスペーサリティ・パフォーマンストレードオフを達成可能であることを実証する。
論文参考訳（メタデータ） (2020-06-01T12:48:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。