論文の概要: Training Recipe for N:M Structured Sparsity with Decaying Pruning Mask
- arxiv url: http://arxiv.org/abs/2209.07617v1
- Date: Thu, 15 Sep 2022 21:30:55 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-19 12:16:49.186632
- Title: Training Recipe for N:M Structured Sparsity with Decaying Pruning Mask
- Title(参考訳): 減衰プルーニングマスクを用いたn:m構造スパルシティのトレーニングレシピ
- Authors: Sheng-Chun Kao, Amir Yazdanbakhsh, Suvinay Subramanian, Shivani
Agrawal, Utku Evci, Tushar Krishna
- Abstract要約: モデル精度と計算コストのトレードオフの観点から,N:M空間の様々なトレーニングレシピについて検討し,評価を行った。
我々は,2つの新しい崩壊に基づくプルーニング法,すなわち「プルーニングマスク崩壊」と「スパース構造崩壊」を提案する。
評価の結果,提案手法は非構造空間に匹敵する精度のSOTA(State-of-the-art)モデルを実現することがわかった。
- 参考スコア(独自算出の注目度): 8.02992650002693
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Sparsity has become one of the promising methods to compress and accelerate
Deep Neural Networks (DNNs). Among different categories of sparsity, structured
sparsity has gained more attention due to its efficient execution on modern
accelerators. Particularly, N:M sparsity is attractive because there are
already hardware accelerator architectures that can leverage certain forms of
N:M structured sparsity to yield higher compute-efficiency. In this work, we
focus on N:M sparsity and extensively study and evaluate various training
recipes for N:M sparsity in terms of the trade-off between model accuracy and
compute cost (FLOPs). Building upon this study, we propose two new decay-based
pruning methods, namely "pruning mask decay" and "sparse structure decay". Our
evaluations indicate that these proposed methods consistently deliver
state-of-the-art (SOTA) model accuracy, comparable to unstructured sparsity, on
a Transformer-based model for a translation task. The increase in the accuracy
of the sparse model using the new training recipes comes at the cost of
marginal increase in the total training compute (FLOPs).
- Abstract(参考訳): sparsityはディープニューラルネットワーク(dnn)を圧縮・加速する有望な方法の1つとなっている。
sparsityのさまざまなカテゴリにおいて、構造化スパーシティは、現代のアクセラレーター上での効率的な実行のために、より注目を集めている。
特に、N:Mスパシティは、特定の形式のN:M構造化空間を利用して高い計算効率を得ることができるハードウェアアクセラレータアーキテクチャがすでに存在するので、魅力的である。
本研究では,モデル精度と計算コスト(FLOP)のトレードオフの観点から,N:Mスパシティに着目し,N:Mスパシティのための様々なトレーニングレシピを幅広く研究し,評価する。
本研究は,2つの新しい崩壊型プルーニング法,すなわち「プルーニングマスク崩壊」と「スパース構造崩壊」を提案する。
提案手法は,トランスフォーマーに基づく翻訳タスクのモデル上で,非構造化空間に匹敵する,最先端(SOTA)モデルの精度を一貫して提供することを示す。
新しいトレーニングレシピを用いたスパースモデルの精度の向上は、トータルトレーニング計算(flops)の限界増加のコストがかかっている。
関連論文リスト
- BMRS: Bayesian Model Reduction for Structured Pruning [9.508747319738847]
構造化プルーニングの完全エンドツーエンドベイズ手法を提案する。
BMRSは、ニューラルネットワークの構造的プルーニングに対する理論的に基礎的なアプローチを提供する。
論文 参考訳(メタデータ) (2024-06-03T14:08:04Z) - Progressive Gradient Flow for Robust N:M Sparsity Training in
Transformers [15.27677493050638]
N:Mの構造的疎水性は、比較的穏やかなオーバーヘッドと効率の向上の結果、大きな関心を集めている。
N:Mの構造的疎性のためのトレーニングレシピの開発は、主に低疎性領域に焦点を当てている。
しかし、これらの手法を用いて訓練されたモデルの性能は、高分離領域に直面すると低下する傾向にある。
論文 参考訳(メタデータ) (2024-02-07T10:55:59Z) - Accelerating Deep Neural Networks via Semi-Structured Activation
Sparsity [0.0]
ネットワークの機能マップにスパシティを爆発させることは、推論のレイテンシを低減する方法の1つです。
そこで本研究では,セミ構造化されたアクティベーション空間を小さなランタイム修正によって活用する手法を提案する。
当社のアプローチでは,ImageNetデータセット上のResNet18モデルに対して,最小精度が1.1%の1.25倍の速度向上を実現している。
論文 参考訳(メタデータ) (2023-09-12T22:28:53Z) - Maestro: Uncovering Low-Rank Structures via Trainable Decomposition [15.254107731735553]
近年、ディープニューラルネットワーク(DNN)はAIのブレークスルーの大きな要因となっている。
より正確で安全になるにつれて、ますます大きなものになってきています。
つまり、トレーニングはますますコストと時間がかかります。
トレーニング可能な低ランク層のためのフレームワークであるMaestroを提案する。
論文 参考訳(メタデータ) (2023-08-28T23:08:15Z) - Spatial Re-parameterization for N:M Sparsity [68.83451203841624]
N:M間隔は空間領域内で一定の間隔率を示す。
構造のない空間は 空間領域をまたがる 空間の空間性にかなりのばらつきを 示しています
SpReは、N:Mのスパーシリティ法と最先端の非構造化のスパーシティ法のパフォーマンスをマッチングすることで、賞賛できる偉業を成し遂げた。
論文 参考訳(メタデータ) (2023-06-09T01:11:50Z) - Training Structured Neural Networks Through Manifold Identification and
Variance Reduction [8.528384027684194]
本稿では,ニューラルネットワーク(NN)を学習するためのアルゴリズム(RMDA)を提案する。
RMDAは運動量の増加に余分な計算を行わず、目的関数を有限サム形式にすることなく分散還元を達成する。
論文 参考訳(メタデータ) (2021-12-05T16:23:53Z) - Low-bit Quantization of Recurrent Neural Network Language Models Using
Alternating Direction Methods of Multipliers [67.688697838109]
本稿では、乗算器の交互方向法(ADMM)を用いて、スクラッチから量子化RNNLMを訓練する新しい手法を提案する。
2つのタスクの実験から、提案されたADMM量子化は、完全な精度ベースライン RNNLM で最大31倍のモデルサイズ圧縮係数を達成したことが示唆された。
論文 参考訳(メタデータ) (2021-11-29T09:30:06Z) - MEST: Accurate and Fast Memory-Economic Sparse Training Framework on the
Edge [72.16021611888165]
本稿では,エッジデバイス上での高精度かつ高速な実行を目的とした,メモリ・エコノミクス・スパース・トレーニング(MEST)フレームワークを提案する。
提案されているMESTフレームワークは、Elastic Mutation (EM)とSoft Memory Bound (&S)による拡張で構成されている。
以上の結果から,スペーサマスクの動的探索においても,忘れられない例をその場で特定できることが示唆された。
論文 参考訳(メタデータ) (2021-10-26T21:15:17Z) - Powerpropagation: A sparsity inducing weight reparameterisation [65.85142037667065]
我々は、本質的にスパースモデルにつながるニューラルネットワークの新しい重みパラメータ化であるPowerpropagationを紹介した。
この方法で訓練されたモデルは同様の性能を示すが、0で明らかに高い密度の分布を持ち、より多くのパラメータを安全に刈り取ることができる。
ここでは、Powerpropagationと従来のウェイトプルーニング技術と、最近の最先端スパース・トゥ・スパースアルゴリズムを組み合わせることで、ImageNetベンチマークで優れたパフォーマンスを示す。
論文 参考訳(メタデータ) (2021-10-01T10:03:57Z) - Efficient Micro-Structured Weight Unification and Pruning for Neural
Network Compression [56.83861738731913]
ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。
既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。
ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
論文 参考訳(メタデータ) (2021-06-15T17:22:59Z) - Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。
本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文 参考訳(メタデータ) (2020-06-10T08:22:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。