論文の概要: Dynamic Sparse Training with Structured Sparsity
- arxiv url: http://arxiv.org/abs/2305.02299v4
- Date: Wed, 21 Feb 2024 23:31:49 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-23 19:12:10.089307
- Title: Dynamic Sparse Training with Structured Sparsity
- Title（参考訳）: 構造スパースを用いたダイナミックスパーストレーニング
- Authors: Mike Lasby, Anna Golubeva, Utku Evci, Mihai Nica, Yani Ioannou
- Abstract要約: ダイナミックスパーストレーニング(DST)法は、スパースニューラルネットワークトレーニングにおいて最先端の結果を達成する。
本研究では, 微細構造N:M空間の変形を学習するために, スパース・ツー・スパースDST法, Structured RigL (SRigL)を提案する。
オンライン推論用CPUでは3.4x/2.5x、GPUでは1.7x/13.0x、バッチサイズは256である。
- 参考スコア（独自算出の注目度）: 11.778353786208765
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Dynamic Sparse Training (DST) methods achieve state-of-the-art results in
sparse neural network training, matching the generalization of dense models
while enabling sparse training and inference. Although the resulting models are
highly sparse and theoretically less computationally expensive, achieving
speedups with unstructured sparsity on real-world hardware is challenging. In
this work, we propose a sparse-to-sparse DST method, Structured RigL (SRigL),
to learn a variant of fine-grained structured N:M sparsity by imposing a
constant fan-in constraint. Using our empirical analysis of existing DST
methods at high sparsity, we additionally employ a neuron ablation method which
enables SRigL to achieve state-of-the-art sparse-to-sparse structured DST
performance on a variety of Neural Network (NN) architectures. Using a 90%
sparse linear layer, we demonstrate a real-world acceleration of 3.4x/2.5x on
CPU for online inference and 1.7x/13.0x on GPU for inference with a batch size
of 256 when compared to equivalent dense/unstructured (CSR) sparse layers,
respectively.
- Abstract（参考訳）: 動的スパーストレーニング(dst)法は、スパースニューラルネットワークトレーニングにおいて最先端の結果を達成し、スパーストレーニングと推論を可能にしながら、密集したモデルの一般化と一致する。
結果のモデルは非常に疎結合であり、理論上は計算コストが低いが、現実のハードウェア上で非構造化の間隔でスピードアップを達成することは困難である。
本研究では, 一定のファンイン制約を課すことで, 微細構造N:M空間の変動を学習するための, スパース・トゥ・スパースDST法であるStructured RigL(SRigL)を提案する。
既存のDST手法を高間隔で実証分析することにより,SRigLが様々なニューラルネットワーク(NN)アーキテクチャ上で,最先端のスパース・ツー・スパース構造DST性能を達成できるニューロンアブレーション法も導入する。
90%のスパース線形層を用いて、オンライン推論用のCPUで3.4x/2.5x、バッチサイズ256のGPUで1.7x/13.0xのリアルタイム加速度を、等価密度/非構造化(CSR)スパース層と比較して示す。
関連論文リスト
- Dynamic Sparsity Is Channel-Level Sparsity Learner [91.31071026340746]
ダイナミックスパーストレーニング(Dynamic Sparse Training, DST)は、ススパーストレーニングの指導的アプローチである。
チャネル対応動的スパース(Chase)は、非構造的動的スパースをチャネルレベルのスパースにシームレスに変換する。
提案手法は,非構造的空間性からチャネルワイド空間性へ変換する。
論文 参考訳（メタデータ） (2023-05-30T23:33:45Z) - FSCNN: A Fast Sparse Convolution Neural Network Inference System [31.474696818171953]
畳み込みニューラルネットワーク(CNN)は目覚ましい成功を収めているが、通常は高い計算コストと多くの冗長な重みパラメータが伴う。
FLOPを小さくするためには、粗粒の粗さを導入して隠蔽構造全体を除去する構造刈りが一般的である。
圧縮されたCNNの微細な粒度を利用した効率的な畳み込みニューラルネットワーク推論システムを提案する。
論文 参考訳（メタデータ） (2022-12-17T06:44:58Z) - Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。
我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文 参考訳（メタデータ） (2022-11-19T15:44:08Z) - Training High-Performance Low-Latency Spiking Neural Networks by
Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。
非分化性のため、SNNを効率的に訓練することは困難である。
本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文 参考訳（メタデータ） (2022-05-01T12:44:49Z) - Scaling Structured Inference with Randomization [64.18063627155128]
本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。
我々の手法は古典的DPベースの推論に広く適用できる。
また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
論文 参考訳（メタデータ） (2021-12-07T11:26:41Z) - Learning N:M Fine-grained Structured Sparse Neural Networks From Scratch [75.69506249886622]
ディープニューラルネットワーク(DNN)におけるスパーシティは、資源制約された環境でモデルを圧縮し、加速するために広く研究されている。
本稿では,N:M細粒構造スパースネットワークのスクラッチからトレーニングを初めて行う。
論文 参考訳（メタデータ） (2021-02-08T05:55:47Z) - Do We Actually Need Dense Over-Parameterization? In-Time
Over-Parameterization in Sparse Training [16.81321230135317]
スパーストレーニングにおけるITOP(In-Time Over-Resibilityization)の概念を提案する。
ITOPはスパーストレーニングと密集トレーニングのギャップを埋めます。
本稿では,我々の予想を裏付け,最先端のスパーストレーニング性能を達成するための一連の実験について述べる。
論文 参考訳（メタデータ） (2021-02-04T20:59:31Z) - Procrustes: a Dataflow and Accelerator for Sparse Deep Neural Network
Training [0.5219568203653523]
我々は,まず,第1の訓練を行わず,第2の訓練を行ない,第2の訓練を行ない,第1の訓練を行ない,第1の訓練を行ない,第1の訓練を行ない,第2の訓練を行ないながら,第1の訓練を行ない,第1の訓練を行ない,第2の訓練を行ないながら、第2の訓練を行ない、第2の訓練を行ない、第2の訓練を行ない、第2の訓練を行ない、第2の訓練を行ない、第2の訓練を行なう。
最先端のDNNアクセラレーターをスパーストレーニングサポートなしで使用した同等の未使用モデルのトレーニングと比較すると、Procrustesは最大3.26$times$少ないエネルギーを消費し、様々なモデルにわたって最大4$times$のスピードアップを提供する。
論文 参考訳（メタデータ） (2020-09-23T07:39:55Z) - Real-Time High-Performance Semantic Image Segmentation of Urban Street
Scenes [98.65457534223539]
都市景観のロバストなセマンティックセマンティックセグメンテーションのためのリアルタイムDCNNに基づく高速DCNN手法を提案する。
提案手法は, 51.0 fps と 39.3 fps の推論速度で, 平均 73.6% と平均 68.0% (mIoU) の精度を実現する。
論文 参考訳（メタデータ） (2020-03-11T08:45:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。