論文の概要: Dynamic Sparse Training of Diagonally Sparse Networks

• arxiv url: http://arxiv.org/abs/2506.11449v1
• Date: Fri, 13 Jun 2025 04:01:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-16 17:50:49.6494
• Title: Dynamic Sparse Training of Diagonally Sparse Networks
• Title（参考訳）: 対角スパースネットワークの動的スパーストレーニング
• Authors: Abhishek Tyagi, Arjun Iyer, William H Renninger, Christopher Kanan, Yuhao Zhu,
• Abstract要約: 構造のない空間は しばしば 現代のハードウェアの 実用的なスピードアップに 変換できない 本研究では,非構造空間と同等に機能する新規なスパース・ツー・スパース法であるDynaDiagを提案する。 ViTの90%の線形層で、我々はモデル性能を犠牲にすることなく、オンライン推論の3.13倍のスピードアップを観測する。
• 参考スコア（独自算出の注目度）: 15.13506569122892
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in Dynamic Sparse Training (DST) have pushed the frontier of sparse neural network training in structured and unstructured contexts, matching dense-model performance while drastically reducing parameter counts to facilitate model scaling. However, unstructured sparsity often fails to translate into practical speedups on modern hardware. To address this shortcoming, we propose DynaDiag, a novel structured sparse-to-sparse DST method that performs at par with unstructured sparsity. DynaDiag enforces a diagonal sparsity pattern throughout training and preserves sparse computation in forward and backward passes. We further leverage the diagonal structure to accelerate computation via a custom CUDA kernel, rendering the method hardware-friendly. Empirical evaluations on diverse neural architectures demonstrate that our method maintains accuracy on par with unstructured counterparts while benefiting from tangible computational gains. Notably, with 90% sparse linear layers in ViTs, we observe up to a 3.13x speedup in online inference without sacrificing model performance and a 1.59x speedup in training on a GPU compared to equivalent unstructured layers. Our source code is available at https://github.com/horizon-research/DynaDiag/.
• Abstract（参考訳）: 動的スパーストレーニング(DST)の最近の進歩は、構造化された、構造化されていないコンテキストにおけるスパースニューラルネットワークトレーニングのフロンティアを押し上げ、密度の高いモデル性能に適合し、パラメータ数を劇的に削減し、モデルのスケーリングを容易にする。 しかし、非構造的空間性はしばしば現代のハードウェアの実用的なスピードアップに変換されない。 この欠点に対処するため,非構造空間と同等に機能する新規なスパース・ツー・スパースDST法であるDynaDiagを提案する。 DynaDiagはトレーニングを通じて対角線スペーサパターンを適用し、前方および後方パスでスパース計算を保存する。 さらに、対角線構造を利用して、カスタムCUDAカーネルによる計算を高速化し、ハードウェアフレンドリーな手法をレンダリングする。 多様なニューラルネットワークアーキテクチャに関する実証的な評価は,本手法が有意な計算ゲインの恩恵を受けながら,非構造的手法と同等の精度を維持することを示す。 特に、ViTの90%の疎線層で、モデル性能を犠牲にすることなく、オンライン推論の3.13倍のスピードアップと、同等の非構造層と比較してGPUでのトレーニングの1.59倍のスピードアップを観察する。 ソースコードはhttps://github.com/Horizon-research/DynaDiag/で公開しています。

関連論文リスト

• Dynamic Sparsity Is Channel-Level Sparsity Learner [91.31071026340746]
  ダイナミックスパーストレーニング(Dynamic Sparse Training, DST)は、ススパーストレーニングの指導的アプローチである。 チャネル対応動的スパース(Chase)は、非構造的動的スパースをチャネルレベルのスパースにシームレスに変換する。 提案手法は,非構造的空間性からチャネルワイド空間性へ変換する。
  論文  参考訳（メタデータ） (2023-05-30T23:33:45Z)
• Dynamic Sparse Training with Structured Sparsity [11.778353786208765]
  ダイナミックスパーストレーニング(DST)法は、スパースニューラルネットワークトレーニングにおいて最先端の結果を達成する。 本研究では, 微細構造N:M空間の変形を学習するために, スパース・ツー・スパースDST法, Structured RigL (SRigL)を提案する。 オンライン推論用CPUでは3.4x/2.5x、GPUでは1.7x/13.0x、バッチサイズは256である。
  論文  参考訳（メタデータ） (2023-05-03T17:48:55Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• DS-Net++: Dynamic Weight Slicing for Efficient Inference in CNNs and Transformers [105.74546828182834]
  本稿では,様々な難易度を持つ入力に対して,ネットワークパラメータの一部を適応的にスライスする動的ウェイトスライシングという,ハードウェア効率のよい動的推論方式を示す。 我々は、CNNのフィルタ数とCNNと変換器の多重次元を入力依存的に調整することで、動的スライム可能なネットワーク(DS-Net)と動的スライス可能なネットワーク(DS-Net++)を提案する。
  論文  参考訳（メタデータ） (2021-09-21T09:57:21Z)
• Learning N:M Fine-grained Structured Sparse Neural Networks From Scratch [75.69506249886622]
  ディープニューラルネットワーク(DNN)におけるスパーシティは、資源制約された環境でモデルを圧縮し、加速するために広く研究されている。 本稿では,N:M細粒構造スパースネットワークのスクラッチからトレーニングを初めて行う。
  論文  参考訳（メタデータ） (2021-02-08T05:55:47Z)
• Procrustes: a Dataflow and Accelerator for Sparse Deep Neural Network Training [0.5219568203653523]
  我々は,まず,第1の訓練を行わず,第2の訓練を行ない,第2の訓練を行ない,第1の訓練を行ない,第1の訓練を行ない,第1の訓練を行ない,第2の訓練を行ないながら,第1の訓練を行ない,第1の訓練を行ない,第2の訓練を行ないながら、第2の訓練を行ない、第2の訓練を行ない、第2の訓練を行ない、第2の訓練を行ない、第2の訓練を行ない、第2の訓練を行なう。 最先端のDNNアクセラレーターをスパーストレーニングサポートなしで使用した同等の未使用モデルのトレーニングと比較すると、Procrustesは最大3.26$times$少ないエネルギーを消費し、様々なモデルにわたって最大4$times$のスピードアップを提供する。
  論文  参考訳（メタデータ） (2020-09-23T07:39:55Z)
• RT3D: Achieving Real-Time Execution of 3D Convolutional Neural Networks on Mobile Devices [57.877112704841366]
  本稿では3次元CNNのためのモデル圧縮およびモバイルアクセラレーションフレームワークRT3Dを提案する。 3D CNNのリアルタイム実行は、市販のモバイル上で初めて実現された。
  論文  参考訳（メタデータ） (2020-07-20T02:05:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。