論文の概要: Dynamic Sparse Training with Structured Sparsity

• arxiv url: http://arxiv.org/abs/2305.02299v2
• Date: Fri, 19 May 2023 16:11:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-22 18:27:19.276962
• Title: Dynamic Sparse Training with Structured Sparsity
• Title（参考訳）: 構造スパースを用いたダイナミックスパーストレーニング
• Authors: Mike Lasby, Anna Golubeva, Utku Evci, Mihai Nica, Yani Ioannou
• Abstract要約: ダイナミックスパーストレーニング(DST)法は、スパースニューラルネットワークトレーニングにおいて最先端の結果を達成する。 本研究では,一定のファンイン制約を課すことで,構造的N:M空間のバラツキを学習するためのスパース・ツー・スパースDST法を提案する。
• 参考スコア（独自算出の注目度）: 6.629072695217317
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Dynamic Sparse Training (DST) methods achieve state-of-the-art results in sparse neural network training, matching the generalization of dense models while enabling sparse training and inference. Although the resulting models are highly sparse and theoretically cheaper to train, achieving speedups with unstructured sparsity on real-world hardware is challenging. In this work, we propose a sparse-to-sparse DST method to learn a variant of structured N:M sparsity by imposing a constant fan-in constraint. We demonstrate with both a theoretical analysis and empirical results: state-of-the-art spare-to-sparse structured DST performance on a variety of network architectures, a condensed representation with a reduced parameter and memory footprint, and reduced inference time compared to dense models with a naive PyTorch CPU implementation of the condensed representation. Our source code is available at https://github.com/calgaryml/condensed-sparsity
• Abstract（参考訳）: 動的スパーストレーニング(dst)法は、スパースニューラルネットワークトレーニングにおいて最先端の結果を達成し、スパーストレーニングと推論を可能にしながら、密集したモデルの一般化と一致する。 結果のモデルは非常に疎らで、理論上は訓練のコストが安いが、現実のハードウェア上で非構造的な間隔でスピードアップを達成することは困難である。 本研究では,一定のファンイン制約を課すことで,構造的N:M空間の変動を学習するスパース・ツー・スパースDST法を提案する。 理論解析と経験的結果の両方を用いて,ネットワークアーキテクチャにおける最先端のスペア・ツー・スパースな構造化dst性能,パラメータとメモリフットプリントの低減による凝縮表現,凝縮表現のnaive pytorch cpu実装による密集したモデルと比較して推論時間を短縮した。 私たちのソースコードはhttps://github.com/calgaryml/condensed-sparsityで利用可能です。

関連論文リスト

• Dynamic Sparsity Is Channel-Level Sparsity Learner [91.31071026340746]
  ダイナミックスパーストレーニング(Dynamic Sparse Training, DST)は、ススパーストレーニングの指導的アプローチである。 チャネル対応動的スパース(Chase)は、非構造的動的スパースをチャネルレベルのスパースにシームレスに変換する。 提案手法は,非構造的空間性からチャネルワイド空間性へ変換する。
  論文  参考訳（メタデータ） (2023-05-30T23:33:45Z)
• FSCNN: A Fast Sparse Convolution Neural Network Inference System [31.474696818171953]
  畳み込みニューラルネットワーク(CNN)は目覚ましい成功を収めているが、通常は高い計算コストと多くの冗長な重みパラメータが伴う。 FLOPを小さくするためには、粗粒の粗さを導入して隠蔽構造全体を除去する構造刈りが一般的である。 圧縮されたCNNの微細な粒度を利用した効率的な畳み込みニューラルネットワーク推論システムを提案する。
  論文  参考訳（メタデータ） (2022-12-17T06:44:58Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Scaling Structured Inference with Randomization [64.18063627155128]
  本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。 我々の手法は古典的DPベースの推論に広く適用できる。 また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-12-07T11:26:41Z)
• Learning N:M Fine-grained Structured Sparse Neural Networks From Scratch [75.69506249886622]
  ディープニューラルネットワーク(DNN)におけるスパーシティは、資源制約された環境でモデルを圧縮し、加速するために広く研究されている。 本稿では,N:M細粒構造スパースネットワークのスクラッチからトレーニングを初めて行う。
  論文  参考訳（メタデータ） (2021-02-08T05:55:47Z)
• Do We Actually Need Dense Over-Parameterization? In-Time Over-Parameterization in Sparse Training [16.81321230135317]
  スパーストレーニングにおけるITOP(In-Time Over-Resibilityization)の概念を提案する。 ITOPはスパーストレーニングと密集トレーニングのギャップを埋めます。 本稿では,我々の予想を裏付け,最先端のスパーストレーニング性能を達成するための一連の実験について述べる。
  論文  参考訳（メタデータ） (2021-02-04T20:59:31Z)
• Procrustes: a Dataflow and Accelerator for Sparse Deep Neural Network Training [0.5219568203653523]
  我々は,まず,第1の訓練を行わず,第2の訓練を行ない,第2の訓練を行ない,第1の訓練を行ない,第1の訓練を行ない,第1の訓練を行ない,第2の訓練を行ないながら,第1の訓練を行ない,第1の訓練を行ない,第2の訓練を行ないながら、第2の訓練を行ない、第2の訓練を行ない、第2の訓練を行ない、第2の訓練を行ない、第2の訓練を行ない、第2の訓練を行なう。 最先端のDNNアクセラレーターをスパーストレーニングサポートなしで使用した同等の未使用モデルのトレーニングと比較すると、Procrustesは最大3.26$times$少ないエネルギーを消費し、様々なモデルにわたって最大4$times$のスピードアップを提供する。
  論文  参考訳（メタデータ） (2020-09-23T07:39:55Z)
• Real-Time High-Performance Semantic Image Segmentation of Urban Street Scenes [98.65457534223539]
  都市景観のロバストなセマンティックセマンティックセグメンテーションのためのリアルタイムDCNNに基づく高速DCNN手法を提案する。 提案手法は, 51.0 fps と 39.3 fps の推論速度で, 平均 73.6% と平均 68.0% (mIoU) の精度を実現する。
  論文  参考訳（メタデータ） (2020-03-11T08:45:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。