論文の概要: SparseRT: Accelerating Unstructured Sparsity on GPUs for Deep Learning Inference

• arxiv url: http://arxiv.org/abs/2008.11849v1
• Date: Wed, 26 Aug 2020 22:36:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-24 21:13:04.261379
• Title: SparseRT: Accelerating Unstructured Sparsity on GPUs for Deep Learning Inference
• Title（参考訳）: SparseRT: ディープラーニング推論のためのGPU上の非構造化空間の高速化
• Authors: Ziheng Wang
• Abstract要約: 我々は,GPU上でのディープラーニング推論において,スパース線形代数演算を高速化するために,非構造空間を利用するコードジェネレータであるSparseRTを提案する。 1x1の畳み込みと全連結層に対して、90%の密度計算で3.4倍、95%の密度計算で5.4倍の速度アップの幾何平均を示す。 スパース3x3畳み込みでは、ResNet-50のユースケースで5倍以上のスピードアップを示す。
• 参考スコア（独自算出の注目度）: 1.116812194101501
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, there has been a flurry of research in deep neural network pruning and compression. Early approaches prune weights individually. However, it is difficult to take advantage of the resulting unstructured sparsity patterns on modern hardware like GPUs. As a result, pruning strategies which impose sparsity structures in the weights have become more popular. However,these structured pruning approaches typically lead to higher losses in accuracy than unstructured pruning. In this paper, we present SparseRT, a code generator that leverage unstructured sparsity to accelerate sparse linear algebra operations in deep learning inference on GPUs. For 1x1 convolutions and fully connected layers, we demonstrate geometric mean of speedups of 3.4x over the equivalent dense computation at 90% sparsity and 5.4x at 95% sparsity when evaluated on hundreds of test cases in deep learning. For sparse 3x3 convolutions, we show speedups of over 5x on use cases in ResNet-50.
• Abstract（参考訳）: 近年,ディープニューラルネットワークの刈り込みと圧縮に関する研究が盛んに行われている。 初期のアプローチは個別に重み付けをする。 しかし、GPUのような現代的なハードウェアにおいて、結果として生じる非構造化のスパーシティパターンを利用するのは難しい。 結果として、重みに余剰構造を課す刈り取り戦略が人気を博している。 しかしながら、構造的プルーニングアプローチは、通常、非構造化プルーニングよりも高い精度の損失をもたらす。 本稿では,GPU上でのディープラーニング推論におけるスパース線形代数演算を高速化するために,非構造空間を利用するコードジェネレータであるSparseRTを提案する。 1x1畳み込みと完全連結層については、90%のスパース性で同等の密集した計算で3.4倍、95%のスパース性で5.4倍の速度アップの幾何学的平均を示す。 スパース3x3畳み込みでは、ResNet-50のユースケースで5倍以上のスピードアップを示す。

関連論文リスト

• Dynamic Sparsity Is Channel-Level Sparsity Learner [91.31071026340746]
  ダイナミックスパーストレーニング(Dynamic Sparse Training, DST)は、ススパーストレーニングの指導的アプローチである。 チャネル対応動的スパース(Chase)は、非構造的動的スパースをチャネルレベルのスパースにシームレスに変換する。 提案手法は,非構造的空間性からチャネルワイド空間性へ変換する。
  論文  参考訳（メタデータ） (2023-05-30T23:33:45Z)
• Dynamic Sparse Training with Structured Sparsity [11.778353786208765]
  ダイナミックスパーストレーニング(DST)法は、スパースニューラルネットワークトレーニングにおいて最先端の結果を達成する。 本研究では, 微細構造N:M空間の変形を学習するために, スパース・ツー・スパースDST法, Structured RigL (SRigL)を提案する。 オンライン推論用CPUでは3.4x/2.5x、GPUでは1.7x/13.0x、バッチサイズは256である。
  論文  参考訳（メタデータ） (2023-05-03T17:48:55Z)
• Pushing the Efficiency Limit Using Structured Sparse Convolutions [82.31130122200578]
  本稿では,画像の固有構造を利用して畳み込みフィルタのパラメータを削減する構造的スパース畳み込み(SSC)を提案する。 我々は、SSCが効率的なアーキテクチャにおける一般的なレイヤ(奥行き、グループ回り、ポイント回りの畳み込み)の一般化であることを示す。 SSCに基づくアーキテクチャは、CIFAR-10、CIFAR-100、Tiny-ImageNet、ImageNet分類ベンチマークのベースラインと比較して、最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2022-10-23T18:37:22Z)
• The Unreasonable Effectiveness of Random Pruning: Return of the Most Naive Baseline for Sparse Training [111.15069968583042]
  ランダムプルーニングは、ニューラルネットワークのスパーシティを実現する最も単純な方法であることは間違いないが、トレーニング後のプルーニングやスパーストレーニングでは非競争的であると見なされている。 我々は、スクラッチからランダムに切断されたネットワークをスクラッチからスクラッチ的に訓練することで、その密度の高い等価性の性能に一致することを実証的に実証した。 以上の結果から,大規模なスパーストレーニングを行う余地はより大きいことが示唆され,スポーシティのメリットは慎重に設計されたプルーニングを超えて普遍的である可能性が示唆された。
  論文  参考訳（メタデータ） (2022-02-05T21:19:41Z)
• Speedup deep learning models on GPU by taking advantage of efficient unstructured pruning and bit-width reduction [0.0]
  この研究は、いくつかの畳み込みニューラルネットワーク(CNN)の刈り取りと、グラフィック処理ユニット(GPU)におけるそれらの効率の改善に焦点を当てている。 Nvidia Deep Neural Network(cuDnn)ライブラリは、GPUのためのディープラーニングアルゴリズム(DL)の最も効果的な実装である。
  論文  参考訳（メタデータ） (2021-12-28T19:36:41Z)
• Sparse Training via Boosting Pruning Plasticity with Neuroregeneration [79.78184026678659]
  本研究では, プラスティック性の観点から, 訓練を通しての刈り込みの効果について検討した。 ゼロコスト神経再生(GraNet)と動的スパーストレーニング(DST)変異(GraNet-ST)を併用した段階的プラニング(gradual pruning)法を考案した。 おそらく最も印象的なのは、ImageNet上のResNet-50との大きなマージンで、さまざまな密集したスパースメソッドに対するスパース・ツー・スパーストレーニングのパフォーマンスを初めて向上させたことだ。
  論文  参考訳（メタデータ） (2021-06-19T02:09:25Z)
• Learning N:M Fine-grained Structured Sparse Neural Networks From Scratch [75.69506249886622]
  ディープニューラルネットワーク(DNN)におけるスパーシティは、資源制約された環境でモデルを圧縮し、加速するために広く研究されている。 本稿では,N:M細粒構造スパースネットワークのスクラッチからトレーニングを初めて行う。
  論文  参考訳（メタデータ） (2021-02-08T05:55:47Z)
• When deep learning models on GPU can be accelerated by taking advantage of unstructured sparsity [0.0]
  本稿では、グラフィック処理ユニット(GPU)上でのスパース畳み込みニューラルネットワーク(CNN)層の効率向上に焦点をあてる。 現代のCNNモデルは、大容量の係数を必要とし、畳み込みを行うために数百万のMAC操作を必要としている。 畳み込み層の計算を高速化するために,直接スパース演算を用いることの価値を示す。
  論文  参考訳（メタデータ） (2020-11-12T10:13:48Z)
• Structured Convolutions for Efficient Neural Network Design [65.36569572213027]
  畳み込みニューラルネットワーク構築ブロックのテクスト単純構造における冗長性を利用してモデル効率に取り組む。 この分解が2Dカーネルや3Dカーネルだけでなく、完全に接続されたレイヤにも適用可能であることを示す。
  論文  参考訳（メタデータ） (2020-08-06T04:38:38Z)
• Campfire: Compressible, Regularization-Free, Structured Sparse Training for Hardware Accelerators [0.04666493857924356]
  本稿では, 段階的刈り込みによるCNNのスパース訓練について検討する。 強制空間の構造を単純化し、正規化によるオーバーヘッドを低減する。 本稿では,ResNet-50とResNet-50 v1.5のスパースバージョンをフルイメージネット上で生成し,1%の精度損失の範囲内に留まっていることを示す。
  論文  参考訳（メタデータ） (2020-01-09T23:15:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。