論文の概要: Procrustes: a Dataflow and Accelerator for Sparse Deep Neural Network Training

• arxiv url: http://arxiv.org/abs/2009.10976v1
• Date: Wed, 23 Sep 2020 07:39:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-15 15:28:19.921397
• Title: Procrustes: a Dataflow and Accelerator for Sparse Deep Neural Network Training
• Title（参考訳）: Procrustes: スパースディープニューラルネットワークトレーニングのためのデータフローとアクセラレータ
• Authors: Dingqing Yang, Amin Ghasemazar, Xiaowei Ren, Maximilian Golub, Guy Lemieux, Mieszko Lis
• Abstract要約: 我々は,まず,第1の訓練を行わず,第2の訓練を行ない,第2の訓練を行ない,第1の訓練を行ない,第1の訓練を行ない,第1の訓練を行ない,第2の訓練を行ないながら,第1の訓練を行ない,第1の訓練を行ない,第2の訓練を行ないながら、第2の訓練を行ない、第2の訓練を行ない、第2の訓練を行ない、第2の訓練を行ない、第2の訓練を行ない、第2の訓練を行なう。 最先端のDNNアクセラレーターをスパーストレーニングサポートなしで使用した同等の未使用モデルのトレーニングと比較すると、Procrustesは最大3.26$times$少ないエネルギーを消費し、様々なモデルにわたって最大4$times$のスピードアップを提供する。
• 参考スコア（独自算出の注目度）: 0.5219568203653523
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The success of DNN pruning has led to the development of energy-efficient inference accelerators that support pruned models with sparse weight and activation tensors. Because the memory layouts and dataflows in these architectures are optimized for the access patterns during $\mathit{inference}$, however, they do not efficiently support the emerging sparse $\mathit{training}$ techniques. In this paper, we demonstrate (a) that accelerating sparse training requires a co-design approach where algorithms are adapted to suit the constraints of hardware, and (b) that hardware for sparse DNN training must tackle constraints that do not arise in inference accelerators. As proof of concept, we adapt a sparse training algorithm to be amenable to hardware acceleration; we then develop dataflow, data layout, and load-balancing techniques to accelerate it. The resulting system is a sparse DNN training accelerator that produces pruned models with the same accuracy as dense models without first training, then pruning, and finally retraining, a dense model. Compared to training the equivalent unpruned models using a state-of-the-art DNN accelerator without sparse training support, Procrustes consumes up to 3.26$\times$ less energy and offers up to 4$\times$ speedup across a range of models, while pruning weights by an order of magnitude and maintaining unpruned accuracy.
• Abstract（参考訳）: DNNプルーニングの成功は、スパースウェイトとアクティベーションテンソルを備えたプルーニングモデルをサポートするエネルギー効率の高い推論アクセラレータの開発につながった。 しかし、これらのアーキテクチャにおけるメモリレイアウトとデータフローは$\mathit{inference}$のアクセスパターンに最適化されているため、新たな$\mathit{training}$テクニックを効率的にサポートしていない。 本稿では,その実例を示す。 (a)スパーストレーニングを加速するには、ハードウェアの制約に合うようにアルゴリズムを適応させる共設計アプローチが必要である。 b) スパースDNNトレーニングのためのハードウェアは,推論アクセラレータでは発生しない制約に対処しなければならない。 概念実証として、ハードウェアアクセラレーションに対応可能なスパーストレーニングアルゴリズムを適用し、データフロー、データレイアウト、負荷分散技術を開発し、それを高速化する。 その結果得られたシステムは、スパースdnnトレーニングアクセラレーターであり、最初のトレーニングなしで、そしてその後、pruning、そして最後に、高密度モデルであるpruningと同じ精度でprunedモデルを生成する。 sparseトレーニングサポートのない最先端のdnnアクセラレータを使用した同等の未実行モデルのトレーニングと比較して、procrustesは最大3.26$\times$のエネルギーを消費し、さまざまなモデルで最大4$\times$のスピードアップを提供する。

関連論文リスト

• Abstracting Sparse DNN Acceleration via Structured Sparse Tensor Decomposition [6.1810913678161405]
  ディープニューラルネットワーク(DNN)におけるスパシティの爆発は、現代のDNNの計算ニーズが増大する中で有望な領域である。 構造化されたスパースハードウェアサポートは、柔軟性を制限し、追加のモデル微調整を必要とする。 本稿では, スパースDNNモデルとハードウェア間のギャップを埋めるために, 構造化分解(TASD)によるテンソル近似を提案する。
  論文  参考訳（メタデータ） (2024-03-12T06:25:47Z)
• Efficient N:M Sparse DNN Training Using Algorithm, Architecture, and Dataflow Co-Design [15.47240906902083]
  本稿では,アルゴリズム,アーキテクチャ,データフロー共設計を用いたN:MスパースDNNの計算効率向上学習手法を提案する。 アルゴリズムレベルでは、重みのN:M空間を利用するために、BDWPと呼ばれる双方向の重み決定法が提案されている。 アーキテクチャレベルでは、通常の高密度演算と計算効率のN:Mスパース演算の両方をサポートするために、DNNトレーニング用のスパースアクセラレータSATが開発された。
  論文  参考訳（メタデータ） (2023-09-22T17:26:19Z)
• Decouple Graph Neural Networks: Train Multiple Simple GNNs Simultaneously Instead of One [60.5818387068983]
  グラフニューラルネットワーク(GNN)は、深刻な非効率性に悩まされている。 我々は,より効率的なトレーニングを行うために,多層GNNを複数の単純なモジュールとして分離することを提案する。 提案するフレームワークは,合理的な性能で高い効率性を示す。
  論文  参考訳（メタデータ） (2023-04-20T07:21:32Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• A Low-Complexity Approach to Rate-Distortion Optimized Variable Bit-Rate Compression for Split DNN Computing [5.3221129103999125]
  分散コンピューティングは、DNNベースのAIワークロードを実装するための最近のパラダイムとして登場した。 本稿では,レート・精度・複雑さのトレードオフを最適化する上での課題に対処するアプローチを提案する。 我々のアプローチは、トレーニングと推論の両方において非常に軽量であり、非常に効果的であり、高い速度歪曲性能を実現する。
  論文  参考訳（メタデータ） (2022-08-24T15:02:11Z)
• Accelerating DNN Training with Structured Data Gradient Pruning [0.5801044612920815]
  ウェイトプルーニング(Weight pruning)は、ディープニューラルネットワーク(DNN)の推論をより効率的にする手法である。 Nvidia A100 GPUのような現代のアクセラレーターは、このタイプの構造化された空間を4要素あたり2つの非ゼロでサポートしている。 提案手法は,性能に大きな影響を与えることなく,全トレーニング時間を15～25%削減することができる。
  論文  参考訳（メタデータ） (2022-02-01T21:41:51Z)
• AC/DC: Alternating Compressed/DeCompressed Training of Deep Neural Networks [78.62086125399831]
  本稿では、ディープニューラルネットワーク(DNN)のAC/DCトレーニング(Alternating Compressed/DeCompressed)と呼ばれる一般的なアプローチを提案する。 AC/DCは、類似の計算予算で既存のスパーストレーニング方法よりも精度が高い。 AC/DCの重要な特性は、密度とスパースモデルのコトレーニングが可能であり、トレーニングプロセスの終了時に正確なスパース・ダンスモデルペアが得られることである。
  論文  参考訳（メタデータ） (2021-06-23T13:23:00Z)
• Effective Model Sparsification by Scheduled Grow-and-Prune Methods [73.03533268740605]
  本稿では,高密度モデルの事前学習を伴わない新規なGrow-and-prune(GaP)手法を提案する。 実験により、そのようなモデルは様々なタスクにおいて80%の間隔で高度に最適化された高密度モデルの品質に適合または打ち勝つことができることが示された。
  論文  参考訳（メタデータ） (2021-06-18T01:03:13Z)
• Learning N:M Fine-grained Structured Sparse Neural Networks From Scratch [75.69506249886622]
  ディープニューラルネットワーク(DNN)におけるスパーシティは、資源制約された環境でモデルを圧縮し、加速するために広く研究されている。 本稿では,N:M細粒構造スパースネットワークのスクラッチからトレーニングを初めて行う。
  論文  参考訳（メタデータ） (2021-02-08T05:55:47Z)
• FracTrain: Fractionally Squeezing Bit Savings Both Temporally and Spatially for Efficient DNN Training [81.85361544720885]
  アクティベーション、ウェイト、グラデーションの精度を徐々に高めるプログレッシブ分数量子化を統合したFracTrainを提案します。 FracTrainはDNNトレーニングの計算コストとハードウェア量子化エネルギー/レイテンシを削減し、同等以上の精度(-0.12%+1.87%)を達成する。
  論文  参考訳（メタデータ） (2020-12-24T05:24:10Z)
• TxSim:Modeling Training of Deep Neural Networks on Resistive Crossbar Systems [3.1887081453726136]
  クロスバーベースの計算は、様々なデバイスと回路レベルの非理想性のために大きな課題に直面している。 我々は、クロスバーベースハードウェア上でDNNトレーニングを機能的に評価する高速でカスタマイズ可能なモデリングフレームワークであるTxSimを提案する。
  論文  参考訳（メタデータ） (2020-02-25T19:29:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。