論文の概要: TxSim:Modeling Training of Deep Neural Networks on Resistive Crossbar Systems

• arxiv url: http://arxiv.org/abs/2002.11151v3
• Date: Fri, 8 Jan 2021 03:54:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-28 21:20:07.485444
• Title: TxSim:Modeling Training of Deep Neural Networks on Resistive Crossbar Systems
• Title（参考訳）: TxSim:抵抗性クロスバーシステムを用いたディープニューラルネットワークのモデルトレーニング
• Authors: Sourjya Roy, Shrihari Sridharan, Shubham Jain, and Anand Raghunathan
• Abstract要約: クロスバーベースの計算は、様々なデバイスと回路レベルの非理想性のために大きな課題に直面している。 我々は、クロスバーベースハードウェア上でDNNトレーニングを機能的に評価する高速でカスタマイズ可能なモデリングフレームワークであるTxSimを提案する。
• 参考スコア（独自算出の注目度）: 3.1887081453726136
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Resistive crossbars have attracted significant interest in the design of Deep Neural Network (DNN) accelerators due to their ability to natively execute massively parallel vector-matrix multiplications within dense memory arrays. However, crossbar-based computations face a major challenge due to a variety of device and circuit-level non-idealities, which manifest as errors in the vector-matrix multiplications and eventually degrade DNN accuracy. To address this challenge, there is a need for tools that can model the functional impact of non-idealities on DNN training and inference. Existing efforts towards this goal are either limited to inference, or are too slow to be used for large-scale DNN training. We propose TxSim, a fast and customizable modeling framework to functionally evaluate DNN training on crossbar-based hardware considering the impact of non-idealities. The key features of TxSim that differentiate it from prior efforts are: (i) It comprehensively models non-idealities during all training operations (forward propagation, backward propagation, and weight update) and (ii) it achieves computational efficiency by mapping crossbar evaluations to well-optimized BLAS routines and incorporates speedup techniques to further reduce simulation time with minimal impact on accuracy. TxSim achieves orders-of-magnitude improvement in simulation speed over prior works, and thereby makes it feasible to evaluate training of large-scale DNNs on crossbars. Our experiments using TxSim reveal that the accuracy degradation in DNN training due to non-idealities can be substantial (3%-10%) for large-scale DNNs, underscoring the need for further research in mitigation techniques. We also analyze the impact of various device and circuit-level parameters and the associated non-idealities to provide key insights that can guide the design of crossbar-based DNN training accelerators.
• Abstract（参考訳）: 抵抗クロスバーは、高密度メモリアレイ内で超並列ベクトル行列乗算をネイティブに実行できるため、ディープニューラルネットワーク(dnn)加速器の設計に大きな関心を集めている。 しかし、クロスバーベースの計算は、様々なデバイスと回路レベルの非理想性のために大きな課題に直面し、これはベクトル行列乗算の誤りとして現れ、最終的にはDNNの精度を低下させる。 この課題に対処するためには、DNNトレーニングと推論に対する非イデアルの関数的影響をモデル化できるツールが必要である。 既存の目標への取り組みは推論に限られるか、大規模なDNNトレーニングに使用するには遅すぎる。 非理想性の影響を考慮したクロスバーハードウェア上でのDNNトレーニングを機能的に評価する,高速でカスタマイズ可能なモデリングフレームワークであるTxSimを提案する。 TxSimの以前の取り組みと区別する重要な特徴は次のとおりである。 (i)全訓練(前方伝播、後方伝播、重量更新)中の非理想性を総合的にモデル化する。 (II) クロスバー評価を最適化されたBLASルーチンにマッピングすることで計算効率を向上し, シミュレーション時間を短縮し, 精度への影響を最小限に抑える。 txsimは、先行作業よりもシミュレーション速度が桁違いに向上し、クロスバーでの大規模dnnのトレーニングを評価することができる。 TxSimを用いた実験により、大規模DNNでは非理想性によるDNNトレーニングの精度劣化が顕著(3%-10%)であり、緩和技術の研究の必要性が示唆された。 また、各種デバイスおよび回路レベルパラメータと関連する非イデオロギーの影響を分析し、クロスバーベースのDNNトレーニングアクセラレータの設計をガイドするための重要な洞察を提供する。

関連論文リスト

• Hardware-aware training for large-scale and diverse deep learning inference workloads using in-memory computing-based accelerators [7.152059921639833]
  大規模なディープニューラルネットワークの多くは、AIMC上での等精度を示すために、再訓練が成功できることが示されている。 以上の結果から,重みではなく入力や出力にノイズを加えるAIMCの非理想性が,DNNの精度に最も影響を与えることが示唆された。
  論文  参考訳（メタデータ） (2023-02-16T18:25:06Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Online Training Through Time for Spiking Neural Networks [66.7744060103562]
  スパイキングニューラルネットワーク(SNN)は、脳にインスパイアされたエネルギー効率のモデルである。 近年のトレーニング手法の進歩により、レイテンシの低い大規模タスクにおいて、ディープSNNを成功させることができた。 本稿では,BPTT から派生した SNN の時間的学習(OTTT)によるオンライントレーニングを提案する。
  論文  参考訳（メタデータ） (2022-10-09T07:47:56Z)
• Recurrent Bilinear Optimization for Binary Neural Networks [58.972212365275595]
  BNNは、実数値重みとスケールファクターの内在的双線型関係を無視している。 私たちの仕事は、双線形の観点からBNNを最適化する最初の試みです。 我々は、様々なモデルやデータセット上で最先端のBNNに対して印象的な性能を示す頑健なRBONNを得る。
  論文  参考訳（メタデータ） (2022-09-04T06:45:33Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Shift-BNN: Highly-Efficient Probabilistic Bayesian Neural Network Training via Memory-Friendly Pattern Retrieving [5.043640793217879]
  私たちは、低コストでスケーラブルなShift-BNNと呼ばれる、最初の高効率なBNNトレーニングアクセラレータを設計し、プロトタイプを作りました。 Shift-BNNはエネルギー効率が平均4.9倍(最大10.8倍)向上し、1.6倍(最大2.8倍)のスピードアップを実現している。
  論文  参考訳（メタデータ） (2021-10-07T15:20:53Z)
• slimTrain -- A Stochastic Approximation Method for Training Separable Deep Neural Networks [2.4373900721120285]
  DeepTrain Network (DNN)は、多くのアプリケーションで高次元神経機能近似器としての成功を示している。 選択した超次元データセットに対する感度を低減したDNNのモデスト最適化手法であるslimTrainを提案する。
  論文  参考訳（メタデータ） (2021-09-28T19:31:57Z)
• Low-Precision Training in Logarithmic Number System using Multiplicative Weight Update [49.948082497688404]
  大規模ディープニューラルネットワーク(DNN)のトレーニングは、現在かなりの量のエネルギーを必要としており、深刻な環境影響をもたらす。 エネルギーコストを削減するための有望なアプローチの1つは、DNNを低精度で表現することである。 対数数システム(LNS)と乗算重み更新訓練法(LNS-Madam)を併用した低精度トレーニングフレームワークを共同で設計する。
  論文  参考訳（メタデータ） (2021-06-26T00:32:17Z)
• FracTrain: Fractionally Squeezing Bit Savings Both Temporally and Spatially for Efficient DNN Training [81.85361544720885]
  アクティベーション、ウェイト、グラデーションの精度を徐々に高めるプログレッシブ分数量子化を統合したFracTrainを提案します。 FracTrainはDNNトレーニングの計算コストとハードウェア量子化エネルギー/レイテンシを削減し、同等以上の精度(-0.12%+1.87%)を達成する。
  論文  参考訳（メタデータ） (2020-12-24T05:24:10Z)
• Procrustes: a Dataflow and Accelerator for Sparse Deep Neural Network Training [0.5219568203653523]
  我々は,まず,第1の訓練を行わず,第2の訓練を行ない,第2の訓練を行ない,第1の訓練を行ない,第1の訓練を行ない,第1の訓練を行ない,第2の訓練を行ないながら,第1の訓練を行ない,第1の訓練を行ない,第2の訓練を行ないながら、第2の訓練を行ない、第2の訓練を行ない、第2の訓練を行ない、第2の訓練を行ない、第2の訓練を行ない、第2の訓練を行なう。 最先端のDNNアクセラレーターをスパーストレーニングサポートなしで使用した同等の未使用モデルのトレーニングと比較すると、Procrustesは最大3.26$times$少ないエネルギーを消費し、様々なモデルにわたって最大4$times$のスピードアップを提供する。
  論文  参考訳（メタデータ） (2020-09-23T07:39:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。