論文の概要: System-level Impact of Non-Ideal Program-Time of Charge Trap Flash (CTF) on Deep Neural Network

• arxiv url: http://arxiv.org/abs/2402.09792v1
• Date: Thu, 15 Feb 2024 08:47:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-16 16:29:11.440759
• Title: System-level Impact of Non-Ideal Program-Time of Charge Trap Flash (CTF) on Deep Neural Network
• Title（参考訳）: ディープニューラルネットワークにおける非Ideal Program-Time of Charge Trap Flash (CTF) のシステムレベル影響
• Authors: S. Shrivastava, A. Biswas, S. Chakrabarty, G. Dash, V. Saraswat, and U. Ganguly
• Abstract要約: ディープニューラルネットワーク(DNN)におけるRPUベースの重み付けを実装可能なCharge Trap Flash(CTF)デバイス しかし、CTFをベースとしたRPUの重み更新(V_T)は、CTFの非理想的プログラム時間の影響を受けている。 本研究では,非理想的プログラム時間による総誤差を低減するため,パルストレイン設計補償手法を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Learning of deep neural networks (DNN) using Resistive Processing Unit (RPU) architecture is energy-efficient as it utilizes dedicated neuromorphic hardware and stochastic computation of weight updates for in-memory computing. Charge Trap Flash (CTF) devices can implement RPU-based weight updates in DNNs. However, prior work has shown that the weight updates (V_T) in CTF-based RPU are impacted by the non-ideal program time of CTF. The non-ideal program time is affected by two factors of CTF. Firstly, the effects of the number of input pulses (N) or pulse width (pw), and secondly, the gap between successive update pulses (t_gap) used for the stochastic computation of weight updates. Therefore, the impact of this non-ideal program time must be studied for neural network training simulations. In this study, Firstly, we propose a pulse-train design compensation technique to reduce the total error caused by non-ideal program time of CTF and stochastic variance of a network. Secondly, we simulate RPU-based DNN with non-ideal program time of CTF on MNIST and Fashion-MNIST datasets. We find that for larger N (~1000), learning performance approaches the ideal (software-level) training level and, therefore, is not much impacted by the choice of t_gap used to implement RPU-based weight updates. However, for lower N (<500), learning performance depends on T_gap of the pulses. Finally, we also performed an ablation study to isolate the causal factor of the improved learning performance. We conclude that the lower noise level in the weight updates is the most likely significant factor to improve the learning performance of DNN. Thus, our study attempts to compensate for the error caused by non-ideal program time and standardize the pulse length (N) and pulse gap (t_gap) specifications for CTF-based RPUs for accurate system-level on-chip training.
• Abstract（参考訳）: Resistive Processing Unit(RPU)アーキテクチャを用いたディープニューラルネットワーク(DNN)の学習は、専用のニューロモルフィックハードウェアとインメモリコンピューティングのための重み更新の確率計算を使用するため、エネルギー効率が高い。 チャージトラップフラッシュ(CTF)デバイスは、DNNでRPUベースの重み更新を実装することができる。 しかし、CTFをベースとしたRPUの重み更新(V_T)は、CTFの非理想的プログラム時間の影響を受けている。 非理想的プログラム時間は ctf の2つの要因によって影響を受ける。 第一に、入力パルス数(n)またはパルス幅(pw)の影響、第二に、重み更新の確率的計算に用いられる連続更新パルス(t_gap)間のギャップである。 したがって、ニューラルネットワークのトレーニングシミュレーションには、この非理想的プログラム時間の影響を研究する必要がある。 本研究では,まず, ctfの非理想的プログラム時間とネットワークの確率的分散による総誤差を低減するパルストレイン設計補償手法を提案する。 次に、MNISTおよびFashion-MNISTデータセット上のCTFの非理想的プログラム時間を用いてRPUベースのDNNをシミュレートする。 より大きなN(～1000)では、学習性能が理想的な(ソフトウェアレベルの)トレーニングレベルに近づくため、RPUベースの重み更新を実装するのに使用されるt_gapの選択にはあまり影響しない。 しかし、低N(<500)では、学習性能はパルスのT_gapに依存する。 最後に,学習性能向上の要因を明らかにするため,アブレーション研究を行った。 重み付け更新における低騒音レベルがDNNの学習性能向上の最も重要な要因であると結論付けている。 そこで本研究では,非理想的プログラム時間による誤差を補正し,CTFベースのRPUのパルス長(N)およびパルスギャップ(t_gap)仕様を標準化し,システムレベルのオンチップトレーニングを行う。

関連論文リスト

• Estimating Post-Synaptic Effects for Online Training of Feed-Forward SNNs [0.27016900604393124]
  スパイクニューラルネットワーク(SNN)におけるオンライン学習の実現は、イベントベースのモデルを開発する上で重要なステップである。 本稿では, フィードフォワードSNNのトレーニングのためのOTPE(Online Training with Postsynaptic Estimates)を提案する。 本研究では, 時間的効果の新たな近似法を用いて, マルチ層ネットワークのスケーリング改善を示す。
  論文  参考訳（メタデータ） (2023-11-07T16:53:39Z)
• Speed Limits for Deep Learning [67.69149326107103]
  熱力学の最近の進歩は、初期重量分布から完全に訓練されたネットワークの最終分布への移動速度の制限を可能にする。 線形および線形化可能なニューラルネットワークに対して,これらの速度制限に対する解析式を提供する。 NTKスペクトルとラベルのスペクトル分解に関するいくつかの妥当なスケーリング仮定を考えると、学習はスケーリングの意味で最適である。
  論文  参考訳（メタデータ） (2023-07-27T06:59:46Z)
• Non-Ideal Program-Time Conservation in Charge Trap Flash for Deep Learning [0.0]
  チャージトラップフラッシュ(CTF)は、インメモリコンピューティングを使用してディープニューラルネットワーク(DNN)を加速することができる。 本稿では, パルス入力測定によるCTFの非理想的プログラム時間保存について報告する。 本稿では,酸化的トラップチャージダイナミクスのブロックによる過渡的場拡大に基づく説明を行う。
  論文  参考訳（メタデータ） (2023-07-12T11:19:55Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Desire Backpropagation: A Lightweight Training Algorithm for Multi-Layer Spiking Neural Networks based on Spike-Timing-Dependent Plasticity [13.384228628766236]
  スパイキングニューラルネットワーク(SNN)は、従来の人工ニューラルネットワークの代替となる。 本研究は,隠されたニューロンを含むすべてのニューロンの所望のスパイク活性を導出する方法である欲求バックプロパゲーションを提示する。 我々はMNISTとFashion-MNISTを分類するために3層ネットワークを訓練し、それぞれ98.41%と87.56%の精度に達した。
  論文  参考訳（メタデータ） (2022-11-10T08:32:13Z)
• LCS: Learning Compressible Subspaces for Adaptive Network Compression at Inference Time [57.52251547365967]
  本稿では,ニューラルネットワークの「圧縮可能な部分空間」を訓練する手法を提案する。 構造的・非構造的空間に対する推定時間における微粒な精度・効率のトレードオフを任意に達成するための結果を示す。 我々のアルゴリズムは、可変ビット幅での量子化にまで拡張し、個別に訓練されたネットワークと同等の精度を実現する。
  論文  参考訳（メタデータ） (2021-10-08T17:03:34Z)
• Spike-inspired Rank Coding for Fast and Accurate Recurrent Neural Networks [5.986408771459261]
  生物学的スパイクニューラルネットワーク(SNN)は、その出力の情報を時間的にエンコードすることができるが、人工ニューラルネットワーク(ANN)は従来はそうではない。 ここでは、SNNにインスパイアされたランク符号化(RC)のような時間符号化が、LSTMなどの従来のANNにも適用可能であることを示す。 RCトレーニングは推論中の時間と監視を著しく低減し、精度は最小限に抑えられる。 逐次分類の2つのおもちゃ問題と、最初の入力時間ステップ後にRCモデルが99.19%の精度を達成できる時間符号化MNISTデータセットにおいて、これらを実証する。
  論文  参考訳（メタデータ） (2021-10-06T15:51:38Z)
• Low-Precision Training in Logarithmic Number System using Multiplicative Weight Update [49.948082497688404]
  大規模ディープニューラルネットワーク(DNN)のトレーニングは、現在かなりの量のエネルギーを必要としており、深刻な環境影響をもたらす。 エネルギーコストを削減するための有望なアプローチの1つは、DNNを低精度で表現することである。 対数数システム(LNS)と乗算重み更新訓練法(LNS-Madam)を併用した低精度トレーニングフレームワークを共同で設計する。
  論文  参考訳（メタデータ） (2021-06-26T00:32:17Z)
• A Meta-Learning Approach to the Optimal Power Flow Problem Under Topology Reconfigurations [69.73803123972297]
  メタラーニング(MTL)アプローチを用いて訓練されたDNNベースのOPF予測器を提案する。 開発したOPF予測器はベンチマークIEEEバスシステムを用いてシミュレーションにより検証される。
  論文  参考訳（メタデータ） (2020-12-21T17:39:51Z)
• Effect of Architectures and Training Methods on the Performance of Learned Video Frame Prediction [10.404162481860634]
  実験結果から,残差FCNNアーキテクチャは高いトレーニングとテスト(推論)計算の複雑さを犠牲にして,ピーク信号対雑音比(PSNR)の点で最善であることがわかった。 CRNNは、時間的手続きを通じて、ステートフルなトランケートされたバックプロパゲーションを使用して、安定かつ非常に効率的に訓練することができる。
  論文  参考訳（メタデータ） (2020-08-13T20:45:28Z)
• RIFLE: Backpropagation in Depth for Deep Transfer Learning through Re-Initializing the Fully-connected LayEr [60.07531696857743]
  事前訓練されたモデルを用いたディープ畳み込みニューラルネットワーク(CNN)の微調整は、より大きなデータセットから学習した知識をターゲットタスクに転送するのに役立つ。 転送学習環境におけるバックプロパゲーションを深める戦略であるRIFLEを提案する。 RIFLEは、深いCNN層の重み付けに意味のあるアップデートをもたらし、低レベルの機能学習を改善する。
  論文  参考訳（メタデータ） (2020-07-07T11:27:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。