論文の概要: Non-Ideal Program-Time Conservation in Charge Trap Flash for Deep Learning

• arxiv url: http://arxiv.org/abs/2307.06088v1
• Date: Wed, 12 Jul 2023 11:19:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-13 13:19:35.224590
• Title: Non-Ideal Program-Time Conservation in Charge Trap Flash for Deep Learning
• Title（参考訳）: 深層学習のためのチャージトラップフラッシュの非理想的プログラム時間保存
• Authors: Shalini Shrivastava, Vivek Saraswat, Gayatri Dash, Samyak Chakrabarty, Udayan Ganguly
• Abstract要約: チャージトラップフラッシュ(CTF)は、インメモリコンピューティングを使用してディープニューラルネットワーク(DNN)を加速することができる。 本稿では, パルス入力測定によるCTFの非理想的プログラム時間保存について報告する。 本稿では,酸化的トラップチャージダイナミクスのブロックによる過渡的場拡大に基づく説明を行う。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Training deep neural networks (DNNs) is computationally intensive but arrays of non-volatile memories like Charge Trap Flash (CTF) can accelerate DNN operations using in-memory computing. Specifically, the Resistive Processing Unit (RPU) architecture uses the voltage-threshold program by stochastic encoded pulse trains and analog memory features to accelerate vector-vector outer product and weight update for the gradient descent algorithms. Although CTF, offering high precision, has been regarded as an excellent choice for implementing RPU, the accumulation of charge due to the applied stochastic pulse trains is ultimately of critical significance in determining the final weight update. In this paper, we report the non-ideal program-time conservation in CTF through pulsing input measurements. We experimentally measure the effect of pulse width and pulse gap, keeping the total ON-time of the input pulse train constant, and report three non-idealities: (1) Cumulative V_T shift reduces when total ON-time is fragmented into a larger number of shorter pulses, (2) Cumulative V_T shift drops abruptly for pulse widths < 2 {\mu}s, (3) Cumulative V_T shift depends on the gap between consecutive pulses and the V_T shift reduction gets recovered for smaller gaps. We present an explanation based on a transient tunneling field enhancement due to blocking oxide trap-charge dynamics to explain these non-idealities. Identifying and modeling the responsible mechanisms and predicting their system-level effects during learning is critical. This non-ideal accumulation is expected to affect algorithms and architectures relying on devices for implementing mathematically equivalent functions for in-memory computing-based acceleration.
• Abstract（参考訳）: 深層ニューラルネットワーク(DNN)のトレーニングは計算集約的だが、Charge Trap Flash(CTF)のような不揮発性メモリの配列は、インメモリコンピューティングを使用してDNN操作を加速することができる。 具体的には、抵抗処理ユニット(RPU)アーキテクチャは、確率符号化パルス列とアナログメモリ特徴による電圧閾値プログラムを用いてベクトルベクトル外積の高速化と勾配降下アルゴリズムの重み更新を行う。 精度の高いCTFは、RPUを実装する上では優れた選択であると考えられてきたが、応用確率パルス列による電荷蓄積は最終的に最終重量更新を決定する上で重要な意味を持つ。 本稿では, パルス入力測定によるCTFの非理想的プログラム時間保存について報告する。 パルス幅とパルスギャップの影響を実験的に測定し,入力パルストレインの総オンタイムを一定に保ち,(1) 累積V_Tシフトがより多くの短パルスに分断された場合に減少する,(2) 累積V_Tシフトが突然パルス幅<2 {\mu}sで減少する,(3) 累積V_Tシフトが連続パルス間のギャップに依存する,という3つの非理想性を報告する。 本稿では,これらの非理想性を説明するために,酸化物トラップチャージダイナミクスのブロックによる一過性トンネル場拡張に基づく説明を行う。 責任あるメカニズムを特定し、モデル化し、学習中のシステムレベルの効果を予測することは重要です。 この非理想的な蓄積は、インメモリコンピューティングベースの加速のための数学的に等価な関数を実装するデバイスに依存するアルゴリズムやアーキテクチャに影響を与えることが期待されている。

関連論文リスト

• Compressing Recurrent Neural Networks for FPGA-accelerated Implementation in Fluorescence Lifetime Imaging [3.502427552446068]
  ディープラーニングモデルはリアルタイム推論を可能にするが、複雑なアーキテクチャと大規模な行列演算のために計算的に要求される。 これにより、フィールドプログラマブルゲートアレイ(FPGA)ベースのカメラハードウェアの直接実装に不適なDLモデルが得られる。 本研究では,FLI時系列データ処理に適したリカレントニューラルネットワーク(RNN)の圧縮に着目し,資源制約付きFPGAボードへの展開を実現する。
  論文  参考訳（メタデータ） (2024-10-01T17:23:26Z)
• Memory-optimised Cubic Splines for High-fidelity Quantum Operations [0.0]
  高周波パルスは量子ビットの制御や量子コンピュータでの演算の実行に広く使われている。 時間依存振幅、位相、周波数などの鍵パルスパラメータを調整できることは、最大ゲートの忠実度と誤差を達成するために不可欠である。 システム規模が大きくなるにつれて、制御電子処理のかなりの部分が量子ビットに近づく。 これにより、制御エレクトロニクスのメモリで利用可能な空間を制限し、高サンプリングレートで時間分解パルスパラメータをロードする。
  論文  参考訳（メタデータ） (2024-08-15T17:33:37Z)
• System-level Impact of Non-Ideal Program-Time of Charge Trap Flash (CTF) on Deep Neural Network [0.0]
  ディープニューラルネットワーク(DNN)におけるRPUベースの重み付けを実装可能なCharge Trap Flash(CTF)デバイス しかし、CTFをベースとしたRPUの重み更新(V_T)は、CTFの非理想的プログラム時間の影響を受けている。 本研究では,非理想的プログラム時間による総誤差を低減するため,パルストレイン設計補償手法を提案する。
  論文  参考訳（メタデータ） (2024-02-15T08:47:35Z)
• Towards Memory- and Time-Efficient Backpropagation for Training Spiking Neural Networks [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックコンピューティングのためのエネルギー効率の高いモデルである。 本研究では,学習効率を大幅に向上させつつ,高い性能を達成できる空間学習時間(SLTT)法を提案する。 BPTTと比較して, メモリコストとトレーニング時間は, それぞれ70%以上, 50%以上削減されている。
  論文  参考訳（メタデータ） (2023-02-28T05:01:01Z)
• Transform Once: Efficient Operator Learning in Frequency Domain [69.74509540521397]
  本研究では、周波数領域の構造を利用して、空間や時間における長距離相関を効率的に学習するために設計されたディープニューラルネットワークについて検討する。 この研究は、単一変換による周波数領域学習のための青写真を導入している。
  論文  参考訳（メタデータ） (2022-11-26T01:56:05Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• NAF: Neural Attenuation Fields for Sparse-View CBCT Reconstruction [79.13750275141139]
  本稿では,スパースビューCBCT再構成のための新規かつ高速な自己教師型ソリューションを提案する。 所望の減衰係数は、3次元空間座標の連続関数として表現され、完全に接続されたディープニューラルネットワークによってパラメータ化される。 ハッシュ符号化を含む学習ベースのエンコーダが採用され、ネットワークが高周波の詳細をキャプチャするのに役立つ。
  論文  参考訳（メタデータ） (2022-09-29T04:06:00Z)
• Time-Efficient Qudit Gates through Incremental Pulse Re-seeding [4.2698418800007865]
  量子コンピュータを構築するための現在の取り組みは、2状態の量子ビットに重点を置いている。 本研究では、この抽象化を破り、一般化されたd状態四重項上のゲートに対する短周期制御パルスを合成する。 トランスモン上の1量子と2量子のゲートに対する明示的なパルス最適化により,ヒルベルト空間次元とゲート長の近距離関係を求める。
  論文  参考訳（メタデータ） (2022-06-30T01:54:36Z)
• Energy Efficient Learning with Low Resolution Stochastic Domain Wall Synapse Based Deep Neural Networks [0.9176056742068814]
  ドメインウォール(DW)位置の変動が大きい超低分解能(少なくとも5状態)シナプスは、エネルギー効率が良く、高い検定精度が得られることを実証した。 学習アルゴリズムに適切な修正を施すことにより,その動作と,その低分解能の効果に対処し,高いテスト精度を実現することができることを示す。
  論文  参考訳（メタデータ） (2021-11-14T09:12:29Z)
• Fast and differentiable simulation of driven quantum systems [58.720142291102135]
  我々は、ダイソン展開に基づく半解析手法を導入し、標準数値法よりもはるかに高速に駆動量子系を時間発展させることができる。 回路QEDアーキテクチャにおけるトランスモン量子ビットを用いた2量子ゲートの最適化結果を示す。
  論文  参考訳（メタデータ） (2020-12-16T21:43:38Z)
• Multi-Temporal Convolutions for Human Action Recognition in Videos [83.43682368129072]
  複数の解像度で抽出できる新しい時間・時間的畳み込みブロックを提案する。 提案するブロックは軽量で,任意の3D-CNNアーキテクチャに統合可能である。
  論文  参考訳（メタデータ） (2020-11-08T10:40:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。