論文の概要: Energy Efficient Learning with Low Resolution Stochastic Domain Wall Synapse Based Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2111.07284v1
• Date: Sun, 14 Nov 2021 09:12:29 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-16 17:31:23.165216
• Title: Energy Efficient Learning with Low Resolution Stochastic Domain Wall Synapse Based Deep Neural Networks
• Title（参考訳）: 低分解能領域壁シンプスに基づくディープニューラルネットワークによるエネルギー効率学習
• Authors: Walid A. Misba, Mark Lozano, Damien Querlioz, Jayasimha Atulasimha
• Abstract要約: ドメインウォール(DW)位置の変動が大きい超低分解能(少なくとも5状態)シナプスは、エネルギー効率が良く、高い検定精度が得られることを実証した。 学習アルゴリズムに適切な修正を施すことにより,その動作と,その低分解能の効果に対処し,高いテスト精度を実現することができることを示す。
• 参考スコア（独自算出の注目度）: 0.9176056742068814
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We demonstrate that extremely low resolution quantized (nominally 5-state) synapses with large stochastic variations in Domain Wall (DW) position can be both energy efficient and achieve reasonably high testing accuracies compared to Deep Neural Networks (DNNs) of similar sizes using floating precision synaptic weights. Specifically, voltage controlled DW devices demonstrate stochastic behavior as modeled rigorously with micromagnetic simulations and can only encode limited states; however, they can be extremely energy efficient during both training and inference. We show that by implementing suitable modifications to the learning algorithms, we can address the stochastic behavior as well as mitigate the effect of their low-resolution to achieve high testing accuracies. In this study, we propose both in-situ and ex-situ training algorithms, based on modification of the algorithm proposed by Hubara et al. [1] which works well with quantization of synaptic weights. We train several 5-layer DNNs on MNIST dataset using 2-, 3- and 5-state DW device as synapse. For in-situ training, a separate high precision memory unit is adopted to preserve and accumulate the weight gradients, which are then quantized to program the low precision DW devices. Moreover, a sizeable noise tolerance margin is used during the training to address the intrinsic programming noise. For ex-situ training, a precursor DNN is first trained based on the characterized DW device model and a noise tolerance margin, which is similar to the in-situ training. Remarkably, for in-situ inference the energy dissipation to program the devices is only 13 pJ per inference given that the training is performed over the entire MNIST dataset for 10 epochs.
• Abstract（参考訳）: ドメインウォール(DW)位置の確率変動が大きい超低分解能(少なくとも5状態)シナプスは、浮遊精度のシナプス重みを用いた同様の大きさのディープニューラルネットワーク(DNN)と比較して、エネルギー効率が高く、高い検定精度が得られることを示した。 特に、電圧制御dwデバイスは、微小磁気シミュレーションで厳密にモデル化された確率的挙動を示し、限られた状態しかエンコードできないが、訓練と推論の両方において極めてエネルギー効率が良い。 学習アルゴリズムに適切な修正を適用することで,確率的行動に対処し,低分解能化の効果を緩和し,高いテスト精度を達成することができることを示す。 本研究では,Hubaraらが提案するアルゴリズムの修正に基づいて,in-situおよびex-situのトレーニングアルゴリズムを提案する。 [1] はシナプス重みの量子化とよく機能する。 MNISTデータセット上で,2,3,5状態DWデバイスをシナプスとして,複数の5層DNNをトレーニングする。 その場トレーニングでは、重み勾配を保存・蓄積するために別個の高精度メモリユニットを採用し、それを量子化し、低精度DWデバイスをプログラムする。 さらに,本質的なプログラミングノイズに対処するために,トレーニング中に小型の耐雑音限界を用いる。 元situトレーニングでは、先駆的dnnは、先駆的dwデバイスモデルとノイズ許容マージンに基づいてトレーニングされる。 注目すべきは、in-situ推論では、デバイスをプログラムするためのエネルギー散逸は、トレーニングがMNISTデータセット全体にわたって10時間にわたって実行されることを考えると、推測当たり13 pJである。

関連論文リスト

• Quantized Non-Volatile Nanomagnetic Synapse based Autoencoder for Efficient Unsupervised Network Anomaly Detection [0.07892577704654172]
  ハードウェア,エネルギ,計算資源の制限により,リアルタイムに学習可能なエッジデバイスにオートエンコーダを実装することは困難であることを示す。 自己エンコーダのシナプスとして磁区壁(DW)をホストするノッチを用いた強磁性競馬場を提案する。 我々のDWベースのアプローチは、浮動小数点法と比較して、トレーニング中の重量更新の少なくとも3桁の顕著な減少を示す。
  論文  参考訳（メタデータ） (2023-09-12T02:29:09Z)
• Convolutional Monge Mapping Normalization for learning on sleep data [63.22081662149488]
  我々は、CMMN(Convolutional Monge Mapping Normalization)と呼ばれる新しい手法を提案する。 CMMNは、そのパワースペクトル密度(PSD)をトレーニングデータに基づいて推定されるワッサーシュタインバリセンタに適応させるために、信号をフィルタリングする。 睡眠脳波データに関する数値実験により、CMMNはニューラルネットワークアーキテクチャから独立して、顕著で一貫したパフォーマンス向上をもたらすことが示された。
  論文  参考訳（メタデータ） (2023-05-30T08:24:01Z)
• Stochastic Domain Wall-Magnetic Tunnel Junction Artificial Neurons for Noise-Resilient Spiking Neural Networks [0.0]
  本稿では,電圧依存性の確率発火を伴うDW-MTJニューロンについて述べる。 トレーニング中の検証精度は、理想的な統合およびファイアデバイスに匹敵することを示した。 本研究は、DW-MTJデバイスを用いて、エッジ上のニューロモルフィックコンピューティングに適した耐雑音性ネットワークを構築することができることを示す。
  論文  参考訳（メタデータ） (2023-04-10T18:00:26Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural Networks [56.35403810762512]
  イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。 本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
  論文  参考訳（メタデータ） (2023-02-01T04:22:59Z)
• Mixed Precision Low-bit Quantization of Neural Network Language Models for Speech Recognition [67.95996816744251]
  長期間のメモリリカレントニューラルネットワーク(LSTM-RNN)とトランスフォーマーで表される最先端言語モデル(LM)は、実用アプリケーションではますます複雑で高価なものになりつつある。 現在の量子化法は、均一な精度に基づいており、量子化誤差に対するLMの異なる部分での様々な性能感度を考慮できない。 本稿では,新しい混合精度ニューラルネットワークLM量子化法を提案する。
  論文  参考訳（メタデータ） (2021-11-29T12:24:02Z)
• Low-Precision Training in Logarithmic Number System using Multiplicative Weight Update [49.948082497688404]
  大規模ディープニューラルネットワーク(DNN)のトレーニングは、現在かなりの量のエネルギーを必要としており、深刻な環境影響をもたらす。 エネルギーコストを削減するための有望なアプローチの1つは、DNNを低精度で表現することである。 対数数システム(LNS)と乗算重み更新訓練法(LNS-Madam)を併用した低精度トレーニングフレームワークを共同で設計する。
  論文  参考訳（メタデータ） (2021-06-26T00:32:17Z)
• Incorporating NODE with Pre-trained Neural Differential Operator for Learning Dynamics [73.77459272878025]
  ニューラル微分演算子(NDO)の事前学習による動的学習における教師付き信号の強化を提案する。 NDOは記号関数のクラスで事前訓練され、これらの関数の軌跡サンプルとそれらの導関数とのマッピングを学習する。 我々は,NDOの出力が,ライブラリの複雑さを適切に調整することで,基礎となる真理微分を適切に近似できることを理論的に保証する。
  論文  参考訳（メタデータ） (2021-06-08T08:04:47Z)
• QUANOS- Adversarial Noise Sensitivity Driven Hybrid Quantization of Neural Networks [3.2242513084255036]
  QUINOSは、逆雑音感度(ANS)に基づく層特異的ハイブリッド量子化を行うフレームワークである CIFAR10, CIFAR100データセットを用いた実験により, QUINOSは対向ロバスト性の観点から, 均一に量子化された8ビット精度のベースラインより優れていることが示された。
  論文  参考訳（メタデータ） (2020-04-22T15:56:31Z)
• Training of Quantized Deep Neural Networks using a Magnetic Tunnel Junction-Based Synapse [23.08163992580639]
  深層ニューラルネットワークの計算複雑性とメモリ強度のソリューションとして、量子ニューラルネットワーク(QNN)が積極的に研究されている。 磁気トンネル接合(MTJ)デバイスがQNNトレーニングにどのように役立つかを示す。 本稿では,MTJ動作を用いた新しいシナプス回路を導入し,量子化更新をサポートする。
  論文  参考訳（メタデータ） (2019-12-29T11:36:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。