論文の概要: On-Chip Learning with Memristor-Based Neural Networks: Assessing Accuracy and Efficiency Under Device Variations, Conductance Errors, and Input Noise
- arxiv url: http://arxiv.org/abs/2408.14680v1
- Date: Mon, 26 Aug 2024 23:10:01 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-28 15:24:16.500691
- Title: On-Chip Learning with Memristor-Based Neural Networks: Assessing Accuracy and Efficiency Under Device Variations, Conductance Errors, and Input Noise
- Title（参考訳）: Memristor-based Neural Networksを用いたオンチップ学習:デバイス変動、コンダクタンスエラー、入力ノイズによる精度と効率の評価
- Authors: M. Reza Eslami, Dhiman Biswas, Soheib Takhtardeshir, Sarah S. Sharif, Yaser M. Banad,
- Abstract要約: 本稿では,オンチップトレーニングと推論のためのメモリメモリハードウェアアクセラレータを提案する。
30メムリスタと4つのニューロンからなるハードウェアは、タングステン、クロム、炭素媒体を持つ3つの異なるM-SDC構造を用いてバイナリ画像分類タスクを実行する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper presents a memristor-based compute-in-memory hardware accelerator for on-chip training and inference, focusing on its accuracy and efficiency against device variations, conductance errors, and input noise. Utilizing realistic SPICE models of commercially available silver-based metal self-directed channel (M-SDC) memristors, the study incorporates inherent device non-idealities into the circuit simulations. The hardware, consisting of 30 memristors and 4 neurons, utilizes three different M-SDC structures with tungsten, chromium, and carbon media to perform binary image classification tasks. An on-chip training algorithm precisely tunes memristor conductance to achieve target weights. Results show that incorporating moderate noise (<15%) during training enhances robustness to device variations and noisy input data, achieving up to 97% accuracy despite conductance variations and input noises. The network tolerates a 10% conductance error without significant accuracy loss. Notably, omitting the initial memristor reset pulse during training considerably reduces training time and energy consumption. The hardware designed with chromium-based memristors exhibits superior performance, achieving a training time of 2.4 seconds and an energy consumption of 18.9 mJ. This research provides insights for developing robust and energy-efficient memristor-based neural networks for on-chip learning in edge applications.
- Abstract（参考訳）: 本稿では,デバイス変動,コンダクタンス誤差,入力雑音に対する精度と効率性に着目した,オンチップトレーニングと推論のためのメモリメモリ・ハードウェア・アクセラレータを提案する。
市販の銀系自己指向チャネル(M-SDC)メムリスタの現実的なSPICEモデルを用いて、回路シミュレーションに固有の非イデオロギーを取り入れた。
30メムリスタと4つのニューロンからなるこのハードウェアは、タングステン、クロム、炭素媒体を持つ3つの異なるM-SDC構造を用いてバイナリ画像分類タスクを実行する。
オンチップトレーニングアルゴリズムは、目標重量を達成するためにメムリスタコンダクタンスを正確に調整する。
その結果、トレーニング中に中等音(15%)を取り入れることで、コンダクタンス変動や入力ノイズにもかかわらず最大97%の精度でデバイス変動やノイズ入力データに対する堅牢性が向上することがわかった。
ネットワークは10%のコンダクタンス誤差をかなりの精度の損失なく許容する。
特に、トレーニング中の初期メムリスタリセットパルスを省略することは、トレーニング時間とエネルギー消費を著しく減少させる。
クロムベースのメムリスタで設計されたハードウェアは優れた性能を示し、2.4秒のトレーニング時間と18.9mJのエネルギー消費を実現している。
この研究は、エッジアプリケーションにおけるオンチップ学習のための堅牢でエネルギー効率のよいmemristorベースのニューラルネットワークを開発するための洞察を提供する。
関連論文リスト
- Demonstration of Enhanced Qubit Readout via Reinforcement Learning [0.0]
モデルフリー強化学習(RL)と調整された学習環境を併用し、この多目的最適化タスクを実現する。
我々は、RLエージェントが取得した測定パルスが最先端の性能を達成することを、IBM量子デバイス上で実証する。
論文 参考訳（メタデータ） (2024-12-05T10:43:36Z) - Synergistic Development of Perovskite Memristors and Algorithms for Robust Analog Computing [53.77822620185878]
本稿では,ペロブスカイト・メムリスタの製作を同時に最適化し,ロバストなアナログDNNを開発するための相乗的手法を提案する。
BO誘導ノイズインジェクションを利用したトレーニング戦略であるBayesMultiを開発した。
我々の統合されたアプローチは、より深くより広いネットワークでのアナログコンピューティングの使用を可能にし、最大100倍の改善を実現します。
論文 参考訳（メタデータ） (2024-12-03T19:20:08Z) - Mem-elements based Neuromorphic Hardware for Neural Network Application [0.0]
この論文は、低消費電力の機械学習アクセラレーターにおけるmemristiveとmemcapacitiveのクロスバーアレイの利用を調査し、ディープニューラルネットワーク(DNN)のための包括的な共設計フレームワークを提供する。
このモデルは、PythonとPyTorchのハイブリッドアプローチによって実装され、8層VGGネットワーク上のメモリとメモリ容量のクロスバーアレイを備えたCIFAR-10データセットに対して、例外的なトレーニング精度90.02%と91.03%を達成した。
論文 参考訳（メタデータ） (2024-03-05T14:28:40Z) - NeuralFuse: Learning to Recover the Accuracy of Access-Limited Neural Network Inference in Low-Voltage Regimes [50.00272243518593]
ディープラーニング(Deep Neural Network, DNN)は、機械学習においてユビキタスになったが、そのエネルギー消費は問題の多いままである。
我々は低電圧状態におけるエネルギー精度のトレードオフを処理する新しいアドオンモジュールであるNeuralFuseを開発した。
1%のビットエラー率で、NeuralFuseはアクセスエネルギーを最大24%削減し、精度を最大57%向上させることができる。
論文 参考訳（メタデータ） (2023-06-29T11:38:22Z) - Quantized Neural Networks for Low-Precision Accumulation with Guaranteed
Overflow Avoidance [68.8204255655161]
本稿では,推定時のアキュムレータの精度を下げる際に,数値オーバーフローを回避する量子化学習アルゴリズムを提案する。
本手法は,浮動小数点点ベースラインに対するモデル精度を維持しつつ,アキュムレータの精度を低減できることを示す。
論文 参考訳（メタデータ） (2023-01-31T02:46:57Z) - CorrectNet: Robustness Enhancement of Analog In-Memory Computing for
Neural Networks by Error Suppression and Compensation [4.570841222958966]
本稿では,ニューラルネットワークの変動と雑音下での堅牢性を高める枠組みを提案する。
ニューラルネットワークの予測精度は、変動とノイズの下で1.69%以下から回復可能であることを示す。
論文 参考訳（メタデータ） (2022-11-27T19:13:33Z) - Energy Efficient Learning with Low Resolution Stochastic Domain Wall
Synapse Based Deep Neural Networks [0.9176056742068814]
ドメインウォール(DW)位置の変動が大きい超低分解能(少なくとも5状態)シナプスは、エネルギー効率が良く、高い検定精度が得られることを実証した。
学習アルゴリズムに適切な修正を施すことにより,その動作と,その低分解能の効果に対処し,高いテスト精度を実現することができることを示す。
論文 参考訳（メタデータ） (2021-11-14T09:12:29Z) - Hybrid In-memory Computing Architecture for the Training of Deep Neural
Networks [5.050213408539571]
ハードウェアアクセラレータ上でのディープニューラルネットワーク(DNN)のトレーニングのためのハイブリッドインメモリコンピューティングアーキテクチャを提案する。
HICをベースとしたトレーニングでは,ベースラインに匹敵する精度を達成するために,推論モデルのサイズが約50%小さくなることを示す。
シミュレーションの結果,HICをベースとしたトレーニングにより,PCMの耐久限界のごく一部に,デバイスによる書き込みサイクルの回数を自然に確保できることがわかった。
論文 参考訳（メタデータ） (2021-02-10T05:26:27Z) - SmartDeal: Re-Modeling Deep Network Weights for Efficient Inference and
Training [82.35376405568975]
ディープニューラルネットワーク(DNN)は重いパラメータ化を伴い、ストレージ用の外部動的ランダムアクセスメモリ(DRAM)につながります。
We present SmartDeal (SD), a algorithm framework to trade high-cost memory storage/ access for lower-cost compute。
SDは貯蔵および訓練エネルギーの10.56xそして4.48x減少、最先端の訓練のベースラインと比較される無視可能な正確さの損失をもたらすことを示します。
論文 参考訳（メタデータ） (2021-01-04T18:54:07Z) - FracTrain: Fractionally Squeezing Bit Savings Both Temporally and Spatially for Efficient DNN Training [62.932299614630985]
本稿では, アクティベーション, ウェイト, 勾配の精度を徐々に向上させる, プログレッシブ分数量子化を統合したFracTrainを提案する。
FracTrainはDNNトレーニングの計算コストとハードウェア量子化エネルギー/レイテンシを削減し、同等以上の精度(-0.12%+1.87%)を達成する。
論文 参考訳（メタデータ） (2020-12-24T05:24:10Z) - Bit Error Robustness for Energy-Efficient DNN Accelerators [93.58572811484022]
本稿では、ロバストな固定点量子化、重み切り、ランダムビット誤り訓練(RandBET)の組み合わせにより、ランダムビット誤りに対するロバスト性を向上することを示す。
これは低電圧動作と低精度量子化の両方から高エネルギーの節約につながる。
論文 参考訳（メタデータ） (2020-06-24T18:23:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。