論文の概要: On-Chip Learning with Memristor-Based Neural Networks: Assessing Accuracy and Efficiency Under Device Variations, Conductance Errors, and Input Noise
- arxiv url: http://arxiv.org/abs/2408.14680v1
- Date: Mon, 26 Aug 2024 23:10:01 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-28 15:24:16.500691
- Title: On-Chip Learning with Memristor-Based Neural Networks: Assessing Accuracy and Efficiency Under Device Variations, Conductance Errors, and Input Noise
- Title（参考訳）: Memristor-based Neural Networksを用いたオンチップ学習:デバイス変動、コンダクタンスエラー、入力ノイズによる精度と効率の評価
- Authors: M. Reza Eslami, Dhiman Biswas, Soheib Takhtardeshir, Sarah S. Sharif, Yaser M. Banad,
- Abstract要約: 本稿では,オンチップトレーニングと推論のためのメモリメモリハードウェアアクセラレータを提案する。
30メムリスタと4つのニューロンからなるハードウェアは、タングステン、クロム、炭素媒体を持つ3つの異なるM-SDC構造を用いてバイナリ画像分類タスクを実行する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper presents a memristor-based compute-in-memory hardware accelerator for on-chip training and inference, focusing on its accuracy and efficiency against device variations, conductance errors, and input noise. Utilizing realistic SPICE models of commercially available silver-based metal self-directed channel (M-SDC) memristors, the study incorporates inherent device non-idealities into the circuit simulations. The hardware, consisting of 30 memristors and 4 neurons, utilizes three different M-SDC structures with tungsten, chromium, and carbon media to perform binary image classification tasks. An on-chip training algorithm precisely tunes memristor conductance to achieve target weights. Results show that incorporating moderate noise (<15%) during training enhances robustness to device variations and noisy input data, achieving up to 97% accuracy despite conductance variations and input noises. The network tolerates a 10% conductance error without significant accuracy loss. Notably, omitting the initial memristor reset pulse during training considerably reduces training time and energy consumption. The hardware designed with chromium-based memristors exhibits superior performance, achieving a training time of 2.4 seconds and an energy consumption of 18.9 mJ. This research provides insights for developing robust and energy-efficient memristor-based neural networks for on-chip learning in edge applications.
- Abstract（参考訳）: 本稿では,デバイス変動,コンダクタンス誤差,入力雑音に対する精度と効率性に着目した,オンチップトレーニングと推論のためのメモリメモリ・ハードウェア・アクセラレータを提案する。
市販の銀系自己指向チャネル(M-SDC)メムリスタの現実的なSPICEモデルを用いて、回路シミュレーションに固有の非イデオロギーを取り入れた。
30メムリスタと4つのニューロンからなるこのハードウェアは、タングステン、クロム、炭素媒体を持つ3つの異なるM-SDC構造を用いてバイナリ画像分類タスクを実行する。
オンチップトレーニングアルゴリズムは、目標重量を達成するためにメムリスタコンダクタンスを正確に調整する。
その結果、トレーニング中に中等音(15%)を取り入れることで、コンダクタンス変動や入力ノイズにもかかわらず最大97%の精度でデバイス変動やノイズ入力データに対する堅牢性が向上することがわかった。
ネットワークは10%のコンダクタンス誤差をかなりの精度の損失なく許容する。
特に、トレーニング中の初期メムリスタリセットパルスを省略することは、トレーニング時間とエネルギー消費を著しく減少させる。
クロムベースのメムリスタで設計されたハードウェアは優れた性能を示し、2.4秒のトレーニング時間と18.9mJのエネルギー消費を実現している。
この研究は、エッジアプリケーションにおけるオンチップ学習のための堅牢でエネルギー効率のよいmemristorベースのニューラルネットワークを開発するための洞察を提供する。
関連論文リスト
- Mem-elements based Neuromorphic Hardware for Neural Network Application [0.0]
この論文は、低消費電力の機械学習アクセラレーターにおけるmemristiveとmemcapacitiveのクロスバーアレイの利用を調査し、ディープニューラルネットワーク(DNN)のための包括的な共設計フレームワークを提供する。
このモデルは、PythonとPyTorchのハイブリッドアプローチによって実装され、8層VGGネットワーク上のメモリとメモリ容量のクロスバーアレイを備えたCIFAR-10データセットに対して、例外的なトレーニング精度90.02%と91.03%を達成した。
論文 参考訳（メタデータ） (2024-03-05T14:28:40Z) - Cal-DETR: Calibrated Detection Transformer [67.75361289429013]
本稿では,Deformable-DETR,UP-DETR,DINOのキャリブレーション検出トランス(Cal-DETR)のメカニズムを提案する。
我々は、不確実性を利用してクラスロジットを変調する不確実性誘導ロジット変調機構を開発する。
その結果、Cal-DETRは、ドメイン内およびドメイン外の両方を校正する競合する列車時間法に対して有効であることがわかった。
論文 参考訳（メタデータ） (2023-11-06T22:13:10Z) - Quantized Neural Networks for Low-Precision Accumulation with Guaranteed
Overflow Avoidance [68.8204255655161]
本稿では,推定時のアキュムレータの精度を下げる際に,数値オーバーフローを回避する量子化学習アルゴリズムを提案する。
本手法は,浮動小数点点ベースラインに対するモデル精度を維持しつつ,アキュムレータの精度を低減できることを示す。
論文 参考訳（メタデータ） (2023-01-31T02:46:57Z) - CorrectNet: Robustness Enhancement of Analog In-Memory Computing for
Neural Networks by Error Suppression and Compensation [4.570841222958966]
本稿では,ニューラルネットワークの変動と雑音下での堅牢性を高める枠組みを提案する。
ニューラルネットワークの予測精度は、変動とノイズの下で1.69%以下から回復可能であることを示す。
論文 参考訳（メタデータ） (2022-11-27T19:13:33Z) - Energy Efficient Learning with Low Resolution Stochastic Domain Wall
Synapse Based Deep Neural Networks [0.9176056742068814]
ドメインウォール(DW)位置の変動が大きい超低分解能(少なくとも5状態)シナプスは、エネルギー効率が良く、高い検定精度が得られることを実証した。
学習アルゴリズムに適切な修正を施すことにより,その動作と,その低分解能の効果に対処し,高いテスト精度を実現することができることを示す。
論文 参考訳（メタデータ） (2021-11-14T09:12:29Z) - Hybrid In-memory Computing Architecture for the Training of Deep Neural
Networks [5.050213408539571]
ハードウェアアクセラレータ上でのディープニューラルネットワーク(DNN)のトレーニングのためのハイブリッドインメモリコンピューティングアーキテクチャを提案する。
HICをベースとしたトレーニングでは,ベースラインに匹敵する精度を達成するために,推論モデルのサイズが約50%小さくなることを示す。
シミュレーションの結果,HICをベースとしたトレーニングにより,PCMの耐久限界のごく一部に,デバイスによる書き込みサイクルの回数を自然に確保できることがわかった。
論文 参考訳（メタデータ） (2021-02-10T05:26:27Z) - SmartDeal: Re-Modeling Deep Network Weights for Efficient Inference and
Training [82.35376405568975]
ディープニューラルネットワーク(DNN)は重いパラメータ化を伴い、ストレージ用の外部動的ランダムアクセスメモリ(DRAM)につながります。
We present SmartDeal (SD), a algorithm framework to trade high-cost memory storage/ access for lower-cost compute。
SDは貯蔵および訓練エネルギーの10.56xそして4.48x減少、最先端の訓練のベースラインと比較される無視可能な正確さの損失をもたらすことを示します。
論文 参考訳（メタデータ） (2021-01-04T18:54:07Z) - FracTrain: Fractionally Squeezing Bit Savings Both Temporally and
Spatially for Efficient DNN Training [81.85361544720885]
アクティベーション、ウェイト、グラデーションの精度を徐々に高めるプログレッシブ分数量子化を統合したFracTrainを提案します。
FracTrainはDNNトレーニングの計算コストとハードウェア量子化エネルギー/レイテンシを削減し、同等以上の精度(-0.12%+1.87%)を達成する。
論文 参考訳（メタデータ） (2020-12-24T05:24:10Z) - Bit Error Robustness for Energy-Efficient DNN Accelerators [93.58572811484022]
本稿では、ロバストな固定点量子化、重み切り、ランダムビット誤り訓練(RandBET)の組み合わせにより、ランダムビット誤りに対するロバスト性を向上することを示す。
これは低電圧動作と低精度量子化の両方から高エネルギーの節約につながる。
論文 参考訳（メタデータ） (2020-06-24T18:23:10Z) - Training End-to-End Analog Neural Networks with Equilibrium Propagation [64.0476282000118]
本稿では,勾配降下による終端から終端までのアナログニューラルネットワークの学習法を提案する。
数学的には、アナログニューラルネットワークのクラス(非線形抵抗性ネットワークと呼ばれる)がエネルギーベースモデルであることが示される。
我々の研究は、オンチップ学習をサポートする、超高速でコンパクトで低消費電力のニューラルネットワークの新世代の開発を導くことができる。
論文 参考訳（メタデータ） (2020-06-02T23:38:35Z) - Convolutional-Recurrent Neural Networks on Low-Power Wearable Platforms
for Cardiac Arrhythmia Detection [0.18459705687628122]
マイクロコントローラと低消費電力プロセッサで動作するニューラルネットワークの推論に焦点を当てる。
心不整脈を検出・分類するために既存の畳み込みリカレントニューラルネットワークを適用した。
メモリフットプリントは195.6KB、スループットは33.98MOps/sである。
論文 参考訳（メタデータ） (2020-01-08T10:35:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。