論文の概要: MemSE: Fast MSE Prediction for Noisy Memristor-Based DNN Accelerators

• arxiv url: http://arxiv.org/abs/2205.01707v1
• Date: Tue, 3 May 2022 18:10:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-05 16:23:18.835045
• Title: MemSE: Fast MSE Prediction for Noisy Memristor-Based DNN Accelerators
• Title（参考訳）: MemSE: ノイズの多いMemristorベースのDNN加速器の高速MSE予測
• Authors: Jonathan Kern, S\'ebastien Henwood, Gon\c{c}alo Mordido, Elsa Dupraz, Abdeldjalil A\"issa-El-Bey, Yvon Savaria and Fran\c{c}ois Leduc-Primeau
• Abstract要約: 我々は,行列ベクトル乗算(MVM)を計算するためにmemristorを用いたDNNの平均二乗誤差を理論的に解析する。 DNNモデルのサイズを小さくする必要性から量子化ノイズと、中間値のプログラミングにおける可変性から生じるプログラミングノイズの両方を考慮に入れている。 提案手法はモンテカルロシミュレーションよりも約2桁高速であり, 与えられた電力制約に対して最小限の誤差を達成するために, 実装パラメータを最適化することができる。
• 参考スコア（独自算出の注目度）: 5.553959304125023
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Memristors enable the computation of matrix-vector multiplications (MVM) in memory and, therefore, show great potential in highly increasing the energy efficiency of deep neural network (DNN) inference accelerators. However, computations in memristors suffer from hardware non-idealities and are subject to different sources of noise that may negatively impact system performance. In this work, we theoretically analyze the mean squared error of DNNs that use memristor crossbars to compute MVM. We take into account both the quantization noise, due to the necessity of reducing the DNN model size, and the programming noise, stemming from the variability during the programming of the memristance value. Simulations on pre-trained DNN models showcase the accuracy of the analytical prediction. Furthermore the proposed method is almost two order of magnitude faster than Monte-Carlo simulation, thus making it possible to optimize the implementation parameters to achieve minimal error for a given power constraint.
• Abstract（参考訳）: メモリにおける行列ベクトル乗算(MVM)の計算を可能にするため、ディープニューラルネットワーク(DNN)推論加速器のエネルギー効率を高く向上させる大きな可能性を示す。 しかし、memristorsの計算はハードウェアの非理想性に苦しめられ、システム性能に悪影響を及ぼす可能性のある異なるノイズの源となる。 本研究では,メムリスタクロスバーを用いてMVMを計算するDNNの平均二乗誤差を理論的に解析する。 メミスタンス値のプログラミングにおける可変性に起因する,dnnモデルサイズを小さくする必要性から,量子化ノイズとプログラミングノイズの両方を考慮に入れる。 事前学習したdnnモデルのシミュレーションは解析予測の精度を示す。 さらに,提案手法はモンテカルロシミュレーションよりも約2桁高速であり,与えられたパワー制約に対する最小誤差を達成するために実装パラメータを最適化することができる。

関連論文リスト

• Scalable Mechanistic Neural Networks [52.28945097811129]
  長い時間的シーケンスを含む科学機械学習応用のための拡張ニューラルネットワークフレームワークを提案する。 元のメカニスティックニューラルネットワーク (MNN) を再構成することにより、計算時間と空間の複雑さを、それぞれ、列長に関して立方体と二次体から線形へと減少させる。 大規模な実験により、S-MNNは元のMNNと精度で一致し、計算資源を大幅に削減した。
  論文  参考訳（メタデータ） (2024-10-08T14:27:28Z)
• Compute-in-Memory based Neural Network Accelerators for Safety-Critical Systems: Worst-Case Scenarios and Protections [8.813981342105151]
  本稿では,CiM加速器の最悪の性能をデバイス変動の影響で特定する問題について検討する。 本稿では,対向訓練とノイズ注入訓練を効果的に組み合わせた,A-TRICEという新たな最悪の事例認識訓練手法を提案する。 実験の結果,A-TRICEは機器の変量下での最悪のケース精度を最大33%向上することがわかった。
  論文  参考訳（メタデータ） (2023-12-11T05:56:00Z)
• A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical Computation Offloading [62.34538208323411]
  共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。 MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
  論文  参考訳（メタデータ） (2023-09-02T11:01:16Z)
• Fast and Accurate Reduced-Order Modeling of a MOOSE-based Additive Manufacturing Model with Operator Learning [1.4528756508275622]
  本研究は, 高速かつ高精度な減階モデル (ROM) を構築し, 加法製造 (AM) モデルを構築することを目的とする。 従来のディープニューラルネットワーク(DNN)ベースのROMに対して,これらのOL法の性能をベンチマークした。
  論文  参考訳（メタデータ） (2023-08-04T17:00:34Z)
• Improving Realistic Worst-Case Performance of NVCiM DNN Accelerators through Training with Right-Censored Gaussian Noise [16.470952550714394]
  我々は,CiM加速器上で実行されているDNNモデルの現実的な最悪の性能を,k-th- percentile Performance (KPP) を用いて捉えることを提案する。 本手法は, デバイス変動の影響下でのロバスト性向上のための最先端手法と比較して, KPPの最大26%の改善を実現している。
  論文  参考訳（メタデータ） (2023-07-29T01:06:37Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Mixed Precision Low-bit Quantization of Neural Network Language Models for Speech Recognition [67.95996816744251]
  長期間のメモリリカレントニューラルネットワーク(LSTM-RNN)とトランスフォーマーで表される最先端言語モデル(LM)は、実用アプリケーションではますます複雑で高価なものになりつつある。 現在の量子化法は、均一な精度に基づいており、量子化誤差に対するLMの異なる部分での様々な性能感度を考慮できない。 本稿では,新しい混合精度ニューラルネットワークLM量子化法を提案する。
  論文  参考訳（メタデータ） (2021-11-29T12:24:02Z)
• MoEfication: Conditional Computation of Transformer Models for Efficient Inference [66.56994436947441]
  トランスフォーマーベースの事前学習言語モデルは、パラメータ容量が大きいため、ほとんどのNLPタスクにおいて優れた性能を実現することができるが、計算コストも大きい。 スパースアクティベーション現象に基づく条件計算により,大規模モデル推論を高速化する。 そこで本研究では,モデルサイズが等しいMoE(Mix-of-experts)バージョン,すなわちMoEficationに変換することを提案する。
  論文  参考訳（メタデータ） (2021-10-05T02:14:38Z)
• A Meta-Learning Approach to the Optimal Power Flow Problem Under Topology Reconfigurations [69.73803123972297]
  メタラーニング(MTL)アプローチを用いて訓練されたDNNベースのOPF予測器を提案する。 開発したOPF予測器はベンチマークIEEEバスシステムを用いてシミュレーションにより検証される。
  論文  参考訳（メタデータ） (2020-12-21T17:39:51Z)
• TxSim:Modeling Training of Deep Neural Networks on Resistive Crossbar Systems [3.1887081453726136]
  クロスバーベースの計算は、様々なデバイスと回路レベルの非理想性のために大きな課題に直面している。 我々は、クロスバーベースハードウェア上でDNNトレーニングを機能的に評価する高速でカスタマイズ可能なモデリングフレームワークであるTxSimを提案する。
  論文  参考訳（メタデータ） (2020-02-25T19:29:43Z)
• CSM-NN: Current Source Model Based Logic Circuit Simulation -- A Neural Network Approach [5.365198933008246]
  CSM-NNは、最適化されたニューラルネットワーク構造と処理アルゴリズムを備えたスケーラブルなシミュレーションフレームワークである。 実験によると、CSM-NNはCPU上で動作する最先端のソースモデルベースのシミュレータと比較して、シミュレーション時間を最大6倍に短縮する。 CSM-NNはまた、HSPICEと比較して2%以下の誤差で高い精度のレベルを提供する。
  論文  参考訳（メタデータ） (2020-02-13T00:29:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。