論文の概要: NeuralFuse: Learning to Improve the Accuracy of Access-Limited Neural
Network Inference in Low-Voltage Regimes
- arxiv url: http://arxiv.org/abs/2306.16869v1
- Date: Thu, 29 Jun 2023 11:38:22 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-30 13:36:54.527428
- Title: NeuralFuse: Learning to Improve the Accuracy of Access-Limited Neural
Network Inference in Low-Voltage Regimes
- Title（参考訳）: NeuralFuse:低電圧レジームにおけるアクセス制限型ニューラルネットワーク推論の精度向上のための学習
- Authors: Hao-Lun Sun, Lei Hsiung, Nandhini Chandramoorthy, Pin-Yu Chen,
Tsung-Yi Ho
- Abstract要約: ディープラーニング(Deep Neural Network, DNN)は、機械学習においてユビキタスになったが、そのエネルギー消費は依然として注目すべき問題である。
我々は、低電圧状態における精度とエネルギーのトレードオフに対処する新しいアドオンモジュールであるNeuralFuseを紹介する。
1%のビットエラー率で、NeuralFuseはメモリアクセスエネルギーを最大24%削減し、精度を最大57%向上することができる。
- 参考スコア（独自算出の注目度）: 54.332632723243066
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep neural networks (DNNs) have become ubiquitous in machine learning, but
their energy consumption remains a notable issue. Lowering the supply voltage
is an effective strategy for reducing energy consumption. However, aggressively
scaling down the supply voltage can lead to accuracy degradation due to random
bit flips in static random access memory (SRAM) where model parameters are
stored. To address this challenge, we introduce NeuralFuse, a novel add-on
module that addresses the accuracy-energy tradeoff in low-voltage regimes by
learning input transformations to generate error-resistant data
representations. NeuralFuse protects DNN accuracy in both nominal and
low-voltage scenarios. Moreover, NeuralFuse is easy to implement and can be
readily applied to DNNs with limited access, such as non-configurable hardware
or remote access to cloud-based APIs. Experimental results demonstrate that, at
a 1% bit error rate, NeuralFuse can reduce SRAM memory access energy by up to
24% while improving accuracy by up to 57%. To the best of our knowledge, this
is the first model-agnostic approach (i.e., no model retraining) to address
low-voltage-induced bit errors. The source code is available at
https://github.com/IBM/NeuralFuse.
- Abstract（参考訳）: ディープラーニング(Deep Neural Network, DNN)は、機械学習においてユビキタスになったが、そのエネルギー消費は注目すべき問題である。
供給電圧の低下はエネルギー消費を減らす効果的な戦略である。
しかし、サプライ電圧を積極的にスケールダウンすると、モデルパラメータが格納されている静的ランダムアクセスメモリ(SRAM)において、ランダムビットフリップによる精度低下につながる可能性がある。
この課題に対処するために,我々は,入力変換を学習してエラー耐性データ表現を生成することで低電圧環境における精度とエネルギーのトレードオフに対処する,新しいアドオンモジュールneuralfuseを紹介する。
NeuralFuseは、名目と低電圧の両方のシナリオでDNNの精度を保護する。
さらに、NeuralFuseは実装が容易で、構成不可能なハードウェアやクラウドベースのAPIへのリモートアクセスなど、限られたアクセスでDNNに簡単に適用できる。
実験の結果、1%のビット誤り率で、neuralfuseはsramメモリアクセスエネルギーを最大24%削減し、精度を最大57%向上できることが示されている。
我々の知る限りでは、これは低電圧によるビットエラーに対処する最初のモデルに依存しないアプローチである。
ソースコードはhttps://github.com/ibm/neuralfuseで入手できる。
関連論文リスト
- Improving Reliability of Spiking Neural Networks through Fault Aware
Threshold Voltage Optimization [0.0]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックなハードウェアに自らを貸すことで、コンピュータビジョンを突破した。
Systolic-array SNNアクセラレータ(systolicSNN)が最近提案されているが、信頼性は依然として大きな懸念点である。
本稿では、リトレーニングにおける新しい故障軽減手法、すなわち、故障認識しきい値電圧の最適化について述べる(FalVolt)。
論文 参考訳（メタデータ） (2023-01-12T19:30:21Z) - MEIL-NeRF: Memory-Efficient Incremental Learning of Neural Radiance
Fields [49.68916478541697]
我々は、NeRF(MEIL-NeRF)のためのメモリ効率の良いインクリメンタル学習アルゴリズムを開発した。
MEIL-NeRFはNeRF自体からインスピレーションを得て、ニューラルネットワークがクエリとして与えられたピクセルRGB値を提供するメモリとして機能する。
その結果、MEIL-NeRFはメモリ消費と競合性能を一定に示すことができた。
論文 参考訳（メタデータ） (2022-12-16T08:04:56Z) - CorrectNet: Robustness Enhancement of Analog In-Memory Computing for
Neural Networks by Error Suppression and Compensation [4.570841222958966]
本稿では,ニューラルネットワークの変動と雑音下での堅牢性を高める枠組みを提案する。
ニューラルネットワークの予測精度は、変動とノイズの下で1.69%以下から回復可能であることを示す。
論文 参考訳（メタデータ） (2022-11-27T19:13:33Z) - Variable Bitrate Neural Fields [75.24672452527795]
本稿では,特徴格子を圧縮し,メモリ消費を最大100倍に削減する辞書手法を提案する。
辞書の最適化をベクトル量子化オートデコーダ問題として定式化し、直接監督できない空間において、エンドツーエンドの離散神経表現を学習する。
論文 参考訳（メタデータ） (2022-06-15T17:58:34Z) - On the Tradeoff between Energy, Precision, and Accuracy in Federated
Quantized Neural Networks [68.52621234990728]
無線ネットワーク上でのフェデレーション学習(FL)は、精度、エネルギー効率、精度のバランスをとる必要がある。
本稿では,ローカルトレーニングとアップリンク伝送の両方において,有限レベルの精度でデータを表現できる量子化FLフレームワークを提案する。
我々のフレームワークは標準的なFLモデルと比較してエネルギー消費量を最大53%削減できる。
論文 参考訳（メタデータ） (2021-11-15T17:00:03Z) - Training Feedback Spiking Neural Networks by Implicit Differentiation on
the Equilibrium State [66.2457134675891]
スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。
既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。
本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
論文 参考訳（メタデータ） (2021-09-29T07:46:54Z) - ReSpawn: Energy-Efficient Fault-Tolerance for Spiking Neural Networks
considering Unreliable Memories [14.933137030206286]
スパイキングニューラルネットワーク(SNN)は、教師なし学習能力を持つ低エネルギーを持つ可能性を示している。
ハードウェアが引き起こした障害が記憶にある場合、その処理は精度の低下に悩まされる。
本稿では,オフチップメモリとオンチップメモリの両方におけるフォールトの影響を緩和する新しいフレームワークであるReSpawnを提案する。
論文 参考訳（メタデータ） (2021-08-23T16:17:33Z) - Enabling Incremental Training with Forward Pass for Edge Devices [0.0]
進化戦略(ES)を用いてネットワークを部分的に再トレーニングし,エラー発生後に変更に適応し,回復できるようにする手法を提案する。
この技術は、バックプロパゲーションを必要とせず、最小限のリソースオーバーヘッドで推論専用ハードウェアのトレーニングを可能にする。
論文 参考訳（メタデータ） (2021-03-25T17:43:04Z) - Bit Error Robustness for Energy-Efficient DNN Accelerators [93.58572811484022]
本稿では、ロバストな固定点量子化、重み切り、ランダムビット誤り訓練(RandBET)の組み合わせにより、ランダムビット誤りに対するロバスト性を向上することを示す。
これは低電圧動作と低精度量子化の両方から高エネルギーの節約につながる。
論文 参考訳（メタデータ） (2020-06-24T18:23:10Z) - Towards Explainable Bit Error Tolerance of Resistive RAM-Based Binarized
Neural Networks [7.349786872131006]
抵抗性RAM(RRAM)のような不揮発性メモリは、エネルギー効率が向上するストレージである。
バイナリニューラルネットワーク(BNN)は、精度を損なうことなく、ある種のエラーを許容することができる。
BNNのビットエラー耐性(BET)は、トレーニング中にウェイトサインを反転させることによって達成できる。
論文 参考訳（メタデータ） (2020-02-03T17:38:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。