論文の概要: NeuralFuse: Learning to Improve the Accuracy of Access-Limited Neural Network Inference in Low-Voltage Regimes

• arxiv url: http://arxiv.org/abs/2306.16869v1
• Date: Thu, 29 Jun 2023 11:38:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-30 13:36:54.527428
• Title: NeuralFuse: Learning to Improve the Accuracy of Access-Limited Neural Network Inference in Low-Voltage Regimes
• Title（参考訳）: NeuralFuse:低電圧レジームにおけるアクセス制限型ニューラルネットワーク推論の精度向上のための学習
• Authors: Hao-Lun Sun, Lei Hsiung, Nandhini Chandramoorthy, Pin-Yu Chen, Tsung-Yi Ho
• Abstract要約: ディープラーニング(Deep Neural Network, DNN)は、機械学習においてユビキタスになったが、そのエネルギー消費は依然として注目すべき問題である。 我々は、低電圧状態における精度とエネルギーのトレードオフに対処する新しいアドオンモジュールであるNeuralFuseを紹介する。 1%のビットエラー率で、NeuralFuseはメモリアクセスエネルギーを最大24%削減し、精度を最大57%向上することができる。
• 参考スコア（独自算出の注目度）: 54.332632723243066
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks (DNNs) have become ubiquitous in machine learning, but their energy consumption remains a notable issue. Lowering the supply voltage is an effective strategy for reducing energy consumption. However, aggressively scaling down the supply voltage can lead to accuracy degradation due to random bit flips in static random access memory (SRAM) where model parameters are stored. To address this challenge, we introduce NeuralFuse, a novel add-on module that addresses the accuracy-energy tradeoff in low-voltage regimes by learning input transformations to generate error-resistant data representations. NeuralFuse protects DNN accuracy in both nominal and low-voltage scenarios. Moreover, NeuralFuse is easy to implement and can be readily applied to DNNs with limited access, such as non-configurable hardware or remote access to cloud-based APIs. Experimental results demonstrate that, at a 1% bit error rate, NeuralFuse can reduce SRAM memory access energy by up to 24% while improving accuracy by up to 57%. To the best of our knowledge, this is the first model-agnostic approach (i.e., no model retraining) to address low-voltage-induced bit errors. The source code is available at https://github.com/IBM/NeuralFuse.
• Abstract（参考訳）: ディープラーニング(Deep Neural Network, DNN)は、機械学習においてユビキタスになったが、そのエネルギー消費は注目すべき問題である。 供給電圧の低下はエネルギー消費を減らす効果的な戦略である。 しかし、サプライ電圧を積極的にスケールダウンすると、モデルパラメータが格納されている静的ランダムアクセスメモリ(SRAM)において、ランダムビットフリップによる精度低下につながる可能性がある。 この課題に対処するために,我々は,入力変換を学習してエラー耐性データ表現を生成することで低電圧環境における精度とエネルギーのトレードオフに対処する,新しいアドオンモジュールneuralfuseを紹介する。 NeuralFuseは、名目と低電圧の両方のシナリオでDNNの精度を保護する。 さらに、NeuralFuseは実装が容易で、構成不可能なハードウェアやクラウドベースのAPIへのリモートアクセスなど、限られたアクセスでDNNに簡単に適用できる。 実験の結果、1%のビット誤り率で、neuralfuseはsramメモリアクセスエネルギーを最大24%削減し、精度を最大57%向上できることが示されている。 我々の知る限りでは、これは低電圧によるビットエラーに対処する最初のモデルに依存しないアプローチである。 ソースコードはhttps://github.com/ibm/neuralfuseで入手できる。

関連論文リスト

• Instant Complexity Reduction in CNNs using Locality-Sensitive Hashing [50.79602839359522]
  本稿では,パラメータフリーでデータフリーなモジュールであるHASTE(Hashing for Tractable Efficiency)を提案する。 局所性感応ハッシュ (LSH) を用いることで, 精度を犠牲にすることなく, 遅延特徴写像を劇的に圧縮することができる。 特に、HASTEモジュール用のCIFAR-10上のResNet34で畳み込みモジュールを切り替えるだけで、FLOPの46.72%を即座に落とすことができる。
  論文  参考訳（メタデータ） (2023-09-29T13:09:40Z)
• Improving Reliability of Spiking Neural Networks through Fault Aware Threshold Voltage Optimization [0.0]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックなハードウェアに自らを貸すことで、コンピュータビジョンを突破した。 Systolic-array SNNアクセラレータ(systolicSNN)が最近提案されているが、信頼性は依然として大きな懸念点である。 本稿では、リトレーニングにおける新しい故障軽減手法、すなわち、故障認識しきい値電圧の最適化について述べる(FalVolt)。
  論文  参考訳（メタデータ） (2023-01-12T19:30:21Z)
• CorrectNet: Robustness Enhancement of Analog In-Memory Computing for Neural Networks by Error Suppression and Compensation [4.570841222958966]
  本稿では,ニューラルネットワークの変動と雑音下での堅牢性を高める枠組みを提案する。 ニューラルネットワークの予測精度は、変動とノイズの下で1.69%以下から回復可能であることを示す。
  論文  参考訳（メタデータ） (2022-11-27T19:13:33Z)
• Fast Exploration of the Impact of Precision Reduction on Spiking Neural Networks [63.614519238823206]
  ターゲットハードウェアがコンピューティングの端に達すると、スパイキングニューラルネットワーク(SNN)が実用的な選択となる。 我々は、近似誤差を伝播するそのようなモデルの能力を生かした探索手法を開発するために、インターヴァル算術(IA)モデルを用いる。
  論文  参考訳（メタデータ） (2022-11-22T15:08:05Z)
• Enhanced physics-constrained deep neural networks for modeling vanadium redox flow battery [62.997667081978825]
  本稿では,物理制約付き深部ニューラルネットワーク(PCDNN)による高精度電圧予測手法を提案する。 ePCDNNは、電圧放電曲線のテール領域を含む電荷放電サイクルを通して、電圧応答を正確にキャプチャすることができる。
  論文  参考訳（メタデータ） (2022-03-03T19:56:24Z)
• Random and Adversarial Bit Error Robustness: Energy-Efficient and Secure DNN Accelerators [105.60654479548356]
  固定点量子化と重み切り、およびランダムビット誤り訓練(RandBET)の組み合わせにより、量子化DNN重みにおけるランダムビット誤りや逆ビット誤りに対するロバスト性を著しく向上することを示す。 これは低電圧運転のための高省エネと低精度量子化をもたらすが、DNN加速器の安全性も向上する。
  論文  参考訳（メタデータ） (2021-04-16T19:11:14Z)
• Enabling Incremental Training with Forward Pass for Edge Devices [0.0]
  進化戦略(ES)を用いてネットワークを部分的に再トレーニングし,エラー発生後に変更に適応し,回復できるようにする手法を提案する。 この技術は、バックプロパゲーションを必要とせず、最小限のリソースオーバーヘッドで推論専用ハードウェアのトレーニングを可能にする。
  論文  参考訳（メタデータ） (2021-03-25T17:43:04Z)
• Dynamic Hard Pruning of Neural Networks at the Edge of the Internet [11.605253906375424]
  動的ハードプルーニング(DynHP)技術は、トレーニング中にネットワークを段階的にプルーニングする。 DynHPは、最終ニューラルネットワークの調整可能なサイズ削減と、トレーニング中のNNメモリ占有率の削減を可能にする。 凍結メモリは、ハードプルーニング戦略による精度劣化を相殺するために、エンファンダイナミックバッチサイズアプローチによって再利用される。
  論文  参考訳（メタデータ） (2020-11-17T10:23:28Z)
• Bit Error Robustness for Energy-Efficient DNN Accelerators [93.58572811484022]
  本稿では、ロバストな固定点量子化、重み切り、ランダムビット誤り訓練(RandBET)の組み合わせにより、ランダムビット誤りに対するロバスト性を向上することを示す。 これは低電圧動作と低精度量子化の両方から高エネルギーの節約につながる。
  論文  参考訳（メタデータ） (2020-06-24T18:23:10Z)
• Towards Explainable Bit Error Tolerance of Resistive RAM-Based Binarized Neural Networks [7.349786872131006]
  抵抗性RAM(RRAM)のような不揮発性メモリは、エネルギー効率が向上するストレージである。 バイナリニューラルネットワーク(BNN)は、精度を損なうことなく、ある種のエラーを許容することができる。 BNNのビットエラー耐性(BET)は、トレーニング中にウェイトサインを反転させることによって達成できる。
  論文  参考訳（メタデータ） (2020-02-03T17:38:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。