論文の概要: Towards Explainable Bit Error Tolerance of Resistive RAM-Based Binarized
Neural Networks
- arxiv url: http://arxiv.org/abs/2002.00909v1
- Date: Mon, 3 Feb 2020 17:38:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-04 08:38:13.257363
- Title: Towards Explainable Bit Error Tolerance of Resistive RAM-Based Binarized
Neural Networks
- Title（参考訳）: 抵抗性RAMベース二元化ニューラルネットワークのビット誤り耐性について
- Authors: Sebastian Buschj\"ager, Jian-Jia Chen, Kuan-Hsun Chen, Mario G\"unzel,
Christian Hakert, Katharina Morik, Rodion Novkin, Lukas Pfahler, Mikail Yayla
- Abstract要約: 抵抗性RAM(RRAM)のような不揮発性メモリは、エネルギー効率が向上するストレージである。
バイナリニューラルネットワーク(BNN)は、精度を損なうことなく、ある種のエラーを許容することができる。
BNNのビットエラー耐性(BET)は、トレーニング中にウェイトサインを反転させることによって達成できる。
- 参考スコア（独自算出の注目度）: 7.349786872131006
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Non-volatile memory, such as resistive RAM (RRAM), is an emerging
energy-efficient storage, especially for low-power machine learning models on
the edge. It is reported, however, that the bit error rate of RRAMs can be up
to 3.3% in the ultra low-power setting, which might be crucial for many use
cases. Binary neural networks (BNNs), a resource efficient variant of neural
networks (NNs), can tolerate a certain percentage of errors without a loss in
accuracy and demand lower resources in computation and storage. The bit error
tolerance (BET) in BNNs can be achieved by flipping the weight signs during
training, as proposed by Hirtzlin et al., but their method has a significant
drawback, especially for fully connected neural networks (FCNN): The FCNNs
overfit to the error rate used in training, which leads to low accuracy under
lower error rates. In addition, the underlying principles of BET are not
investigated. In this work, we improve the training for BET of BNNs and aim to
explain this property. We propose straight-through gradient approximation to
improve the weight-sign-flip training, by which BNNs adapt less to the bit
error rates. To explain the achieved robustness, we define a metric that aims
to measure BET without fault injection. We evaluate the metric and find that it
correlates with accuracy over error rate for all FCNNs tested. Finally, we
explore the influence of a novel regularizer that optimizes with respect to
this metric, with the aim of providing a configurable trade-off in accuracy and
BET.
- Abstract（参考訳）: 抵抗性RAM(RRAM)のような不揮発性メモリは、特にエッジ上の低消費電力の機械学習モデルにおいて、エネルギー効率が向上するストレージである。
しかし、rramのビット誤り率は、ウルトラ低消費電力設定では最大3.3%であり、多くのユースケースにおいて不可欠である可能性があると報告されている。
ニューラルネットワーク(NN)のリソース効率のよい亜種であるバイナリニューラルネットワーク(BNN)は、精度を損なわずに一定のエラーを許容し、計算やストレージに低いリソースを要求する。
BNNのビットエラー耐性(BET)は、Hirtzlinらによって提案されたように、トレーニング中にウェイトサインを反転させることで達成できるが、特に完全連結ニューラルネットワーク(FCNN)では大きな欠点がある。
また,BETの基本原理は検討されていない。
本研究では,BNNのBETのトレーニングを改善し,その特性を説明することを目的とする。
我々は,BNNがビット誤り率に適応しない重み付けフリップトレーニングを改善するために,ストレートスルー勾配近似を提案する。
得られたロバスト性を説明するために,障害注入なしでBETを測定するための指標を定義した。
測定値を評価し,全てのfcnnにおける誤差率の精度と相関があることを見いだした。
最後に、この計量に関して最適化する新しい正則化器の影響を、精度とBETの設定可能なトレードオフを提供することを目的として検討する。
関連論文リスト
- ZOBNN: Zero-Overhead Dependable Design of Binary Neural Networks with Deliberately Quantized Parameters [0.0]
本稿では,低精度ニューラルネットワークの3番目の利点として,耐故障性の改善について紹介する。
本稿では,メモリ障害がBNN(State-of-the-art binary neural network)に与える影響を包括的解析により検討する。
本稿では,新しい均一量子化手法により,フロートパラメータの範囲を制限することにより,BNNの信頼性を向上させる手法を提案する。
論文 参考訳（メタデータ） (2024-07-06T05:31:11Z) - Guaranteed Approximation Bounds for Mixed-Precision Neural Operators [83.64404557466528]
我々は、ニューラル演算子学習が本質的に近似誤差を誘導する直感の上に構築する。
提案手法では,GPUメモリ使用量を最大50%削減し,スループットを58%向上する。
論文 参考訳（メタデータ） (2023-07-27T17:42:06Z) - NeuralFuse: Learning to Recover the Accuracy of Access-Limited Neural
Network Inference in Low-Voltage Regimes [52.51014498593644]
ディープラーニング(Deep Neural Network, DNN)は、機械学習においてユビキタスになったが、そのエネルギー消費は依然として注目すべき問題である。
我々は、低電圧状態における精度とエネルギーのトレードオフに対処する新しいアドオンモジュールであるNeuralFuseを紹介する。
1%のビットエラー率で、NeuralFuseはメモリアクセスエネルギーを最大24%削減し、精度を最大57%向上させることができる。
論文 参考訳（メタデータ） (2023-06-29T11:38:22Z) - Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。
よりスムーズな関数との補間により、より一般化できることを示す。
論文 参考訳（メタデータ） (2023-05-30T19:37:44Z) - Ultra-low Latency Adaptive Local Binary Spiking Neural Network with
Accuracy Loss Estimator [4.554628904670269]
精度損失推定器を用いた超低レイテンシ適応型局所二元スパイクニューラルネットワーク(ALBSNN)を提案する。
実験の結果,ネットワークの精度を損なうことなく,ストレージ容量を20%以上削減できることがわかった。
論文 参考訳（メタデータ） (2022-07-31T09:03:57Z) - ReSpawn: Energy-Efficient Fault-Tolerance for Spiking Neural Networks
considering Unreliable Memories [14.933137030206286]
スパイキングニューラルネットワーク(SNN)は、教師なし学習能力を持つ低エネルギーを持つ可能性を示している。
ハードウェアが引き起こした障害が記憶にある場合、その処理は精度の低下に悩まされる。
本稿では,オフチップメモリとオンチップメモリの両方におけるフォールトの影響を緩和する新しいフレームワークであるReSpawnを提案する。
論文 参考訳（メタデータ） (2021-08-23T16:17:33Z) - Random and Adversarial Bit Error Robustness: Energy-Efficient and Secure
DNN Accelerators [105.60654479548356]
固定点量子化と重み切り、およびランダムビット誤り訓練(RandBET)の組み合わせにより、量子化DNN重みにおけるランダムビット誤りや逆ビット誤りに対するロバスト性を著しく向上することを示す。
これは低電圧運転のための高省エネと低精度量子化をもたらすが、DNN加速器の安全性も向上する。
論文 参考訳（メタデータ） (2021-04-16T19:11:14Z) - S2-BNN: Bridging the Gap Between Self-Supervised Real and 1-bit Neural
Networks via Guided Distribution Calibration [74.5509794733707]
本研究では, 実数値から, 最終予測分布上のバイナリネットワークへの誘導型学習パラダイムを提案する。
提案手法は,bnn上で5.515%の絶対利得で,単純なコントラスト学習ベースラインを向上できる。
提案手法は、単純なコントラスト学習ベースラインよりも大幅に改善され、多くの主流教師付きBNN手法に匹敵する。
論文 参考訳（メタデータ） (2021-02-17T18:59:28Z) - Bit Error Tolerance Metrics for Binarized Neural Networks [8.863516255789408]
バイナライズNN(BNN)に着目して、ビットフリップトレーニングが引き起こすニューラルネットワーク(NN)の内部的変化について検討する。
本稿では,プレアクティベーション値とバッチ正規化しきい値とのマージンを算出したニューロンレベルのビット誤り許容度尺度を提案する。
また、各ニューロンの重要度を計測し、すべての重要な値に対するばらつきを計算する、インターニューロンビット誤り許容度尺度も提案する。
論文 参考訳（メタデータ） (2021-02-02T06:44:55Z) - FTBNN: Rethinking Non-linearity for 1-bit CNNs and Going Beyond [23.5996182207431]
本稿では,二項化畳み込み過程が,その誤差を最小限に抑えるために線形性を増大させ,BNNの識別能力を損なうことを示す。
我々は、その矛盾を修正するために、適切な非線形モジュールを再検討し、調整することで、最先端のパフォーマンスを実現する強力なベースラインに繋がる。
論文 参考訳（メタデータ） (2020-10-19T08:11:48Z) - Bit Error Robustness for Energy-Efficient DNN Accelerators [93.58572811484022]
本稿では、ロバストな固定点量子化、重み切り、ランダムビット誤り訓練(RandBET)の組み合わせにより、ランダムビット誤りに対するロバスト性を向上することを示す。
これは低電圧動作と低精度量子化の両方から高エネルギーの節約につながる。
論文 参考訳（メタデータ） (2020-06-24T18:23:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。