論文の概要: Bit Error Tolerance Metrics for Binarized Neural Networks

• arxiv url: http://arxiv.org/abs/2102.01344v1
• Date: Tue, 2 Feb 2021 06:44:55 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-04 10:05:22.590493
• Title: Bit Error Tolerance Metrics for Binarized Neural Networks
• Title（参考訳）: 二元化ニューラルネットワークにおけるビット誤差耐性測定
• Authors: Sebastian Buschj\"ager, Jian-Jia Chen, Kuan-Hsun Chen, Mario G\"unzel, Katharina Morik, Rodion Novkin, Lukas Pfahler, Mikail Yayla
• Abstract要約: バイナライズNN(BNN)に着目して、ビットフリップトレーニングが引き起こすニューラルネットワーク(NN)の内部的変化について検討する。 本稿では,プレアクティベーション値とバッチ正規化しきい値とのマージンを算出したニューロンレベルのビット誤り許容度尺度を提案する。 また、各ニューロンの重要度を計測し、すべての重要な値に対するばらつきを計算する、インターニューロンビット誤り許容度尺度も提案する。
• 参考スコア（独自算出の注目度）: 8.863516255789408
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To reduce the resource demand of neural network (NN) inference systems, it has been proposed to use approximate memory, in which the supply voltage and the timing parameters are tuned trading accuracy with energy consumption and performance. Tuning these parameters aggressively leads to bit errors, which can be tolerated by NNs when bit flips are injected during training. However, bit flip training, which is the state of the art for achieving bit error tolerance, does not scale well; it leads to massive overheads and cannot be applied for high bit error rates (BERs). Alternative methods to achieve bit error tolerance in NNs are needed, but the underlying principles behind the bit error tolerance of NNs have not been reported yet. With this lack of understanding, further progress in the research on NN bit error tolerance will be restrained. In this study, our objective is to investigate the internal changes in the NNs that bit flip training causes, with a focus on binarized NNs (BNNs). To this end, we quantify the properties of bit error tolerant BNNs with two metrics. First, we propose a neuron-level bit error tolerance metric, which calculates the margin between the pre-activation values and batch normalization thresholds. Secondly, to capture the effects of bit error tolerance on the interplay of neurons, we propose an inter-neuron bit error tolerance metric, which measures the importance of each neuron and computes the variance over all importance values. Our experimental results support that these two metrics are strongly related to bit error tolerance.
• Abstract（参考訳）: ニューラルネットワーク(NN)推論システムのリソース需要を減らすために、電源電圧とタイミングパラメータをエネルギー消費とパフォーマンスで取引精度を調整する近似メモリを使用することが提案されている。 これらのパラメータの調整はビットエラーに積極的につながり、トレーニング中にビットフリップが注入されるとNNによって許容されます。 しかし、ビットエラー耐性を達成するための最先端の技術であるビットフリップトレーニングは、スケールがうまくいかず、膨大なオーバーヘッドをもたらし、高いビットエラー率(BER)に適用することはできません。 NNにおけるビットエラー耐性を実現する別の方法が必要であるが、NNのビットエラー耐性の背後にある基本原則はまだ報告されていない。 この理解の欠如により、nnビットのエラー許容性に関する研究のさらなる進展が抑制される。 本研究の目的は,二項化NN(BNN)に着目して,フリップトレーニングの原因となるNNの内部的変化を調べることである。 そのために、ビットエラー耐性BNNの性質を2つの指標で定量化します。 まず,プリアクティベーション値とバッチ正規化しきい値とのマージンを計算する,ニューロンレベルのビット誤り耐性メトリックを提案する。 次に、神経細胞の相互作用に対するビット誤差許容度の影響を捉えるために、各ニューロンの重要性を測定し、すべての重要値のばらつきを計算するニューロン間ビット誤差許容度指標を提案します。 実験結果は,この2つの指標がビット誤り許容性に強く関連していることを裏付ける。

関連論文リスト

• ZOBNN: Zero-Overhead Dependable Design of Binary Neural Networks with Deliberately Quantized Parameters [0.0]
  本稿では,低精度ニューラルネットワークの3番目の利点として,耐故障性の改善について紹介する。 本稿では,メモリ障害がBNN(State-of-the-art binary neural network)に与える影響を包括的解析により検討する。 本稿では,新しい均一量子化手法により,フロートパラメータの範囲を制限することにより,BNNの信頼性を向上させる手法を提案する。
  論文  参考訳（メタデータ） (2024-07-06T05:31:11Z)
• Guaranteed Approximation Bounds for Mixed-Precision Neural Operators [83.64404557466528]
  我々は、ニューラル演算子学習が本質的に近似誤差を誘導する直感の上に構築する。 提案手法では,GPUメモリ使用量を最大50%削減し,スループットを58%向上する。
  論文  参考訳（メタデータ） (2023-07-27T17:42:06Z)
• An Estimator for the Sensitivity to Perturbations of Deep Neural Networks [0.31498833540989407]
  本稿では,入力の摂動に対して与えられたディープニューラルネットワークの感度を予測できる推定器を導出する。 推定器の近似は、ImageNetデータセットを使用して、AlexNetとVGG-19の2つの畳み込みニューラルネットワークでテストされる。
  論文  参考訳（メタデータ） (2023-07-24T10:33:32Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Can pruning improve certified robustness of neural networks? [106.03070538582222]
  ニューラルネット・プルーニングはディープ・ニューラル・ネットワーク(NN)の実証的ロバスト性を向上させることができることを示す。 実験の結果,NNを適切に刈り取ることで,その精度を8.2%まで向上させることができることがわかった。 さらに,認証された宝くじの存在が,従来の密集モデルの標準および認証された堅牢な精度に一致することを観察する。
  論文  参考訳（メタデータ） (2022-06-15T05:48:51Z)
• Converting Artificial Neural Networks to Spiking Neural Networks via Parameter Calibration [21.117214351356765]
  スパイキングニューラルネットワーク(SNN)は、次世代ニューラルネットワークの1つとして認識されている。 本研究では、ANNの重みをSNNにコピー&ペーストするだけで、必然的にアクティベーションミスマッチが発生することを論じる。 そこで本研究では,アクティベーションミスマッチを最小限に抑えるため,パラメータの調整を行う層ワイドパラメータキャリブレーションアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-05-06T18:22:09Z)
• Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。 既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。 本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T07:46:54Z)
• Random and Adversarial Bit Error Robustness: Energy-Efficient and Secure DNN Accelerators [105.60654479548356]
  固定点量子化と重み切り、およびランダムビット誤り訓練(RandBET)の組み合わせにより、量子化DNN重みにおけるランダムビット誤りや逆ビット誤りに対するロバスト性を著しく向上することを示す。 これは低電圧運転のための高省エネと低精度量子化をもたらすが、DNN加速器の安全性も向上する。
  論文  参考訳（メタデータ） (2021-04-16T19:11:14Z)
• Improving Accuracy of Binary Neural Networks using Unbalanced Activation Distribution [12.46127622357824]
  非平衡な活性化分布はBNNの精度を実際に向上させることができることを示す。 また、二項活性化関数のしきい値を調整することにより、二項活性化関数の不均衡分布が生じることを示す。 実験結果から,バイナリアクティベーション関数のしきい値を簡単にシフトすることで,従来のBNNモデルの精度を向上させることができることがわかった。
  論文  参考訳（メタデータ） (2020-12-02T02:49:53Z)
• Bit Error Robustness for Energy-Efficient DNN Accelerators [93.58572811484022]
  本稿では、ロバストな固定点量子化、重み切り、ランダムビット誤り訓練(RandBET)の組み合わせにより、ランダムビット誤りに対するロバスト性を向上することを示す。 これは低電圧動作と低精度量子化の両方から高エネルギーの節約につながる。
  論文  参考訳（メタデータ） (2020-06-24T18:23:10Z)
• Towards Explainable Bit Error Tolerance of Resistive RAM-Based Binarized Neural Networks [7.349786872131006]
  抵抗性RAM(RRAM)のような不揮発性メモリは、エネルギー効率が向上するストレージである。 バイナリニューラルネットワーク(BNN)は、精度を損なうことなく、ある種のエラーを許容することができる。 BNNのビットエラー耐性(BET)は、トレーニング中にウェイトサインを反転させることによって達成できる。
  論文  参考訳（メタデータ） (2020-02-03T17:38:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。