論文の概要: Harden Deep Neural Networks Against Fault Injections Through Weight Scaling

• arxiv url: http://arxiv.org/abs/2411.18993v1
• Date: Thu, 28 Nov 2024 08:47:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-02 15:23:00.175393
• Title: Harden Deep Neural Networks Against Fault Injections Through Weight Scaling
• Title（参考訳）: 重みスケーリングによる断層注入に対する深いニューラルネットワーク
• Authors: Ninnart Fuengfusin, Hakaru Tamukoh,
• Abstract要約: そこで本研究では,DNNの重み付けを一定値に乗じてハード化する手法を提案する。 本手法は,ビットフリップからの誤差が付加雑音に類似した特性を持つことを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Deep neural networks (DNNs) have enabled smart applications on hardware devices. However, these hardware devices are vulnerable to unintended faults caused by aging, temperature variance, and write errors. These faults can cause bit-flips in DNN weights and significantly degrade the performance of DNNs. Thus, protection against these faults is crucial for the deployment of DNNs in critical applications. Previous works have proposed error correction codes based methods, however these methods often require high overheads in both memory and computation. In this paper, we propose a simple yet effective method to harden DNN weights by multiplying weights by constants before storing them to fault-prone medium. When used, these weights are divided back by the same constants to restore the original scale. Our method is based on the observation that errors from bit-flips have properties similar to additive noise, therefore by dividing by constants can reduce the absolute error from bit-flips. To demonstrate our method, we conduct experiments across four ImageNet 2012 pre-trained models along with three different data types: 32-bit floating point, 16-bit floating point, and 8-bit fixed point. This method demonstrates that by only multiplying weights with constants, Top-1 Accuracy of 8-bit fixed point ResNet50 is improved by 54.418 at bit-error rate of 0.0001.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、ハードウェアデバイス上でスマートアプリケーションを可能にする。 しかし、これらのハードウェアデバイスは、老朽化、温度変化、書き込みエラーによる意図しない欠陥に対して脆弱である。 これらの欠陥はDNN重みのビットフリップを引き起こし、DNNの性能を著しく低下させる。 したがって、これらの障害に対する保護は、重要なアプリケーションにDNNを配置するのに不可欠である。 従来の研究では誤り訂正符号に基づく手法が提案されていたが、メモリと計算の両方で高いオーバーヘッドを必要とすることが多い。 本稿では,DNNの重みを一定値に乗じて重みを固化させる手法を提案する。 使用時には、これらの重みを同じ定数で分割して元のスケールを復元する。 提案手法は, ビットフリップからの誤差が付加雑音に類似した特性を持つという観測に基づいており, 定数による分割により絶対誤差をビットフリップから低減することができる。 提案手法を実証するために,4つのImageNet 2012事前学習モデルに対して,32ビット浮動小数点,16ビット浮動小数点,8ビット定点の3種類のデータタイプを用いて実験を行った。 この方法では、定数で重みを乗じるだけで、8ビット固定点 ResNet50 の Top-1 の精度が 54.418 に改善され、ビットエラー率は 0.0001 となる。

関連論文リスト

• Bridging Precision and Confidence: A Train-Time Loss for Calibrating Object Detection [58.789823426981044]
  本稿では,境界ボックスのクラス信頼度を予測精度に合わせることを目的とした,新たな補助損失定式化を提案する。 その結果,列車の走行時間損失はキャリブレーション基準を超過し,キャリブレーション誤差を低減させることがわかった。
  論文  参考訳（メタデータ） (2023-03-25T08:56:21Z)
• DyBit: Dynamic Bit-Precision Numbers for Efficient Quantized Neural Network Inference [28.912023025671868]
  この作業は、DyBitと呼ばれる可変長エンコーディングを持つ適応データ表現をターゲットにしている。 また,予測精度と高速化をトレードオフする混合精度加速器を備えたハードウェア対応量子化フレームワークを提案する。 実験の結果、DyBitによる推論精度は4ビット量子化の最先端よりも1.997%高いことがわかった。
  論文  参考訳（メタデータ） (2023-02-24T08:46:01Z)
• Suppressing quantum errors by scaling a surface code logical qubit [147.2624260358795]
  複数のコードサイズにわたる論理量子ビット性能のスケーリングの測定について報告する。 超伝導量子ビット系は、量子ビット数の増加による追加誤差を克服するのに十分な性能を有する。 量子誤り訂正は量子ビット数が増加するにつれて性能が向上し始める。
  論文  参考訳（メタデータ） (2022-07-13T18:00:02Z)
• All-You-Can-Fit 8-Bit Flexible Floating-Point Format for Accurate and Memory-Efficient Inference of Deep Neural Networks [2.294014185517203]
  本稿では,非常にフレキシブルな8ビット浮動小数点 (FFP8) フォーマットを提案する。 複数の代表的な画像分類モデルに対して、0.1%sim 0.3%の極めて低い精度の損失を達成している。 古典的な浮動小数点処理ユニットをFFP8準拠のユニットに変えるのは簡単で、余分なハードウェアコストは小さい。
  論文  参考訳（メタデータ） (2021-04-15T09:37:23Z)
• ReCU: Reviving the Dead Weights in Binary Neural Networks [153.6789340484509]
  我々は,BNNのトレーニング中にほとんど更新されない重みのグループを指す「死重み」の影響について検討する。 ReCUによる「死重み」の復活は、量子化誤差が小さくなることを示す。 提案手法は,高速なBNNトレーニングだけでなく,CIFAR-10およびImageNet上での最先端のパフォーマンスも提供する。
  論文  参考訳（メタデータ） (2021-03-23T08:11:20Z)
• Exponential suppression of bit or phase flip errors with repetitive error correction [56.362599585843085]
  最先端の量子プラットフォームは通常、物理的エラーレートが10～3ドル近くである。 量子誤り訂正(QEC)は、多くの物理量子ビットに量子論理情報を分散することで、この分割を橋渡しすることを約束する。 超伝導量子ビットの2次元格子に埋め込まれた1次元繰り返し符号を実装し、ビットまたは位相フリップ誤差の指数的抑制を示す。
  論文  参考訳（メタデータ） (2021-02-11T17:11:20Z)
• Bit Error Robustness for Energy-Efficient DNN Accelerators [93.58572811484022]
  本稿では、ロバストな固定点量子化、重み切り、ランダムビット誤り訓練(RandBET)の組み合わせにより、ランダムビット誤りに対するロバスト性を向上することを示す。 これは低電圧動作と低精度量子化の両方から高エネルギーの節約につながる。
  論文  参考訳（メタデータ） (2020-06-24T18:23:10Z)
• Efficient Integer-Arithmetic-Only Convolutional Neural Networks [87.01739569518513]
  我々は従来のReLUを境界ReLUに置き換え、その減少は活性化量子化によるものであることを示す。 我々の整数ネットワークは、対応するFPNネットワークと同等の性能を発揮するが、メモリコストは1/4に過ぎず、最新のGPUでは2倍高速である。
  論文  参考訳（メタデータ） (2020-06-21T08:23:03Z)
• SNIFF: Reverse Engineering of Neural Networks with Fault Attacks [26.542434084399265]
  障害攻撃を利用したニューラルネットワークのリバースエンジニアリングの可能性を探る。 SNIFFは符号ビットフリップフォールトを意味し、中間値の符号を変更することでリバースエンジニアリングを可能にする。 モデルパラメータの復元を確実に行うディープ層特徴抽出器ネットワーク上での最初の正確な抽出法を開発した。
  論文  参考訳（メタデータ） (2020-02-23T05:39:54Z)
• Shifted and Squeezed 8-bit Floating Point format for Low-Precision Training of Deep Neural Networks [13.929168096016957]
  本研究では,8ビット浮動小数点(FP8)数を用いたディープニューラルネットワークのトレーニング手法を提案する。 ビット精度の低減により、有効メモリが大きくなり、計算速度が向上する。 提案手法は,従来の8ビット精度訓練法と異なり,代表モデルに対して最初から動作可能であることを示す。
  論文  参考訳（メタデータ） (2020-01-16T06:38:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。