論文の概要: FlatENN: Train Flat for Enhanced Fault Tolerance of Quantized Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2301.00675v1
• Date: Thu, 29 Dec 2022 06:06:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-03 16:14:14.069043
• Title: FlatENN: Train Flat for Enhanced Fault Tolerance of Quantized Deep Neural Networks
• Title（参考訳）: FlatENN: 量子化ディープニューラルネットワークの耐故障性向上のためのトレインフラット
• Authors: Akul Malhotra and Sumeet Kumar Gupta
• Abstract要約: アクティベーションスパース量子化DNN(QDNN)に対するビットフリップおよびスタントアット断層の影響について検討する。 高いレベルのアクティベーション間隔は、障害に対する大きな脆弱性のコストが伴うことを示す。 本稿では,シャープネスを考慮した量子化手法を用いて,断層の影響を緩和する手法を提案する。
• 参考スコア（独自算出の注目度）: 0.03807314298073299
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Model compression via quantization and sparsity enhancement has gained an immense interest to enable the deployment of deep neural networks (DNNs) in resource-constrained edge environments. Although these techniques have shown promising results in reducing the energy, latency and memory requirements of the DNNs, their performance in non-ideal real-world settings (such as in the presence of hardware faults) is yet to be completely understood. In this paper, we investigate the impact of bit-flip and stuck-at faults on activation-sparse quantized DNNs (QDNNs). We show that a high level of activation sparsity comes at the cost of larger vulnerability to faults. For instance, activation-sparse QDNNs exhibit up to 17.32% lower accuracy than the standard QDNNs. We also establish that one of the major cause of the degraded accuracy is sharper minima in the loss landscape for activation-sparse QDNNs, which makes them more sensitive to perturbations in the weight values due to faults. Based on this observation, we propose the mitigation of the impact of faults by employing a sharpness-aware quantization (SAQ) training scheme. The activation-sparse and standard QDNNs trained with SAQ have up to 36.71% and 24.76% higher inference accuracy, respectively compared to their conventionally trained equivalents. Moreover, we show that SAQ-trained activation-sparse QDNNs show better accuracy in faulty settings than standard QDNNs trained conventionally. Thus the proposed technique can be instrumental in achieving sparsity-related energy/latency benefits without compromising on fault tolerance.
• Abstract（参考訳）: 量子化とスパーシティエンハンスメントによるモデル圧縮は、リソース制約のあるエッジ環境におけるディープニューラルネットワーク(dnn)の展開を可能にするために非常に関心を集めている。 これらの技術は、DNNのエネルギ、レイテンシ、メモリ要求を減少させる有望な結果を示しているが、非理想的現実環境(ハードウェア欠陥の存在など)における性能は、まだ完全には理解されていない。 本稿では,ビットフリップおよびスタントアット断層が活性化スパース量子化DNN(QDNN)に与える影響について検討する。 高いレベルのアクティベーション間隔は、障害に対するより大きな脆弱性のコストによって生じることを示す。 例えば、活性化スパースQDNNは標準QDNNよりも17.32%低い精度である。 また, 劣化した精度の大きな原因の1つは, アクティベーションスパースQDNNの損失景観の最小化であり, 断層による重み値の摂動に敏感であることも確認した。 そこで本研究では,saq (sharpness-aware quantization) のトレーニング手法を用いて,断層の影響軽減手法を提案する。 SAQで訓練されたアクティベーションスパースQDNNと標準QDNNは、従来の訓練された等価値と比較して、それぞれ36.71%と24.76%高い推論精度を持つ。 さらに,SAQ訓練したアクティベーションスパースQDNNは,従来トレーニングされていた標準QDNNよりも精度がよいことを示す。 提案手法は, 耐故障性を損なうことなく, スパーシティ関連エネルギー・遅延特性の達成に有効である。

関連論文リスト

• Memory Faults in Activation-sparse Quantized Deep Neural Networks: Analysis and Mitigation using Sharpness-aware Training [0.0]
  メモリ障害がアクティベーションスパース量子化DNN(AS QDNN)に与える影響について検討する。 As QDNNは標準QDNNよりも11.13%低い精度を示す。 我々は、メモリ障害の影響を軽減するために、シャープネス対応量子化(SAQ)トレーニングを採用する。
  論文  参考訳（メタデータ） (2024-06-15T06:40:48Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• RescueSNN: Enabling Reliable Executions on Spiking Neural Network Accelerators under Permanent Faults [15.115813664357436]
  RescueSNNはSNNチップの計算エンジンにおける永久欠陥を軽減する新しい手法である。 RescueSNNは、高い故障率で25%未満のスループットの削減を維持しながら、最大80%の精度向上を実現している。
  論文  参考訳（メタデータ） (2023-04-08T15:24:57Z)
• Fault-Aware Design and Training to Enhance DNNs Reliability with Zero-Overhead [67.87678914831477]
  ディープニューラルネットワーク(DNN)は、幅広い技術的進歩を可能にする。 最近の知見は、過渡的なハードウェア欠陥がモデル予測を劇的に損なう可能性があることを示唆している。 本研究では,トレーニングとモデル設計の両面で信頼性の問題に取り組むことを提案する。
  論文  参考訳（メタデータ） (2022-05-28T13:09:30Z)
• SoftSNN: Low-Cost Fault Tolerance for Spiking Neural Network Accelerators under Soft Errors [15.115813664357436]
  SoftSNNは、SNNアクセラレーターの重みレジスタ(シナプス)とニューロンにおけるソフトエラーを再実行せずに軽減する新しい手法である。 高い故障率を持つ900ニューロンネットワークでは、SoftSNNは、それぞれ3%未満の精度低下を維持しながら、レイテンシとエネルギーを最大3倍と2.3倍に削減する。
  論文  参考訳（メタデータ） (2022-03-10T18:20:28Z)
• HIRE-SNN: Harnessing the Inherent Robustness of Energy-Efficient Deep Spiking Neural Networks by Training with Crafted Input Noise [13.904091056365765]
  SNNトレーニングアルゴリズムは,入力ノイズを発生させるとともに,追加のトレーニング時間も発生しない。 通常の訓練された直接入力SNNと比較して、トレーニングされたモデルでは、最大13.7%の分類精度が向上した。 また,本モデルでは,レートコード入力を学習したSNNに対して,攻撃生成画像の分類性能が向上あるいは類似していることが特筆すべき点である。
  論文  参考訳（メタデータ） (2021-10-06T16:48:48Z)
• Towards Low-Latency Energy-Efficient Deep SNNs via Attention-Guided Compression [12.37129078618206]
  ディープスパイクニューラルネットワーク(SNN)は、従来のディープラーニングフレームワークに代わる潜在的な選択肢として登場した。 ほとんどのSNNトレーニングフレームワークは、スパイクアクティビティの増加とエネルギー効率の低下につながる大きな推論遅延をもたらす。 本稿では, スパイク活性を低減した超高圧縮を実現する非定常SNNトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-07-16T18:23:36Z)
• Random and Adversarial Bit Error Robustness: Energy-Efficient and Secure DNN Accelerators [105.60654479548356]
  固定点量子化と重み切り、およびランダムビット誤り訓練(RandBET)の組み合わせにより、量子化DNN重みにおけるランダムビット誤りや逆ビット誤りに対するロバスト性を著しく向上することを示す。 これは低電圧運転のための高省エネと低精度量子化をもたらすが、DNN加速器の安全性も向上する。
  論文  参考訳（メタデータ） (2021-04-16T19:11:14Z)
• S2-BNN: Bridging the Gap Between Self-Supervised Real and 1-bit Neural Networks via Guided Distribution Calibration [74.5509794733707]
  本研究では, 実数値から, 最終予測分布上のバイナリネットワークへの誘導型学習パラダイムを提案する。 提案手法は,bnn上で5.515%の絶対利得で,単純なコントラスト学習ベースラインを向上できる。 提案手法は、単純なコントラスト学習ベースラインよりも大幅に改善され、多くの主流教師付きBNN手法に匹敵する。
  論文  参考訳（メタデータ） (2021-02-17T18:59:28Z)
• Bit Error Robustness for Energy-Efficient DNN Accelerators [93.58572811484022]
  本稿では、ロバストな固定点量子化、重み切り、ランダムビット誤り訓練(RandBET)の組み合わせにより、ランダムビット誤りに対するロバスト性を向上することを示す。 これは低電圧動作と低精度量子化の両方から高エネルギーの節約につながる。
  論文  参考訳（メタデータ） (2020-06-24T18:23:10Z)
• Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
  量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。 既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。 本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
  論文  参考訳（メタデータ） (2020-02-03T04:11:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。