論文の概要: Exploring Fault-Energy Trade-offs in Approximate DNN Hardware Accelerators

• arxiv url: http://arxiv.org/abs/2101.02860v1
• Date: Fri, 8 Jan 2021 05:52:12 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-10 05:10:40.130558
• Title: Exploring Fault-Energy Trade-offs in Approximate DNN Hardware Accelerators
• Title（参考訳）: 近似dnnハードウェアアクセラレータにおけるフォールトエネルギトレードオフの検討
• Authors: Ayesha Siddique, Kanad Basu, Khaza Anuarul Hoque
• Abstract要約: 異なるAxDNNの層幅およびビット幅の耐障害性およびエネルギー解析について述べる。 その結果、AxDNNsの耐障害性がエネルギー効率にかかっていることが示された。
• 参考スコア（独自算出の注目度）: 2.9649783577150837
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Systolic array-based deep neural network (DNN) accelerators have recently gained prominence for their low computational cost. However, their high energy consumption poses a bottleneck to their deployment in energy-constrained devices. To address this problem, approximate computing can be employed at the cost of some tolerable accuracy loss. However, such small accuracy variations may increase the sensitivity of DNNs towards undesired subtle disturbances, such as permanent faults. The impact of permanent faults in accurate DNNs has been thoroughly investigated in the literature. Conversely, the impact of permanent faults in approximate DNN accelerators (AxDNNs) is yet under-explored. The impact of such faults may vary with the fault bit positions, activation functions and approximation errors in AxDNN layers. Such dynamacity poses a considerable challenge to exploring the trade-off between their energy efficiency and fault resilience in AxDNNs. Towards this, we present an extensive layer-wise and bit-wise fault resilience and energy analysis of different AxDNNs, using the state-of-the-art Evoapprox8b signed multipliers. In particular, we vary the stuck-at-0, stuck-at-1 fault-bit positions, and activation functions to study their impact using the most widely used MNIST and Fashion-MNIST datasets. Our quantitative analysis shows that the permanent faults exacerbate the accuracy loss in AxDNNs when compared to the accurate DNN accelerators. For instance, a permanent fault in AxDNNs can lead up to 66\% accuracy loss, whereas the same faulty bit can lead to only 9\% accuracy loss in an accurate DNN accelerator. Our results demonstrate that the fault resilience in AxDNNs is orthogonal to the energy efficiency.
• Abstract（参考訳）: Systolic array-based Deep Neural Network (DNN)アクセラレータは、計算コストの低いことで最近注目を集めている。 しかし、その高エネルギー消費は、エネルギーに制約のあるデバイスへの展開にボトルネックをもたらす。 この問題に対処するために、近似計算は許容できる精度の損失を犠牲にすることができる。 しかし、このような小さな精度の変化は、永久断層のような望ましくない微妙な乱れに対するDNNの感度を高める可能性がある。 正確なDNNにおける永久断層の影響は文献で徹底的に研究されている。 逆に、近似DNN加速器(AxDNN)における永久断層の影響はまだ未解明である。 このような断層の影響は、AxDNN層の故障ビット位置、アクティベーション関数、近似誤差によって異なる可能性がある。 このようなダイナマティは、AxDNNにおけるエネルギー効率と耐障害性の間のトレードオフを探究する上で大きな課題となる。 そこで我々は,最先端のEvoapprox8b符号乗算器を用いて,様々なAxDNNの階層的およびビット的フォールトレジリエンスとエネルギー解析を行う。 特に、最も広く使われているmnistデータセットとファッションmnistデータセットを用いて、stuck-at-0、stuck-at-1フォールトビット位置、アクティベーション関数が異なる。 定量的解析により,AxDNNの精度低下はDNNの精度向上に寄与することが示された。 例えば、AxDNNの恒久的な欠陥は66\%の精度の損失をもたらすが、同じ欠陥ビットは正確なDNNアクセラレーターにおいてわずか9\%の精度の損失をもたらす。 その結果,AxDNNの耐故障性はエネルギー効率に直交していることがわかった。

関連論文リスト

• Special Session: Approximation and Fault Resiliency of DNN Accelerators [0.9126382223122612]
  本稿では,Deep Neural Networkアクセラレータの近似とフォールトレジリエンスについて検討する。 本稿では,DNNに障害注入を行わずにハードウェアのエラーをエミュレートするために近似(AxC)演算回路を提案する。 また,ネットワーク上での断層伝播とマスキングによる耐故障性の微粒化解析も提案する。
  論文  参考訳（メタデータ） (2023-05-31T19:27:45Z)
• RescueSNN: Enabling Reliable Executions on Spiking Neural Network Accelerators under Permanent Faults [15.115813664357436]
  RescueSNNはSNNチップの計算エンジンにおける永久欠陥を軽減する新しい手法である。 RescueSNNは、高い故障率で25%未満のスループットの削減を維持しながら、最大80%の精度向上を実現している。
  論文  参考訳（メタデータ） (2023-04-08T15:24:57Z)
• Dynamics-Aware Loss for Learning with Label Noise [73.75129479936302]
  ディープニューラルネットワーク(DNN)にラベルノイズが深刻な脅威をもたらす 本稿では,この問題を解決するためにDAL(Dynamics-Aware Los)を提案する。 詳細な理論的解析と広範な実験結果の両方が,本手法の優位性を示している。
  論文  参考訳（メタデータ） (2023-03-21T03:05:21Z)
• Thales: Formulating and Estimating Architectural Vulnerability Factors for DNN Accelerators [6.8082132475259405]
  本稿では,過渡的エラーが発生した場合のネットワークの挙動を推定し,過渡的エラーが発生した場合の精度を定量化することに焦点を当てる。 既存のレジリエンス精度 (RA) の定式化は, ソフトウェア変数がハードウェアの過渡的欠陥の下で等価な故障確率を持つことを誤って仮定するため, 基本的に不正確であることを示す。 本稿では, 過渡的故障下でのDNN変数の故障確率を推定し, ハードウェアによる正しいRA推定を行うアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-05T23:16:20Z)
• Fast Exploration of the Impact of Precision Reduction on Spiking Neural Networks [63.614519238823206]
  ターゲットハードウェアがコンピューティングの端に達すると、スパイキングニューラルネットワーク(SNN)が実用的な選択となる。 我々は、近似誤差を伝播するそのようなモデルの能力を生かした探索手法を開発するために、インターヴァル算術(IA)モデルを用いる。
  論文  参考訳（メタデータ） (2022-11-22T15:08:05Z)
• Fault-Aware Design and Training to Enhance DNNs Reliability with Zero-Overhead [67.87678914831477]
  ディープニューラルネットワーク(DNN)は、幅広い技術的進歩を可能にする。 最近の知見は、過渡的なハードウェア欠陥がモデル予測を劇的に損なう可能性があることを示唆している。 本研究では,トレーニングとモデル設計の両面で信頼性の問題に取り組むことを提案する。
  論文  参考訳（メタデータ） (2022-05-28T13:09:30Z)
• SoftSNN: Low-Cost Fault Tolerance for Spiking Neural Network Accelerators under Soft Errors [15.115813664357436]
  SoftSNNは、SNNアクセラレーターの重みレジスタ(シナプス)とニューロンにおけるソフトエラーを再実行せずに軽減する新しい手法である。 高い故障率を持つ900ニューロンネットワークでは、SoftSNNは、それぞれ3%未満の精度低下を維持しながら、レイテンシとエネルギーを最大3倍と2.3倍に削減する。
  論文  参考訳（メタデータ） (2022-03-10T18:20:28Z)
• Random and Adversarial Bit Error Robustness: Energy-Efficient and Secure DNN Accelerators [105.60654479548356]
  固定点量子化と重み切り、およびランダムビット誤り訓練(RandBET)の組み合わせにより、量子化DNN重みにおけるランダムビット誤りや逆ビット誤りに対するロバスト性を著しく向上することを示す。 これは低電圧運転のための高省エネと低精度量子化をもたらすが、DNN加速器の安全性も向上する。
  論文  参考訳（メタデータ） (2021-04-16T19:11:14Z)
• Bit Error Robustness for Energy-Efficient DNN Accelerators [93.58572811484022]
  本稿では、ロバストな固定点量子化、重み切り、ランダムビット誤り訓練(RandBET)の組み合わせにより、ランダムビット誤りに対するロバスト性を向上することを示す。 これは低電圧動作と低精度量子化の両方から高エネルギーの節約につながる。
  論文  参考訳（メタデータ） (2020-06-24T18:23:10Z)
• GraN: An Efficient Gradient-Norm Based Detector for Adversarial and Misclassified Examples [77.99182201815763]
  ディープニューラルネットワーク(DNN)は、敵対的な例やその他のデータ摂動に対して脆弱である。 GraNは、どのDNNにも容易に適応できる時間およびパラメータ効率の手法である。 GraNは多くの問題セットで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2020-04-20T10:09:27Z)
• A Low-cost Fault Corrector for Deep Neural Networks through Range Restriction [1.8907108368038215]
  安全クリティカルドメインのディープニューラルネットワーク(DNN)は、深刻な信頼性を懸念している。 本研究は,過渡的故障による故障を再計算せずに直接修正する低コストな故障修正器であるRangeを提案する。
  論文  参考訳（メタデータ） (2020-03-30T23:53:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。