Fugu-MT 論文翻訳(概要): enpheeph: A Fault Injection Framework for Spiking and Compressed Deep Neural Networks

論文の概要: enpheeph: A Fault Injection Framework for Spiking and Compressed Deep Neural Networks

arxiv url: http://arxiv.org/abs/2208.00328v1
Date: Sun, 31 Jul 2022 00:30:59 GMT
ステータス: 処理完了
システム内更新日: 2022-08-02 12:43:03.244635
Title: enpheeph: A Fault Injection Framework for Spiking and Compressed Deep Neural Networks
Title（参考訳）: enpheeph:スパイクおよび圧縮ディープニューラルネットワークのためのフォールトインジェクションフレームワーク
Authors: Alessio Colucci and Andreas Steininger and Muhammad Shafique
Abstract要約: スパイク・圧縮型ディープニューラルネットワーク(DNN)の故障注入フレームワークであるenpheephについて述べる。ランダムかつ増加する故障数を注入することにより,DNNはパラメータあたり7 x 10 (-7) の故障率で精度を低下させることができ,精度は40%以上低下することを示した。
参考スコア（独自算出の注目度）: 10.757663798809144
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Research on Deep Neural Networks (DNNs) has focused on improving performance and accuracy for real-world deployments, leading to new models, such as Spiking Neural Networks (SNNs), and optimization techniques, e.g., quantization and pruning for compressed networks. However, the deployment of these innovative models and optimization techniques introduces possible reliability issues, which is a pillar for DNNs to be widely used in safety-critical applications, e.g., autonomous driving. Moreover, scaling technology nodes have the associated risk of multiple faults happening at the same time, a possibility not addressed in state-of-the-art resiliency analyses. Towards better reliability analysis for DNNs, we present enpheeph, a Fault Injection Framework for Spiking and Compressed DNNs. The enpheeph framework enables optimized execution on specialized hardware devices, e.g., GPUs, while providing complete customizability to investigate different fault models, emulating various reliability constraints and use-cases. Hence, the faults can be executed on SNNs as well as compressed networks with minimal-to-none modifications to the underlying code, a feat that is not achievable by other state-of-the-art tools. To evaluate our enpheeph framework, we analyze the resiliency of different DNN and SNN models, with different compression techniques. By injecting a random and increasing number of faults, we show that DNNs can show a reduction in accuracy with a fault rate as low as 7 x 10 ^ (-7) faults per parameter, with an accuracy drop higher than 40%. Run-time overhead when executing enpheeph is less than 20% of the baseline execution time when executing 100 000 faults concurrently, at least 10x lower than state-of-the-art frameworks, making enpheeph future-proof for complex fault injection scenarios. We release enpheeph at https://github.com/Alexei95/enpheeph.
Abstract（参考訳）: ディープニューラルネットワーク(dnns)の研究は、実世界のデプロイメントのパフォーマンスと正確性の向上に重点を置いており、スパイクニューラルネットワーク(snns)や圧縮ネットワークの量子化やプルーニングといった最適化技術といった新しいモデルを生み出している。しかし、これらの革新的なモデルと最適化手法の展開は、DNNが自律運転など安全クリティカルなアプリケーションで広く使われるための柱となる、信頼性の問題を引き起こす。さらに、スケーリング技術ノードは複数の障害を同時に発生させるリスクがあり、最先端のレジリエンス分析では対処できない可能性がある。 DNNの信頼性向上を目的として,スパイクおよび圧縮DNNのためのフォールトインジェクションフレームワークであるenpheephを提案する。 enpheephフレームワークは、gpuなどの特殊なハードウェアデバイス上での最適化実行を可能にし、さまざまなフォールトモデルを調査し、さまざまな信頼性制約やユースケースをエミュレートする完全なカスタマイズ性を提供する。したがって、障害はsnsだけでなく、基盤となるコードに最小限の変更を加えることで、圧縮されたネットワークでも実行することができる。そこで我々は,異なる圧縮手法を用いて,異なるDNNモデルとSNNモデルのレジリエンスを分析する。ランダムな断層数の増加により,DNNはパラメータあたり7 x 10 ^ (-7) の断層率で精度を低下させることができ,精度は40%以上低下することを示した。並列に100万の障害を実行する場合、enpheephの実行時の実行時のオーバーヘッドは、ベースラインの実行時間の20%未満であり、最先端のフレームワークよりも少なくとも10倍低い。 enpheephはhttps://github.com/alexei95/enpheephでリリースします。

関連論文リスト

Special Session: Approximation and Fault Resiliency of DNN Accelerators [0.9126382223122612]
本稿では,Deep Neural Networkアクセラレータの近似とフォールトレジリエンスについて検討する。本稿では,DNNに障害注入を行わずにハードウェアのエラーをエミュレートするために近似(AxC)演算回路を提案する。また,ネットワーク上での断層伝播とマスキングによる耐故障性の微粒化解析も提案する。
論文参考訳（メタデータ） (2023-05-31T19:27:45Z)
CRAFT: Criticality-Aware Fault-Tolerance Enhancement Techniques for Emerging Memories-Based Deep Neural Networks [7.566423455230909]
ディープニューラルネットワーク(DNN)は、コンピュータビジョンと自然言語処理アプリケーションにとって最も効果的なプログラミングパラダイムとして登場した。本稿では,NVMベースのDNNの信頼性を高めるために,CRAFT(Criticality-Aware Fault-Tolerance Enhancement Techniques)を提案する。
論文参考訳（メタデータ） (2023-02-08T03:39:11Z)
Fault-Aware Design and Training to Enhance DNNs Reliability with Zero-Overhead [67.87678914831477]
ディープニューラルネットワーク(DNN)は、幅広い技術的進歩を可能にする。最近の知見は、過渡的なハードウェア欠陥がモデル予測を劇的に損なう可能性があることを示唆している。本研究では,トレーニングとモデル設計の両面で信頼性の問題に取り組むことを提案する。
論文参考訳（メタデータ） (2022-05-28T13:09:30Z)
Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。非分化性のため、SNNを効率的に訓練することは困難である。本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
論文参考訳（メタデータ） (2022-05-01T12:44:49Z)
Automatic Mapping of the Best-Suited DNN Pruning Schemes for Real-Time Mobile Acceleration [71.80326738527734]
本稿では,汎用的,きめ細かな構造化プルーニング手法とコンパイラの最適化を提案する。提案手法は,より微細な構造化プルーニング手法とともに,最先端のDNN最適化フレームワークよりも優れていることを示す。
論文参考訳（メタデータ） (2021-11-22T23:53:14Z)
FAT: Training Neural Networks for Reliable Inference Under Hardware Faults [3.191587417198382]
本稿では、ニューラルネットワーク(NN)トレーニング中のエラーモデリングを含む、フォールト・アウェア・トレーニング(FAT)と呼ばれる新しい手法を提案し、デバイス上の特定のフォールトモデルに耐性を持たせる。 FATはCIFAR10、GTSRB、SVHN、ImageNetなど多くの分類タスクに対して検証されている。
論文参考訳（メタデータ） (2020-11-11T16:09:39Z)
DeepDyve: Dynamic Verification for Deep Neural Networks [16.20238078882485]
DeepDyveでは、トレーニング済みのニューラルネットワークを使用している。我々は,DeepDyveにおけるリスク/オーバヘッドトレードオフの最適化を実現するために,効率的かつ効率的なアーキテクチャとタスク探索手法を開発した。
論文参考訳（メタデータ） (2020-09-21T07:58:18Z)
GraN: An Efficient Gradient-Norm Based Detector for Adversarial and Misclassified Examples [77.99182201815763]
ディープニューラルネットワーク(DNN)は、敵対的な例やその他のデータ摂動に対して脆弱である。 GraNは、どのDNNにも容易に適応できる時間およびパラメータ効率の手法である。 GraNは多くの問題セットで最先端のパフォーマンスを達成する。
論文参考訳（メタデータ） (2020-04-20T10:09:27Z)
FTT-NAS: Discovering Fault-Tolerant Convolutional Neural Architecture [19.91033746155525]
我々は,近年のデバイスにおいて,様々な障害に頼っている畳み込みニューラルネットワーク(CNN)アーキテクチャを自動検出するために,FT-NAS(Fault-Tolerant Neural Architecture Search)を提案する。 CIFAR-10の実験では、発見されたアーキテクチャは他の手動設計のベースラインアーキテクチャよりも大幅に優れていた。
論文参考訳（メタデータ） (2020-03-20T17:17:14Z)
Widening and Squeezing: Towards Accurate and Efficient QNNs [125.172220129257]
量子化ニューラルネットワーク(QNN)は、非常に安価な計算とストレージオーバーヘッドのため、業界にとって非常に魅力的なものだが、その性能は、完全な精度パラメータを持つネットワークよりも悪い。既存の手法の多くは、より効果的なトレーニング技術を利用して、特にバイナリニューラルネットワークの性能を高めることを目的としている。本稿では,従来の完全精度ネットワークで高次元量子化機能に特徴を投影することで,この問題に対処する。
論文参考訳（メタデータ） (2020-02-03T04:11:13Z)
PatDNN: Achieving Real-Time DNN Execution on Mobile Devices with Pattern-based Weight Pruning [57.20262984116752]
粗粒構造の内部に新しい次元、きめ細かなプルーニングパターンを導入し、これまで知られていなかった設計空間の点を明らかにした。きめ細かいプルーニングパターンによって高い精度が実現されているため、コンパイラを使ってハードウェア効率を向上し、保証することがユニークな洞察である。
論文参考訳（メタデータ） (2020-01-01T04:52:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。