論文の概要: Fault-Aware Design and Training to Enhance DNNs Reliability with Zero-Overhead

• arxiv url: http://arxiv.org/abs/2205.14420v1
• Date: Sat, 28 May 2022 13:09:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-31 14:37:31.389559
• Title: Fault-Aware Design and Training to Enhance DNNs Reliability with Zero-Overhead
• Title（参考訳）: ゼロオーバーヘッドによるDNNの信頼性向上のためのフォールト・アウェア設計とトレーニング
• Authors: Niccol\`o Cavagnero, Fernando Dos Santos, Marco Ciccone, Giuseppe Averta, Tatiana Tommasi, Paolo Rech
• Abstract要約: ディープニューラルネットワーク(DNN)は、幅広い技術的進歩を可能にする。 最近の知見は、過渡的なハードウェア欠陥がモデル予測を劇的に損なう可能性があることを示唆している。 本研究では,トレーニングとモデル設計の両面で信頼性の問題に取り組むことを提案する。
• 参考スコア（独自算出の注目度）: 67.87678914831477
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep Neural Networks (DNNs) enable a wide series of technological advancements, ranging from clinical imaging, to predictive industrial maintenance and autonomous driving. However, recent findings indicate that transient hardware faults may corrupt the models prediction dramatically. For instance, the radiation-induced misprediction probability can be so high to impede a safe deployment of DNNs models at scale, urging the need for efficient and effective hardening solutions. In this work, we propose to tackle the reliability issue both at training and model design time. First, we show that vanilla models are highly affected by transient faults, that can induce a performances drop up to 37%. Hence, we provide three zero-overhead solutions, based on DNN re-design and re-train, that can improve DNNs reliability to transient faults up to one order of magnitude. We complement our work with extensive ablation studies to quantify the gain in performances of each hardening component.
• Abstract（参考訳）: ディープニューラルネットワーク(DNN)は、臨床画像から予測産業保守や自動運転まで、幅広い技術的進歩を可能にする。 しかし,近年の研究では,過渡的ハードウェア故障がモデル予測を劇的に悪化させる可能性が示唆されている。 例えば、放射線によって引き起こされる誤った予測確率は、大規模にdnnsモデルの安全な展開を妨げるほど高く、効率的で効果的なハードニングソリューションの必要性を示唆する。 本研究では,トレーニングとモデル設計の両面で信頼性の問題に取り組むことを提案する。 まず,バニラモデルが過渡的障害の影響を強く受けていることを示し,性能が最大37%低下することを示した。 したがって、DNNの再設計と再訓練に基づく3つのゼロオーバーヘッドソリューションを提供し、DNNの信頼性を1桁まで向上させることができる。 我々は,各硬化成分の性能向上を定量化するために,広範囲なアブレーション研究を行い,その成果を補完する。

関連論文リスト

• Data-Driven Lipschitz Continuity: A Cost-Effective Approach to Improve Adversarial Robustness [47.9744734181236]
  我々は、ディープニューラルネットワーク(DNN)の敵攻撃に対する堅牢性を証明するために、リプシッツ連続性の概念を探求する。 本稿では,入力領域を制約範囲に再マップし,リプシッツ定数を低減し,ロバスト性を高める新しいアルゴリズムを提案する。 本手法は,ロバストベンチリーダーボード上のCIFAR10,CIFAR100,ImageNetデータセットに対して,最も堅牢な精度を実現する。
  論文  参考訳（メタデータ） (2024-06-28T03:10:36Z)
• Special Session: Approximation and Fault Resiliency of DNN Accelerators [0.9126382223122612]
  本稿では,Deep Neural Networkアクセラレータの近似とフォールトレジリエンスについて検討する。 本稿では,DNNに障害注入を行わずにハードウェアのエラーをエミュレートするために近似(AxC)演算回路を提案する。 また,ネットワーク上での断層伝播とマスキングによる耐故障性の微粒化解析も提案する。
  論文  参考訳（メタデータ） (2023-05-31T19:27:45Z)
• RescueSNN: Enabling Reliable Executions on Spiking Neural Network Accelerators under Permanent Faults [15.115813664357436]
  RescueSNNはSNNチップの計算エンジンにおける永久欠陥を軽減する新しい手法である。 RescueSNNは、高い故障率で25%未満のスループットの削減を維持しながら、最大80%の精度向上を実現している。
  論文  参考訳（メタデータ） (2023-04-08T15:24:57Z)
• Uncertainty-aware deep learning for digital twin-driven monitoring: Application to fault detection in power lines [0.0]
  ディープニューラルネットワーク(DNN)はしばしば物理ベースのモデルやデータ駆動サロゲートモデルと結合され、低データ状態のシステムの障害検出と健康モニタリングを行う。 これらのモデルは、生成されたデータに伝播するパラメトリック不確実性を示すことができる。 本稿では,これら2つの不確実性源がDNNの性能に与える影響を定量化する。
  論文  参考訳（メタデータ） (2023-03-20T09:27:58Z)
• Linearity Grafting: Relaxed Neuron Pruning Helps Certifiable Robustness [172.61581010141978]
  証明可能な堅牢性は、安全クリティカルなシナリオでディープニューラルネットワーク(DNN)を採用する上で望ましい特性である。 線形性の適切なレベルを「グラフト」することで、神経細胞を戦略的に操作する新しいソリューションを提案する。
  論文  参考訳（メタデータ） (2022-06-15T22:42:29Z)
• Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェア上に実装された場合、有望なエネルギー効率のAIモデルである。 非分化性のため、SNNを効率的に訓練することは困難である。 本稿では,ハイパフォーマンスを実現するスパイク表現法(DSR)の差分法を提案する。
  論文  参考訳（メタデータ） (2022-05-01T12:44:49Z)
• Enhanced physics-constrained deep neural networks for modeling vanadium redox flow battery [62.997667081978825]
  本稿では,物理制約付き深部ニューラルネットワーク(PCDNN)による高精度電圧予測手法を提案する。 ePCDNNは、電圧放電曲線のテール領域を含む電荷放電サイクルを通して、電圧応答を正確にキャプチャすることができる。
  論文  参考訳（メタデータ） (2022-03-03T19:56:24Z)
• FitAct: Error Resilient Deep Neural Networks via Fine-Grained Post-Trainable Activation Functions [0.05249805590164901]
  ディープニューラルネットワーク(DNN)は、パーソナルヘルスケアデバイスや自動運転車などの安全クリティカルなシステムにますます導入されている。 本稿では,DNNの微粒化後のアクティベーション機能を実装することで,DNNのエラーレジリエンスを高めるための低コストなアプローチであるFitActを提案する。
  論文  参考訳（メタデータ） (2021-12-27T07:07:50Z)
• GOAT: GPU Outsourcing of Deep Learning Training With Asynchronous Probabilistic Integrity Verification Inside Trusted Execution Environment [0.0]
  Deep Neural Networks(DNN)に基づく機械学習モデルは、自動運転車から新型コロナウイルスの治療発見まで、さまざまなアプリケーションにますます導入されている。 DNNを学習するために必要な計算能力をサポートするために、専用のハードウェアサポートを備えたクラウド環境が重要なインフラストラクチャとして登場した。 これらの課題に対処する様々なアプローチが開発され、信頼できる実行環境(TEE)上に構築されている。
  論文  参考訳（メタデータ） (2020-10-17T20:09:05Z)
• Triple Wins: Boosting Accuracy, Robustness and Efficiency Together by Enabling Input-Adaptive Inference [119.19779637025444]
  深層ネットワークは、(クリーンな自然画像の場合)正確さと(敵対的な摂動画像の場合)頑健さの相違に直面することを最近提案された。 本稿では,入力適応推論に関連するマルチエグジットネットワークについて検討し,モデル精度,ロバスト性,効率の最適化において「スイートポイント」を達成する上での強い期待を示す。
  論文  参考訳（メタデータ） (2020-02-24T00:40:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。