論文の概要: ISimDL: Importance Sampling-Driven Acceleration of Fault Injection Simulations for Evaluating the Robustness of Deep Learning

• arxiv url: http://arxiv.org/abs/2303.08035v1
• Date: Tue, 14 Mar 2023 16:15:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-15 14:17:06.933289
• Title: ISimDL: Importance Sampling-Driven Acceleration of Fault Injection Simulations for Evaluating the Robustness of Deep Learning
• Title（参考訳）: ISimDL: 深層学習のロバスト性評価のための断層注入シミュレーションの重要サンプリング駆動高速化
• Authors: Alessio Colucci, Andreas Steininger, Muhammad Shafique
• Abstract要約: 我々は,重要なサンプリングに基づく障害シナリオを生成するために,ニューロンの感度を利用する新しい手法であるISimDLを提案する。 実験の結果, ランダムな一様サンプリングよりも臨界断層を選択する場合, 重要サンプリングは最大15倍の精度で, 100個未満の故障でその精度に達することがわかった。
• 参考スコア（独自算出の注目度）: 10.757663798809144
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep Learning (DL) systems have proliferated in many applications, requiring specialized hardware accelerators and chips. In the nano-era, devices have become increasingly more susceptible to permanent and transient faults. Therefore, we need an efficient methodology for analyzing the resilience of advanced DL systems against such faults, and understand how the faults in neural accelerator chips manifest as errors at the DL application level, where faults can lead to undetectable and unrecoverable errors. Using fault injection, we can perform resilience investigations of the DL system by modifying neuron weights and outputs at the software-level, as if the hardware had been affected by a transient fault. Existing fault models reduce the search space, allowing faster analysis, but requiring a-priori knowledge on the model, and not allowing further analysis of the filtered-out search space. Therefore, we propose ISimDL, a novel methodology that employs neuron sensitivity to generate importance sampling-based fault-scenarios. Without any a-priori knowledge of the model-under-test, ISimDL provides an equivalent reduction of the search space as existing works, while allowing long simulations to cover all the possible faults, improving on existing model requirements. Our experiments show that the importance sampling provides up to 15x higher precision in selecting critical faults than the random uniform sampling, reaching such precision in less than 100 faults. Additionally, we showcase another practical use-case for importance sampling for reliable DNN design, namely Fault Aware Training (FAT). By using ISimDL to select the faults leading to errors, we can insert the faults during the DNN training process to harden the DNN against such faults. Using importance sampling in FAT reduces the overhead required for finding faults that lead to a predetermined drop in accuracy by more than 12x.
• Abstract（参考訳）: ディープラーニング(DL)システムは多くのアプリケーションで普及しており、特別なハードウェアアクセラレータとチップを必要とする。 ナノ時代には、デバイスは永久的および一時的な障害の影響を受けやすくなってきた。 したがって,このような障害に対して高度なDLシステムのレジリエンスを解析し,その欠陥がDLアプリケーションレベルでエラーとして現れるかを理解するための効率的な手法が必要である。 故障注入を用いて, ソフトウェアレベルでのニューロンの重みや出力を, 過渡的故障の影響を受けていたかのように変更することにより, DLシステムのレジリエンス調査を行うことができる。 既存のフォールトモデルでは探索空間を縮小し、より高速な解析が可能だが、モデルに関する予備知識が必要であり、フィルタリングされた探索空間のさらなる解析はできない。 そこで本研究では,ニューロンの感度を利用した新しい手法であるisimdlを提案する。 モデルアンダーテストに関するアプリオリ知識がなければ、ISimDLは既存の作業と同等の検索スペースを削減し、長いシミュレーションで可能なすべての障害をカバーし、既存のモデル要求を改善することができる。 実験の結果, ランダムな一様サンプリングよりも臨界断層を選択する場合, 重要サンプリングは最大15倍の精度で, 100個未満の故障でその精度に達することがわかった。 さらに,信頼性の高いDNN設計,すなわちフォールト・アウェア・トレーニング(FAT)において,重要なサンプリングを行うための実用的ユースケースを紹介した。 ISimDLを使用してエラーにつながる障害を選択することで、DNNトレーニングプロセス中に障害を挿入して、そのような障害に対してDNNを強化できます。 FATにおける重要サンプリングを使用することで、所定の精度の低下につながる障害を見つけるのに必要なオーバーヘッドを12倍以上削減できる。

関連論文リスト

• Analyzing Adversarial Inputs in Deep Reinforcement Learning [53.3760591018817]
  本稿では, 正当性検証のレンズを用いて, 逆入力の特性を包括的に解析する。 このような摂動に対する感受性に基づいてモデルを分類するために、新しい計量である逆数率(Adversarial Rate)を導入する。 本分析は, 直交入力が所定のDRLシステムの安全性にどのように影響するかを実証的に示す。
  論文  参考訳（メタデータ） (2024-02-07T21:58:40Z)
• Causal Disentanglement Hidden Markov Model for Fault Diagnosis [55.90917958154425]
  本研究では, 軸受破壊機構の因果性を学ぶために, 因果解離隠れマルコフモデル (CDHM) を提案する。 具体的には、時系列データをフル活用し、振動信号を断層関連要因と断層関連要因に段階的に分解する。 アプリケーションの範囲を広げるために、学習された非絡み合った表現を他の作業環境に転送するために、教師なしのドメイン適応を採用する。
  論文  参考訳（メタデータ） (2023-08-06T05:58:45Z)
• Fast and Accurate Error Simulation for CNNs against Soft Errors [64.54260986994163]
  本稿では,誤りシミュレーションエンジンを用いて,コナールニューラルネットワーク(CNN)の信頼性解析のためのフレームワークを提案する。 これらの誤差モデルは、故障によって誘導されるCNN演算子の出力の破損パターンに基づいて定義される。 提案手法は,SASSIFIの欠陥効果の約99%の精度と,限定的なエラーモデルのみを実装した44倍から63倍までのスピードアップを実現する。
  論文  参考訳（メタデータ） (2022-06-04T19:45:02Z)
• Truncated tensor Schatten p-norm based approach for spatiotemporal traffic data imputation with complicated missing patterns [77.34726150561087]
  本研究は, モード駆動繊維による3症例の欠失を含む, 4症例の欠失パターンについて紹介する。 本モデルでは, 目的関数の非性にもかかわらず, 乗算器の交互データ演算法を統合することにより, 最適解を導出する。
  論文  参考訳（メタデータ） (2022-05-19T08:37:56Z)
• Adaptive Anomaly Detection for Internet of Things in Hierarchical Edge Computing: A Contextual-Bandit Approach [81.5261621619557]
  階層エッジコンピューティング(HEC)を用いた適応型異常検出手法を提案する。 まず,複雑性を増した複数のDNNモデルを構築し,それぞれを対応するHEC層に関連付ける。 そこで我々は、文脈帯域問題として定式化され、強化学習ポリシーネットワークを用いて解決される適応モデル選択スキームを設計する。
  論文  参考訳（メタデータ） (2021-08-09T08:45:47Z)
• FAT: Training Neural Networks for Reliable Inference Under Hardware Faults [3.191587417198382]
  本稿では、ニューラルネットワーク(NN)トレーニング中のエラーモデリングを含む、フォールト・アウェア・トレーニング(FAT)と呼ばれる新しい手法を提案し、デバイス上の特定のフォールトモデルに耐性を持たせる。 FATはCIFAR10、GTSRB、SVHN、ImageNetなど多くの分類タスクに対して検証されている。
  論文  参考訳（メタデータ） (2020-11-11T16:09:39Z)
• Few-Shot Bearing Fault Diagnosis Based on Model-Agnostic Meta-Learning [3.8015092217142223]
  モデルに依存しないメタラーニング(MAML)に基づく断層診断のための数発の学習フレームワークを提案する。 ケーススタディでは、提案したフレームワークは、シームズネットワークベースのベンチマーク研究よりも25%高い精度で全体の精度を達成している。
  論文  参考訳（メタデータ） (2020-07-25T04:03:18Z)
• High-level Modeling of Manufacturing Faults in Deep Neural Network Accelerators [2.6258269516366557]
  Googleのユニットプロセッシング(TPU)は、ニューラルネットワークアクセラレータで、ニューラルネットワークのクラック内での計算にsystolic配列ベースの行列乗算ハードウェアを使用する。 行列乗算ユニットの任意の状態要素における欠陥は、これらの推論ネットワークにおいて予期せぬ誤りを引き起こす可能性がある。 離散時間マルコフ連鎖(DTMC)形式を用いたTPUにおける永久断層の定式化とその伝播モデルを提案する。
  論文  参考訳（メタデータ） (2020-06-05T18:11:14Z)
• A Survey on Impact of Transient Faults on BNN Inference Accelerators [0.9667631210393929]
  ビッグデータブームにより、非常に大きなデータセットへのアクセスと分析が容易になります。 ディープラーニングモデルは、計算能力と極めて高いメモリアクセスを必要とする。 本研究では,ソフトエラーが独自の深層学習アルゴリズムに与える影響が画像の劇的な誤分類を引き起こす可能性を実証した。
  論文  参考訳（メタデータ） (2020-04-10T16:15:55Z)
• SUOD: Accelerating Large-Scale Unsupervised Heterogeneous Outlier Detection [63.253850875265115]
  外乱検出(OD)は、一般的なサンプルから異常物体を識別するための機械学習(ML)タスクである。 そこで我々は,SUODと呼ばれるモジュール型加速度システムを提案する。
  論文  参考訳（メタデータ） (2020-03-11T00:22:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。