論文の概要: Statistical Modeling of Soft Error Influence on Neural Networks
- arxiv url: http://arxiv.org/abs/2210.05876v1
- Date: Wed, 12 Oct 2022 02:28:21 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-13 12:43:48.453421
- Title: Statistical Modeling of Soft Error Influence on Neural Networks
- Title（参考訳）: ニューラルネットワークに対するソフトエラーの影響の統計的モデル化
- Authors: Haitong Huang, Xinghua Xue, Cheng Liu, Ying Wang, Tao Luo, Long Cheng,
Huawei Li, Xiaowei Li
- Abstract要約: 我々は,ソフトエラー下でのNNモデルの挙動を解析する一連の統計モデルを開発した。
統計モデルは、ソフトエラーとNNモデルの精度の相関だけでなく、量子化やアーキテクチャなどのNNパラメータがNNの信頼性にどのように影響するかを明らかにしている。
- 参考スコア（独自算出の注目度）: 12.298356981085316
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Soft errors in large VLSI circuits pose dramatic influence on computing- and
memory-intensive neural network (NN) processing. Understanding the influence of
soft errors on NNs is critical to protect against soft errors for reliable NN
processing. Prior work mainly rely on fault simulation to analyze the influence
of soft errors on NN processing. They are accurate but usually specific to
limited configurations of errors and NN models due to the prohibitively slow
simulation speed especially for large NN models and datasets. With the
observation that the influence of soft errors propagates across a large number
of neurons and accumulates as well, we propose to characterize the soft error
induced data disturbance on each neuron with normal distribution model
according to central limit theorem and develop a series of statistical models
to analyze the behavior of NN models under soft errors in general. The
statistical models reveal not only the correlation between soft errors and NN
model accuracy, but also how NN parameters such as quantization and
architecture affect the reliability of NNs. The proposed models are compared
with fault simulation and verified comprehensively. In addition, we observe
that the statistical models that characterize the soft error influence can also
be utilized to predict fault simulation results in many cases and we explore
the use of the proposed statistical models to accelerate fault simulations of
NNs. According to our experiments, the accelerated fault simulation shows
almost two orders of magnitude speedup with negligible simulation accuracy loss
over the baseline fault simulations.
- Abstract（参考訳）: 大きなVLSI回路のソフトエラーは、コンピュータとメモリ集約ニューラルネットワーク(NN)処理に劇的な影響を及ぼす。
NNに対するソフトエラーの影響を理解することは、信頼できるNN処理のためにソフトエラーから保護することが重要である。
先行研究は主に、ソフトエラーがnn処理に与える影響を分析するために、故障シミュレーションに依存している。
これらは正確であるが、特に大規模なnnモデルやデータセットのシミュレーション速度が極めて遅いため、エラーやnnモデルの限られた構成に特有である。
ソフトエラーの影響が多数のニューロンにまたがって伝播し蓄積するのを観察し、中央極限定理に基づく正規分布モデルを用いて各ニューロンのソフトエラー誘発データ乱れを特徴付けるとともに、一般のソフトエラー下でのNNモデルの挙動を解析する一連の統計モデルを開発することを提案する。
統計モデルは、ソフトエラーとNNモデルの精度の相関だけでなく、量子化やアーキテクチャといったNNパラメータがNNの信頼性に与える影響も明らかにしている。
提案モデルと断層シミュレーションを比較し,総合的に検証した。
また,ソフトエラーの影響を特徴付ける統計モデルを用いて,多くの事例において故障シミュレーション結果の予測が可能であり,提案手法を用いてNNの故障シミュレーションを高速化する。
実験結果から,本実験では,ベースライン故障シミュレーションよりも2桁近い速度向上率を示し,シミュレーション精度の損失を無視できることを示した。
関連論文リスト
- Physics-informed neural networks (PINNs) for numerical model error approximation and superresolution [3.4393226199074114]
数値モデル誤差の同時近似と超解像のための物理インフォームドニューラルネットワーク(PINN)を提案する。
PINNは、予測と基底真理の差が小さいxとyの変位場のモデル誤差を効果的に予測する。
この結果から,物理インフォームド・ロス関数の統合により,ニューラルネットワーク(NN)が純粋にデータ駆動型アプローチを超越してモデル誤差を近似できることが示唆された。
論文 参考訳（メタデータ） (2024-11-14T17:03:09Z) - Towards Long-Term predictions of Turbulence using Neural Operators [68.8204255655161]
機械学習を用いて乱流シミュレーションのための低次/サロゲートモデルを開発することを目的としている。
異なるモデル構造が解析され、U-NET構造は標準FNOよりも精度と安定性が良い。
論文 参考訳（メタデータ） (2023-07-25T14:09:53Z) - A critical look at deep neural network for dynamic system modeling [0.0]
本稿では,入力出力データを用いた動的システムのモデリングにおける(深度)ニューラルネットワークの能力に疑問を呈する。
線形時間不変(LTI)力学系の同定には、2つの代表的なニューラルネットワークモデルを比較する。
LTIシステムでは、LSTMとCFNNはノイズのないケースでも一貫したモデルを提供できない。
論文 参考訳（メタデータ） (2023-01-27T09:03:05Z) - Fast and Accurate Error Simulation for CNNs against Soft Errors [64.54260986994163]
本稿では,誤りシミュレーションエンジンを用いて,コナールニューラルネットワーク(CNN)の信頼性解析のためのフレームワークを提案する。
これらの誤差モデルは、故障によって誘導されるCNN演算子の出力の破損パターンに基づいて定義される。
提案手法は,SASSIFIの欠陥効果の約99%の精度と,限定的なエラーモデルのみを実装した44倍から63倍までのスピードアップを実現する。
論文 参考訳（メタデータ） (2022-06-04T19:45:02Z) - Probabilistic model-error assessment of deep learning proxies: an
application to real-time inversion of borehole electromagnetic measurements [0.0]
深部電磁法(EM)測定における深部学習モデルの近似特性と関連するモデル誤差の影響について検討した。
フォワードモデルとしてディープニューラルネットワーク(DNN)を使用することで、数秒で数千のモデル評価を実行できます。
本稿では, モデル誤差を無視しながら, EM測定の逆転に伴う問題を明らかにする数値計算結果を提案する。
論文 参考訳（メタデータ） (2022-05-25T11:44:48Z) - Generalization of Neural Combinatorial Solvers Through the Lens of
Adversarial Robustness [68.97830259849086]
ほとんどのデータセットは単純なサブプロブレムのみをキャプチャし、おそらくは突発的な特徴に悩まされる。
本研究では, 局所的な一般化特性である対向ロバスト性について検討し, 厳密でモデル固有な例と突発的な特徴を明らかにする。
他のアプリケーションとは異なり、摂動モデルは知覚できないという主観的な概念に基づいて設計されているため、摂動モデルは効率的かつ健全である。
驚くべきことに、そのような摂動によって、十分に表現力のあるニューラルソルバは、教師あり学習で共通する正確さと悪質さのトレードオフの限界に悩まされない。
論文 参考訳（メタデータ） (2021-10-21T07:28:11Z) - Characterizing possible failure modes in physics-informed neural
networks [55.83255669840384]
科学機械学習における最近の研究は、いわゆる物理情報ニューラルネットワーク(PINN)モデルを開発した。
既存のPINN方法論は比較的自明な問題に対して優れたモデルを学ぶことができるが、単純なPDEであっても、関連する物理現象を学習するのに失敗する可能性があることを実証する。
これらの障害モードは,NNアーキテクチャの表現力の欠如によるものではなく,PINNのセットアップによって損失状況の最適化が極めて困難であることを示す。
論文 参考訳（メタデータ） (2021-09-02T16:06:45Z) - On the benefits of robust models in modulation recognition [53.391095789289736]
畳み込み層を用いたディープニューラルネットワーク(DNN)は、通信における多くのタスクにおいて最先端である。
画像分類のような他の領域では、DNNは敵の摂動に弱いことが示されている。
最新モデルの堅牢性をテストするための新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2021-03-27T19:58:06Z) - Statistical model-based evaluation of neural networks [74.10854783437351]
ニューラルネットワーク(NN)の評価のための実験装置を開発する。
このセットアップは、NNs vis-a-vis minimum-mean-square-error (MMSE)パフォーマンス境界のベンチマークに役立つ。
これにより、トレーニングデータサイズ、データ次元、データ幾何学、ノイズ、トレーニング条件とテスト条件のミスマッチの影響をテストできます。
論文 参考訳（メタデータ） (2020-11-18T00:33:24Z) - Entropy-Based Modeling for Estimating Soft Errors Impact on Binarized
Neural Network Inference [2.249916681499244]
本稿では,SEU(Single-event upset)とMBU(Multi-bit upset)の影響を階層間および選択した畳み込みニューラルネットワークの各層で明らかにする比較的正確な統計モデルを提案する。
これらのモデルは、安全クリティカルなアプリケーションで採用する前に、NNトポロジのエラー-レジリエンスのマグニチュードを評価するために使用できる。
論文 参考訳（メタデータ） (2020-04-10T16:10:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。