論文の概要: Entropy-Based Modeling for Estimating Soft Errors Impact on Binarized
Neural Network Inference
- arxiv url: http://arxiv.org/abs/2004.05089v2
- Date: Tue, 21 Apr 2020 14:01:53 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-14 20:36:02.055302
- Title: Entropy-Based Modeling for Estimating Soft Errors Impact on Binarized
Neural Network Inference
- Title(参考訳): エントロピーに基づく二元化ニューラルネットワーク推定におけるソフトエラーの影響推定モデル
- Authors: Navid Khoshavi, Saman Sargolzaei, Arman Roohi, Connor Broyles, Yu Bi
- Abstract要約: 本稿では,SEU(Single-event upset)とMBU(Multi-bit upset)の影響を階層間および選択した畳み込みニューラルネットワークの各層で明らかにする比較的正確な統計モデルを提案する。
これらのモデルは、安全クリティカルなアプリケーションで採用する前に、NNトポロジのエラー-レジリエンスのマグニチュードを評価するために使用できる。
- 参考スコア(独自算出の注目度): 2.249916681499244
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Over past years, the easy accessibility to the large scale datasets has
significantly shifted the paradigm for developing highly accurate prediction
models that are driven from Neural Network (NN). These models can be
potentially impacted by the radiation-induced transient faults that might lead
to the gradual downgrade of the long-running expected NN inference accelerator.
The crucial observation from our rigorous vulnerability assessment on the NN
inference accelerator demonstrates that the weights and activation functions
are unevenly susceptible to both single-event upset (SEU) and multi-bit upset
(MBU), especially in the first five layers of our selected convolution neural
network. In this paper, we present the relatively-accurate statistical models
to delineate the impact of both undertaken SEU and MBU across layers and per
each layer of the selected NN. These models can be used for evaluating the
error-resiliency magnitude of NN topology before adopting them in the
safety-critical applications.
- Abstract(参考訳): 過去数年間、大規模データセットへの容易なアクセシビリティは、ニューラルネットワーク(NN)から駆動される高精度な予測モデルを開発するためのパラダイムを大きく変えてきました。
これらのモデルは、放射線によって引き起こされる過渡断層の影響を受け、長期にわたって予測されるNN推論加速器の徐々に低下する可能性がある。
NN推論アクセラレーターにおける厳密な脆弱性評価から、重みとアクティベーション関数が、特に選択した畳み込みニューラルネットワークの最初の5層において、SEU(Single-event upset)とMBU(Multi-bit upset)の両方に不均一に影響していることが示された。
本稿では,SEUとMBUの両方が層間および選択したNNの各層に対して与える影響について,比較的正確な統計モデルを提案する。
これらのモデルは、安全クリティカルなアプリケーションで採用する前に、NNトポロジのエラー-レジリエンスのマグニチュードを評価するために使用できる。
関連論文リスト
- Deep Neural Networks Tend To Extrapolate Predictably [56.04573160453392]
ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。
我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。
我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
論文 参考訳(メタデータ) (2023-10-02T03:25:32Z) - Amortised Inference in Bayesian Neural Networks [0.0]
Amortized Pseudo-Observation Variational Inference Bayesian Neural Network (APOVI-BNN)を紹介する。
補正された推論は、従来の変分推論によって得られたものと類似または良好な品質であることが示される。
次に、APOVI-BNNをニューラルプロセスファミリーの新たなメンバーと見なす方法について論じる。
論文 参考訳(メタデータ) (2023-09-06T14:02:33Z) - Predicting Resilience with Neural Networks [1.4425878137951238]
レジリエンスエンジニアリングは、システムが破壊的な出来事から生き残り、回復する能力を研究する。
本稿では,システム性能のモデル化と予測のための3つの代替ニューラルネットワーク(NN)アプローチを提案する。
論文 参考訳(メタデータ) (2023-08-11T17:29:49Z) - A New PHO-rmula for Improved Performance of Semi-Structured Networks [0.0]
本研究では,SSNにおけるモデルコンポーネントのコントリビューションを適切に識別する手法が,最適ネットワーク推定に繋がることを示す。
モデルコンポーネントの識別性を保証し,予測品質を向上する非侵襲的ポストホック化(PHO)を提案する。
我々の理論的な知見は、数値実験、ベンチマーク比較、およびCOVID-19感染症に対する現実の応用によって裏付けられている。
論文 参考訳(メタデータ) (2023-06-01T10:23:28Z) - Information Bottleneck Analysis of Deep Neural Networks via Lossy
Compression [55.41644538483948]
Information Bottleneck(IB)原則は、ディープニューラルネットワーク(DNN)のトレーニングプロセスを分析するための情報理論フレームワークを提供する。
本稿では,一般NNのICB解析のための包括的フレームワークを提案する。
論文 参考訳(メタデータ) (2023-05-13T21:44:32Z) - Data efficiency and extrapolation trends in neural network interatomic
potentials [0.0]
ニューラルネットワーク間ポテンシャル(NNIP)の一般化にアーキテクチャと最適化がどう影響するかを示す。
NNIPにおけるテストエラーはスケーリング関係に従っており、ノイズに対して堅牢であるが、高精度なシステムではMD安定性を予測できないことを示す。
我々の研究は、多くの共通NNIPの補間性能に対する深い学習の正当性を提供する。
論文 参考訳(メタデータ) (2023-02-12T00:34:05Z) - Statistical Modeling of Soft Error Influence on Neural Networks [12.298356981085316]
我々は,ソフトエラー下でのNNモデルの挙動を解析する一連の統計モデルを開発した。
統計モデルは、ソフトエラーとNNモデルの精度の相関だけでなく、量子化やアーキテクチャなどのNNパラメータがNNの信頼性にどのように影響するかを明らかにしている。
論文 参考訳(メタデータ) (2022-10-12T02:28:21Z) - Spatial-Temporal-Fusion BNN: Variational Bayesian Feature Layer [77.78479877473899]
我々は,BNNを大規模モデルに効率的にスケールするための時空間BNNを設計する。
バニラBNNと比較して,本手法はトレーニング時間とパラメータ数を著しく削減し,BNNのスケールアップに有効である。
論文 参考訳(メタデータ) (2021-12-12T17:13:14Z) - On the benefits of robust models in modulation recognition [53.391095789289736]
畳み込み層を用いたディープニューラルネットワーク(DNN)は、通信における多くのタスクにおいて最先端である。
画像分類のような他の領域では、DNNは敵の摂動に弱いことが示されている。
最新モデルの堅牢性をテストするための新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2021-03-27T19:58:06Z) - Neural Networks with Recurrent Generative Feedback [61.90658210112138]
畳み込みニューラルネットワーク(CNN)でこの設計をインスタンス化する
実験では、標準ベンチマーク上の従来のフィードフォワードCNNに対して、CNN-Fは敵のロバスト性を大幅に改善した。
論文 参考訳(メタデータ) (2020-07-17T19:32:48Z) - Phase Detection with Neural Networks: Interpreting the Black Box [58.720142291102135]
ニューラルネットワーク(NN)は通常、予測の背後にある推論に対する洞察を妨げます。
本研究では,1次元拡張スピンレスFermi-Hubbardモデルの位相を半充足で予測するために,NNのブラックボックスをいかに影響関数が解き放つかを示す。
論文 参考訳(メタデータ) (2020-04-09T17:45:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。