論文の概要: Entropy-Based Modeling for Estimating Soft Errors Impact on Binarized Neural Network Inference

• arxiv url: http://arxiv.org/abs/2004.05089v2
• Date: Tue, 21 Apr 2020 14:01:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-14 20:36:02.055302
• Title: Entropy-Based Modeling for Estimating Soft Errors Impact on Binarized Neural Network Inference
• Title（参考訳）: エントロピーに基づく二元化ニューラルネットワーク推定におけるソフトエラーの影響推定モデル
• Authors: Navid Khoshavi, Saman Sargolzaei, Arman Roohi, Connor Broyles, Yu Bi
• Abstract要約: 本稿では,SEU(Single-event upset)とMBU(Multi-bit upset)の影響を階層間および選択した畳み込みニューラルネットワークの各層で明らかにする比較的正確な統計モデルを提案する。 これらのモデルは、安全クリティカルなアプリケーションで採用する前に、NNトポロジのエラー-レジリエンスのマグニチュードを評価するために使用できる。
• 参考スコア（独自算出の注目度）: 2.249916681499244
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Over past years, the easy accessibility to the large scale datasets has significantly shifted the paradigm for developing highly accurate prediction models that are driven from Neural Network (NN). These models can be potentially impacted by the radiation-induced transient faults that might lead to the gradual downgrade of the long-running expected NN inference accelerator. The crucial observation from our rigorous vulnerability assessment on the NN inference accelerator demonstrates that the weights and activation functions are unevenly susceptible to both single-event upset (SEU) and multi-bit upset (MBU), especially in the first five layers of our selected convolution neural network. In this paper, we present the relatively-accurate statistical models to delineate the impact of both undertaken SEU and MBU across layers and per each layer of the selected NN. These models can be used for evaluating the error-resiliency magnitude of NN topology before adopting them in the safety-critical applications.
• Abstract（参考訳）: 過去数年間、大規模データセットへの容易なアクセシビリティは、ニューラルネットワーク(NN)から駆動される高精度な予測モデルを開発するためのパラダイムを大きく変えてきました。 これらのモデルは、放射線によって引き起こされる過渡断層の影響を受け、長期にわたって予測されるNN推論加速器の徐々に低下する可能性がある。 NN推論アクセラレーターにおける厳密な脆弱性評価から、重みとアクティベーション関数が、特に選択した畳み込みニューラルネットワークの最初の5層において、SEU(Single-event upset)とMBU(Multi-bit upset)の両方に不均一に影響していることが示された。 本稿では,SEUとMBUの両方が層間および選択したNNの各層に対して与える影響について,比較的正確な統計モデルを提案する。 これらのモデルは、安全クリティカルなアプリケーションで採用する前に、NNトポロジのエラー-レジリエンスのマグニチュードを評価するために使用できる。

関連論文リスト

• Hybridization of Persistent Homology with Neural Networks for Time-Series Prediction: A Case Study in Wave Height [0.0]
  本稿では,ニューラルネットワークモデルの予測性能を向上させる機能工学手法を提案する。 具体的には、計算トポロジ手法を利用して、入力データから貴重なトポロジ的特徴を導出する。 タイムアヘッド予測では、FNN、RNN、LSTM、GRUモデルにおいて、R2$スコアの強化が重要だった。
  論文  参考訳（メタデータ） (2024-09-03T01:26:21Z)
• Bayesian Entropy Neural Networks for Physics-Aware Prediction [14.705526856205454]
  本稿では,ベイズニューラルネットワーク(BNN)の予測に制約を加えるためのフレームワークであるBENNを紹介する。 ベンは予測値だけでなく、その微分や分散を制約し、より堅牢で信頼性の高いモデル出力を保証できる。 その結果、従来のBNNよりも大幅に改善され、現代の制約されたディープラーニング手法と比較して競争性能が向上した。
  論文  参考訳（メタデータ） (2024-07-01T07:00:44Z)
• DFA-GNN: Forward Learning of Graph Neural Networks by Direct Feedback Alignment [57.62885438406724]
  グラフニューラルネットワークは、様々なアプリケーションにまたがる強力なパフォーマンスで認識されている。 BPには、その生物学的妥当性に挑戦する制限があり、グラフベースのタスクのためのトレーニングニューラルネットワークの効率、スケーラビリティ、並列性に影響を与える。 半教師付き学習のケーススタディを用いて,GNNに適した新しい前方学習フレームワークであるDFA-GNNを提案する。
  論文  参考訳（メタデータ） (2024-06-04T07:24:51Z)
• Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
  ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。 我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。 我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
  論文  参考訳（メタデータ） (2023-10-02T03:25:32Z)
• Amortised Inference in Bayesian Neural Networks [0.0]
  Amortized Pseudo-Observation Variational Inference Bayesian Neural Network (APOVI-BNN)を紹介する。 補正された推論は、従来の変分推論によって得られたものと類似または良好な品質であることが示される。 次に、APOVI-BNNをニューラルプロセスファミリーの新たなメンバーと見なす方法について論じる。
  論文  参考訳（メタデータ） (2023-09-06T14:02:33Z)
• Data efficiency and extrapolation trends in neural network interatomic potentials [0.0]
  ニューラルネットワーク間ポテンシャル(NNIP)の一般化にアーキテクチャと最適化がどう影響するかを示す。 NNIPにおけるテストエラーはスケーリング関係に従っており、ノイズに対して堅牢であるが、高精度なシステムではMD安定性を予測できないことを示す。 我々の研究は、多くの共通NNIPの補間性能に対する深い学習の正当性を提供する。
  論文  参考訳（メタデータ） (2023-02-12T00:34:05Z)
• Statistical Modeling of Soft Error Influence on Neural Networks [12.298356981085316]
  我々は,ソフトエラー下でのNNモデルの挙動を解析する一連の統計モデルを開発した。 統計モデルは、ソフトエラーとNNモデルの精度の相関だけでなく、量子化やアーキテクチャなどのNNパラメータがNNの信頼性にどのように影響するかを明らかにしている。
  論文  参考訳（メタデータ） (2022-10-12T02:28:21Z)
• Spatial-Temporal-Fusion BNN: Variational Bayesian Feature Layer [77.78479877473899]
  我々は,BNNを大規模モデルに効率的にスケールするための時空間BNNを設計する。 バニラBNNと比較して,本手法はトレーニング時間とパラメータ数を著しく削減し,BNNのスケールアップに有効である。
  論文  参考訳（メタデータ） (2021-12-12T17:13:14Z)
• On the benefits of robust models in modulation recognition [53.391095789289736]
  畳み込み層を用いたディープニューラルネットワーク(DNN)は、通信における多くのタスクにおいて最先端である。 画像分類のような他の領域では、DNNは敵の摂動に弱いことが示されている。 最新モデルの堅牢性をテストするための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-03-27T19:58:06Z)
• Neural Networks with Recurrent Generative Feedback [61.90658210112138]
  畳み込みニューラルネットワーク(CNN)でこの設計をインスタンス化する 実験では、標準ベンチマーク上の従来のフィードフォワードCNNに対して、CNN-Fは敵のロバスト性を大幅に改善した。
  論文  参考訳（メタデータ） (2020-07-17T19:32:48Z)
• Phase Detection with Neural Networks: Interpreting the Black Box [58.720142291102135]
  ニューラルネットワーク(NN)は通常、予測の背後にある推論に対する洞察を妨げます。 本研究では,1次元拡張スピンレスFermi-Hubbardモデルの位相を半充足で予測するために,NNのブラックボックスをいかに影響関数が解き放つかを示す。
  論文  参考訳（メタデータ） (2020-04-09T17:45:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。