論文の概要: Testing Spintronics Implemented Monte Carlo Dropout-Based Bayesian Neural Networks

• arxiv url: http://arxiv.org/abs/2401.04744v1
• Date: Tue, 9 Jan 2024 09:42:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-11 16:18:23.969273
• Title: Testing Spintronics Implemented Monte Carlo Dropout-Based Bayesian Neural Networks
• Title（参考訳）: モンテカルロドロップアウトに基づくベイズニューラルネットワークによるスピントロニクスの試験
• Authors: Soyed Tuhin Ahmed, Michael Hefenbrock, Guillaume Prenat, Lorena Anghel, Mehdi B. Tahoori
• Abstract要約: ニューラルネットワーク(BayNN)は本質的に予測の不確実性を推定し、情報的な意思決定を容易にする。 ドロップアウトベースのBayNNは、資源制約があるが高性能な安全クリティカルなアプリケーションのために、スピントロニクスベースの計算メモリアーキテクチャで実装されている。 スピントロニクスをベースとしたDropoutモジュールの非理想性をモデル化し,不確実性評価と精度への影響を解析した。
• 参考スコア（独自算出の注目度）: 0.7537220883022466
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Bayesian Neural Networks (BayNNs) can inherently estimate predictive uncertainty, facilitating informed decision-making. Dropout-based BayNNs are increasingly implemented in spintronics-based computation-in-memory architectures for resource-constrained yet high-performance safety-critical applications. Although uncertainty estimation is important, the reliability of Dropout generation and BayNN computation is equally important for target applications but is overlooked in existing works. However, testing BayNNs is significantly more challenging compared to conventional NNs, due to their stochastic nature. In this paper, we present for the first time the model of the non-idealities of the spintronics-based Dropout module and analyze their impact on uncertainty estimates and accuracy. Furthermore, we propose a testing framework based on repeatability ranking for Dropout-based BayNN with up to $100\%$ fault coverage while using only $0.2\%$ of training data as test vectors.
• Abstract（参考訳）: ベイズニューラルネットワーク(BayNN)は本質的に予測の不確実性を推定し、情報的意思決定を容易にする。 ドロップアウトベースのBayNNは、資源制約があるが高性能な安全クリティカルなアプリケーションのために、スピントロニクスベースの計算メモリアーキテクチャで実装されている。 不確実性の推定は重要であるが、Dropout生成とBayNN計算の信頼性はターゲットアプリケーションには等しく重要であるが、既存の作業では見落とされている。 しかし、BayNNのテストは、その確率的な性質のため、従来のNNよりもはるかに難しい。 本稿では,スピントロニクス系ドロップアウトモジュールの非理想性モデルが初めて提示し,不確実性推定と精度への影響を分析する。 さらに,テストベクトルとして$0.2\%$のトレーニングデータを使用しながら,最大$100\%$フォールトカバレッジを持つドロップアウトベースのbaynnの繰り返し可能性ランキングに基づくテストフレームワークを提案する。

関連論文リスト

• Scale-Dropout: Estimating Uncertainty in Deep Neural Networks Using Stochastic Scale [0.7025445595542577]
  ニューラルネットワーク(NN)の不確実性推定は、特に安全クリティカルなアプリケーションにおいて、予測の信頼性と信頼性を向上させる上で不可欠である。 Dropoutを近似とするBayNNは、不確実性に対する体系的なアプローチを提供するが、本質的には、電力、メモリ、定量化の点で高いハードウェアオーバーヘッドに悩まされている。 提案するBayNNに対して,スピントロニクスメモリベースのCIMアーキテクチャを導入し,最先端技術と比較して100倍以上の省エネを実現した。
  論文  参考訳（メタデータ） (2023-11-27T13:41:20Z)
• Uncertainty Quantification in Multivariable Regression for Material Property Prediction with Bayesian Neural Networks [37.69303106863453]
  物理インフォームドBNNにおける不確実性定量化(UQ)のアプローチを提案する。 本稿では, 鋼のクリープ破断寿命を予測するためのケーススタディを提案する。 クリープ寿命予測の最も有望なフレームワークは、マルコフ・チェイン・モンテカルロによるネットワークパラメータの後方分布の近似に基づくBNNである。
  論文  参考訳（メタデータ） (2023-11-04T19:40:16Z)
• Random-Set Neural Networks (RS-NN) [4.549947259731147]
  分類のための新しいランダムセットニューラルネットワーク(RS-NN)を提案する。 RS-NNは、一組のクラス上の確率ベクトルよりも信念関数を予測する。 限られたトレーニングセットによって、機械学習で引き起こされる「緊急」不確実性を符号化する。
  論文  参考訳（メタデータ） (2023-07-11T20:00:35Z)
• Spatial-SpinDrop: Spatial Dropout-based Binary Bayesian Neural Network with Spintronics Implementation [1.3603499630771996]
  本稿では,スピントロニクスデバイスを備えた空間降下型BayNNであるMC-SpatialDropoutを紹介する。 ネットワーク層当たりのドロップアウトモジュールの数は、9倍の9.11倍の9.11倍の9.11倍のエネルギー消費率で減少するが、それでも同等の性能と不確実性の評価を達成している。
  論文  参考訳（メタデータ） (2023-06-16T21:38:13Z)
• UPNet: Uncertainty-based Picking Deep Learning Network for Robust First Break Picking [6.380128763476294]
  第一破砕(FB)ピッキングは地下速度モデルの決定において重要な側面である。 この処理を高速化するために、ディープニューラルネットワーク(DNN)が提案されている。 本稿では、FB選択タスクに不確実性定量化を導入し、UPNetと呼ばれる新しい不確実性に基づくディープラーニングネットワークを提案する。
  論文  参考訳（メタデータ） (2023-05-23T08:13:09Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Robustness of Bayesian Neural Networks to White-Box Adversarial Attacks [55.531896312724555]
  ベイジアンネットワーク(BNN)は、ランダム性を組み込むことで、敵の攻撃を扱うのに頑丈で適している。 我々はベイズ的推論(つまり変分ベイズ)をDenseNetアーキテクチャに融合させることで、BNN-DenseNetと呼ばれるBNNモデルを作成する。 逆向きに訓練されたBNNは、ほとんどの実験で非ベイズ的で逆向きに訓練されたBNNよりも優れています。
  論文  参考訳（メタデータ） (2021-11-16T16:14:44Z)
• S2-BNN: Bridging the Gap Between Self-Supervised Real and 1-bit Neural Networks via Guided Distribution Calibration [74.5509794733707]
  本研究では, 実数値から, 最終予測分布上のバイナリネットワークへの誘導型学習パラダイムを提案する。 提案手法は,bnn上で5.515%の絶対利得で,単純なコントラスト学習ベースラインを向上できる。 提案手法は、単純なコントラスト学習ベースラインよりも大幅に改善され、多くの主流教師付きBNN手法に匹敵する。
  論文  参考訳（メタデータ） (2021-02-17T18:59:28Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)
• Frequentist Uncertainty in Recurrent Neural Networks via Blockwise Influence Functions [121.10450359856242]
  リカレントニューラルネットワーク(RNN)は、シーケンシャルおよび時系列データのモデリングに有効である。 RNNにおける既存の不確実性定量化のアプローチは、主にベイズ法に基づいている。 a)モデルトレーニングに干渉せず、その精度を損なうことなく、(b)任意のRNNアーキテクチャに適用し、(c)推定不確かさ間隔に関する理論的カバレッジ保証を提供する。
  論文  参考訳（メタデータ） (2020-06-20T22:45:32Z)
• Neural Networks and Value at Risk [59.85784504799224]
  リスクしきい値推定における資産価値のモンテカルロシミュレーションを行う。 株式市場と長期債を試験資産として利用し、ニューラルネットワークについて検討する。 はるかに少ないデータでフィードされたネットワークは、大幅にパフォーマンスが悪くなっています。
  論文  参考訳（メタデータ） (2020-05-04T17:41:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。