論文の概要: Quantification of Deep Neural Network Prediction Uncertainties for VVUQ of Machine Learning Models

• arxiv url: http://arxiv.org/abs/2206.14615v1
• Date: Mon, 27 Jun 2022 20:49:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-30 20:22:26.222971
• Title: Quantification of Deep Neural Network Prediction Uncertainties for VVUQ of Machine Learning Models
• Title（参考訳）: 機械学習モデルのVVUQにおける深部ニューラルネットワーク予測の不確かさの定量化
• Authors: Mahmoud Yaseen, Xu Wu
• Abstract要約: この研究は、高価な物理モデルのための代理モデルとして使用されるとき、ディープニューラルネットワーク(DNN)の予測や近似の不確実性を定量化することを目的としている。 モンテカルロ・ドロップアウト(MCD)、ディープ・アンサンブル(DE)、ベイズニューラルネットワーク(BNN)の3つの手法を比較した。
• 参考スコア（独自算出の注目度）: 1.929039244357139
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent performance breakthroughs in Artificial intelligence (AI) and Machine learning (ML), especially advances in Deep learning (DL), the availability of powerful, easy-to-use ML libraries (e.g., scikit-learn, TensorFlow, PyTorch.), and increasing computational power have led to unprecedented interest in AI/ML among nuclear engineers. For physics-based computational models, Verification, Validation and Uncertainty Quantification (VVUQ) have been very widely investigated and a lot of methodologies have been developed. However, VVUQ of ML models has been relatively less studied, especially in nuclear engineering. In this work, we focus on UQ of ML models as a preliminary step of ML VVUQ, more specifically, Deep Neural Networks (DNNs) because they are the most widely used supervised ML algorithm for both regression and classification tasks. This work aims at quantifying the prediction, or approximation uncertainties of DNNs when they are used as surrogate models for expensive physical models. Three techniques for UQ of DNNs are compared, namely Monte Carlo Dropout (MCD), Deep Ensembles (DE) and Bayesian Neural Networks (BNNs). Two nuclear engineering examples are used to benchmark these methods, (1) time-dependent fission gas release data using the Bison code, and (2) void fraction simulation based on the BFBT benchmark using the TRACE code. It was found that the three methods typically require different DNN architectures and hyperparameters to optimize their performance. The UQ results also depend on the amount of training data available and the nature of the data. Overall, all these three methods can provide reasonable estimations of the approximation uncertainties. The uncertainties are generally smaller when the mean predictions are close to the test data, while the BNN methods usually produce larger uncertainties than MCD and DE.
• Abstract（参考訳）: 近年の人工知能(AI)と機械学習(ML)のパフォーマンスのブレークスルー、特にディープラーニング(DL)の進歩、パワフルで使いやすいMLライブラリ(例えば、スキキット・ラーン、TensorFlow、PyTorch)の可用性、計算能力の増大は、原子力技術者の間でAI/MLへの前例のない関心につながっている。 物理学に基づく計算モデルでは、検証、検証、不確実性定量化(VVUQ)が広く研究され、多くの方法論が開発されている。 しかし、特に核工学において、MLモデルのVVUQは比較的研究されていない。 本稿では,ML VVUQの予備ステップとしてMLモデルのUQに着目し,より具体的には,回帰処理と分類処理の両方に最も広く使用されているMLアルゴリズムであるディープニューラルネットワーク(DNN)について述べる。 本研究の目的は、高価な物理モデルの代理モデルとして使用される場合、DNNの予測や近似の不確かさの定量化である。 DNNの3つのUQ技術、すなわちMonte Carlo Dropout(MCD)、Deep Ensembles(DE)、Bayesian Neural Networks(BNN)を比較した。 これらの手法のベンチマークには,(1)バイソンコードを用いた時間依存核分裂ガス放出データ,(2)トレースコードを用いたbfbtベンチマークに基づく空白分数シミュレーションという2つの核工学的例が用いられている。 3つの手法は、通常、性能を最適化するために異なるDNNアーキテクチャとハイパーパラメータを必要とする。 UQの結果は、利用可能なトレーニングデータの量とデータの性質にも依存する。 全体として、これら3つの方法は全て近似の不確かさを合理的に推定することができる。 平均予測がテストデータに近い場合、不確実性は一般的に小さく、bnn法は一般的にmcdやdeよりも大きな不確実性を生み出す。

関連論文リスト

• An Investigation on Machine Learning Predictive Accuracy Improvement and Uncertainty Reduction using VAE-based Data Augmentation [2.517043342442487]
  深層生成学習は、特定のMLモデルを使用して、既存のデータの基盤となる分布を学習し、実際のデータに似た合成サンプルを生成する。 本研究では,変分オートエンコーダ(VAE)を用いた深部生成モデルを用いて,データ拡張の有効性を評価することを目的とする。 本研究では,拡張データを用いてトレーニングしたディープニューラルネットワーク(DNN)モデルの予測において,データ拡張が精度の向上につながるかどうかを検討した。
  論文  参考訳（メタデータ） (2024-10-24T18:15:48Z)
• Inferring Data Preconditions from Deep Learning Models for Trustworthy Prediction in Deployment [25.527665632625627]
  デプロイ中に見つからないデータを使って、モデルの予測の信頼性を判断することが重要です。 従来のソフトウェアを特定し検証する既存の方法は、このタスクには不十分である。 本稿では、ニューラルネットワーク計算から導出されるルールを用いて、データ前提条件を推論する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-26T03:47:18Z)
• The effect of data augmentation and 3D-CNN depth on Alzheimer's Disease detection [51.697248252191265]
  この研究は、データハンドリング、実験設計、モデル評価に関するベストプラクティスを要約し、厳密に観察する。 我々は、アルツハイマー病(AD)の検出に焦点を当て、医療における課題のパラダイム的な例として機能する。 このフレームワークでは,3つの異なるデータ拡張戦略と5つの異なる3D CNNアーキテクチャを考慮し,予測15モデルを訓練する。
  論文  参考訳（メタデータ） (2023-09-13T10:40:41Z)
• Evaluation of machine learning architectures on the quantification of epistemic and aleatoric uncertainties in complex dynamical systems [0.0]
  不確実量化(英: Uncertainty Quantification、UQ)は、モデル誤差の自己評価値である。 ガウス過程とファミリーUQ強化ニューラルネットワークの両方を含む機械学習技術について検討する。 検証データ上の正規化残差の分布と推定不確かさの分布の2つの指標を用いて,UQ精度(モデル精度とは異なる)を評価する。
  論文  参考訳（メタデータ） (2023-06-27T02:35:25Z)
• Deep learning applied to computational mechanics: A comprehensive review, state of the art, and the classics [77.34726150561087]
  人工知能,特に深層学習(DL)の最近の進歩を概観する。 ハイブリッドおよび純粋機械学習(ML)の手法について論じる。 AIの歴史と限界は、特に古典の誤解や誤解を指摘し、議論され、議論される。
  論文  参考訳（メタデータ） (2022-12-18T02:03:00Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Rank-R FNN: A Tensor-Based Learning Model for High-Order Data Classification [69.26747803963907]
  Rank-R Feedforward Neural Network (FNN)は、そのパラメータにCanonical/Polyadic分解を課すテンソルベースの非線形学習モデルである。 まず、入力をマルチリニアアレイとして扱い、ベクトル化の必要性を回避し、すべてのデータ次元に沿って構造情報を十分に活用することができる。 Rank-R FNNの普遍的な近似と学習性の特性を確立し、実世界のハイパースペクトルデータセットのパフォーマンスを検証する。
  論文  参考訳（メタデータ） (2021-04-11T16:37:32Z)
• ALT-MAS: A Data-Efficient Framework for Active Testing of Machine Learning Algorithms [58.684954492439424]
  少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。 ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
  論文  参考訳（メタデータ） (2021-04-11T12:14:04Z)
• NL-CNN: A Resources-Constrained Deep Learning Model based on Nonlinear Convolution [0.0]
  NL-CNNと略される新しい畳み込みニューラルネットワークモデルが提案され、非線型畳み込みは畳み込み+非線形性層のカスケードでエミュレートされる。 いくつかの広く知られているデータセットのパフォーマンス評価が提供され、いくつかの関連する特徴を示している。
  論文  参考訳（メタデータ） (2021-01-30T13:38:42Z)
• Training Deep Neural Networks with Constrained Learning Parameters [4.917317902787792]
  ディープラーニングタスクのかなりの部分はエッジコンピューティングシステムで実行される。 我々は, Combinatorial Neural Network Training Algorithm (CNNTrA)を提案する。 CoNNTrAは、MNIST、Iris、ImageNetデータセット上で、第三次学習パラメータでディープラーニングモデルをトレーニングする。 以上の結果から,CNNTrAモデルはメモリを32倍に削減し,バックプロパゲーションモデルと同程度の誤差を有することがわかった。
  論文  参考訳（メタデータ） (2020-09-01T16:20:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。