論文の概要: Quantifying uncertainty for deep learning based forecasting and
flow-reconstruction using neural architecture search ensembles
- arxiv url: http://arxiv.org/abs/2302.09748v1
- Date: Mon, 20 Feb 2023 03:57:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-21 16:46:06.261787
- Title: Quantifying uncertainty for deep learning based forecasting and
flow-reconstruction using neural architecture search ensembles
- Title（参考訳）: ニューラルネットワーク探索アンサンブルを用いた深層学習に基づく予測とフロー再構成のための不確かさの定量化
- Authors: Romit Maulik, Romain Egele, Krishnan Raghavan, Prasanna Balaprakash
- Abstract要約: 本稿では,ディープニューラルネットワーク(DNN)の自動検出手法を提案するとともに,アンサンブルに基づく不確実性定量化にも有効であることを示す。
提案手法は,タスクの高パフォーマンスニューラルネットワークアンサンブルを検出するだけでなく,不確実性をシームレスに定量化する。
本研究では, 歴史的データからの予測と, 海面温度のスパースセンサからのフロー再構成という2つの課題に対して, この枠組みの有効性を実証する。
- 参考スコア（独自算出の注目度）: 0.8258451067861933
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Classical problems in computational physics such as data-driven forecasting
and signal reconstruction from sparse sensors have recently seen an explosion
in deep neural network (DNN) based algorithmic approaches. However, most DNN
models do not provide uncertainty estimates, which are crucial for establishing
the trustworthiness of these techniques in downstream decision making tasks and
scenarios. In recent years, ensemble-based methods have achieved significant
success for the uncertainty quantification in DNNs on a number of benchmark
problems. However, their performance on real-world applications remains
under-explored. In this work, we present an automated approach to DNN discovery
and demonstrate how this may also be utilized for ensemble-based uncertainty
quantification. Specifically, we propose the use of a scalable neural and
hyperparameter architecture search for discovering an ensemble of DNN models
for complex dynamical systems. We highlight how the proposed method not only
discovers high-performing neural network ensembles for our tasks, but also
quantifies uncertainty seamlessly. This is achieved by using genetic algorithms
and Bayesian optimization for sampling the search space of neural network
architectures and hyperparameters. Subsequently, a model selection approach is
used to identify candidate models for an ensemble set construction. Afterwards,
a variance decomposition approach is used to estimate the uncertainty of the
predictions from the ensemble. We demonstrate the feasibility of this framework
for two tasks - forecasting from historical data and flow reconstruction from
sparse sensors for the sea-surface temperature. We demonstrate superior
performance from the ensemble in contrast with individual high-performing
models and other benchmarks.
- Abstract（参考訳）: データ駆動予測やスパースセンサーからの信号再構成といった計算物理学における古典的な問題は、最近ディープニューラルネットワーク(DNN)ベースのアルゴリズムアプローチが爆発的に増加した。
しかし、ほとんどのDNNモデルは、下流の意思決定タスクやシナリオにおいてこれらの手法の信頼性を確立するために重要な不確実性推定を提供していない。
近年,多くのベンチマーク問題に対するDNNの不確実性定量化において,アンサンブルに基づく手法は大きな成功を収めている。
しかし、実世界のアプリケーションでのパフォーマンスは未調査のままである。
本研究では,DNN発見の自動化手法を提案するとともに,アンサンブルに基づく不確実性定量化にも有効であることを示す。
具体的には、拡張性のあるニューラルネットワークとハイパーパラメータアーキテクチャを用いて、複雑な力学系に対するDNNモデルのアンサンブルを発見することを提案する。
提案手法は,タスクの高パフォーマンスニューラルネットワークアンサンブルを検出するだけでなく,不確実性をシームレスに定量化する。
これは、ニューラルネットワークアーキテクチャとハイパーパラメータの探索空間をサンプリングするために遺伝的アルゴリズムとベイズ最適化を用いることによって達成される。
その後、モデル選択アプローチを用いてアンサンブル集合構成の候補モデルを特定する。
その後、分散分解法を用いて、アンサンブルから予測の不確かさを推定する。
本研究では, 歴史的データからの予測と, 海面温度のスパースセンサからのフロー再構成という2つの課題に対して, この枠組みの有効性を実証する。
我々は、個々のハイパフォーマンスモデルや他のベンチマークと対照的に、アンサンブルの優れた性能を示す。
関連論文リスト
- AI-Aided Kalman Filters [65.35350122917914]
カルマンフィルタ(KF)とその変種は、信号処理において最も著名なアルゴリズムの一つである。
最近の進歩は、古典的なカルマン型フィルタリングでディープニューラルネットワーク(DNN)を融合させる可能性を示している。
本稿では,KF型アルゴリズムにAIを組み込むための設計アプローチについて,チュートリアル形式で概説する。
論文 参考訳（メタデータ） (2024-10-16T06:47:53Z) - Positional Encoder Graph Quantile Neural Networks for Geographic Data [4.277516034244117]
我々は,PE-GNN,Quantile Neural Networks,および再校正技術を完全非パラメトリックフレームワークに統合する新しい手法である,位置グラフ量子ニューラルネットワーク(PE-GQNN)を紹介する。
ベンチマークデータセットの実験では、PE-GQNNは予測精度と不確実性の定量化の両方で既存の最先端手法を著しく上回っている。
論文 参考訳（メタデータ） (2024-09-27T16:02:12Z) - Deep Learning-based surrogate models for parametrized PDEs: handling
geometric variability through graph neural networks [0.0]
本研究では,時間依存型PDEシミュレーションにおけるグラフニューラルネットワーク(GNN)の可能性について検討する。
本稿では,データ駆動型タイムステッピング方式に基づくサロゲートモデルを構築するための体系的戦略を提案する。
GNNは,計算効率と新たなシナリオへの一般化の観点から,従来の代理モデルに代わる有効な代替手段を提供することができることを示す。
論文 参考訳（メタデータ） (2023-08-03T08:14:28Z) - High Accuracy Uncertainty-Aware Interatomic Force Modeling with
Equivariant Bayesian Neural Networks [3.028098724882708]
原子間力学習のための新しいモンテカルロマルコフ連鎖サンプリングアルゴリズムを提案する。
さらに、NequIPアーキテクチャに基づくニューラルネットワークモデルを導入し、新しいサンプリングアルゴリズムと組み合わせることで、最先端の精度で予測が得られ、不確実性の優れた指標が得られることを示す。
論文 参考訳（メタデータ） (2023-04-05T10:39:38Z) - Scalable computation of prediction intervals for neural networks via
matrix sketching [79.44177623781043]
既存の不確実性推定アルゴリズムでは、モデルアーキテクチャとトレーニング手順を変更する必要がある。
本研究では、与えられたトレーニングされたニューラルネットワークに適用し、近似予測間隔を生成できる新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-05-06T13:18:31Z) - Deep-Ensemble-Based Uncertainty Quantification in Spatiotemporal Graph
Neural Networks for Traffic Forecasting [2.088376060651494]
本稿では,短期交通予測のための最先端手法である拡散畳み込みリカレントニューラルネットワーク(DCRNN)に注目した。
我々はDCRNNの不確実性を定量化するスケーラブルなディープアンサンブル手法を開発した。
我々の汎用的かつスケーラブルなアプローチは、現在最先端のベイズ的手法や、多くの一般的な頻繁な手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2022-04-04T16:10:55Z) - Robust lEarned Shrinkage-Thresholding (REST): Robust unrolling for
sparse recover [87.28082715343896]
我々は、モデルミス特定を前進させるのに堅牢な逆問題を解決するためのディープニューラルネットワークについて検討する。
我々は,アルゴリズムの展開手法を根底にある回復問題のロバストバージョンに適用することにより,新しい堅牢なディープニューラルネットワークアーキテクチャを設計する。
提案したRESTネットワークは,圧縮センシングとレーダイメージングの両問題において,最先端のモデルベースおよびデータ駆動アルゴリズムを上回る性能を示す。
論文 参考訳（メタデータ） (2021-10-20T06:15:45Z) - Parameter Estimation with Dense and Convolutional Neural Networks
Applied to the FitzHugh-Nagumo ODE [0.0]
密度層と畳み込み層を用いた深層ニューラルネットワークを逆問題として提示し,Fitz-Nagumoモデルのパラメータを推定する。
深層ニューラルネットワークは、動的モデルやプロセスにおけるパラメータを推定する可能性があり、フレームワークのパラメータを正確に予測することができることを実証する。
論文 参考訳（メタデータ） (2020-12-12T01:20:42Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳（メタデータ） (2020-07-03T01:37:16Z) - NADS: Neural Architecture Distribution Search for Uncertainty Awareness [79.18710225716791]
機械学習(ML)システムは、トレーニングデータとは異なるディストリビューションから来るテストデータを扱う場合、しばしばOoD(Out-of-Distribution)エラーに遭遇する。
既存のOoD検出アプローチはエラーを起こしやすく、時にはOoDサンプルに高い確率を割り当てることもある。
本稿では,すべての不確実性を考慮したアーキテクチャの共通構築ブロックを特定するために,ニューラルアーキテクチャ分布探索(NADS)を提案する。
論文 参考訳（メタデータ） (2020-06-11T17:39:07Z) - Rectified Linear Postsynaptic Potential Function for Backpropagation in
Deep Spiking Neural Networks [55.0627904986664]
スパイキングニューラルネットワーク(SNN)は、時間的スパイクパターンを用いて情報を表現し、伝達する。
本稿では,情報符号化,シナプス可塑性,意思決定におけるスパイクタイミングダイナミクスの寄与について検討し,将来のDeepSNNやニューロモルフィックハードウェアシステムの設計への新たな視点を提供する。
論文 参考訳（メタデータ） (2020-03-26T11:13:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。