論文の概要: Leveraging viscous Hamilton-Jacobi PDEs for uncertainty quantification in scientific machine learning
- arxiv url: http://arxiv.org/abs/2404.08809v1
- Date: Fri, 12 Apr 2024 20:54:01 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-16 18:42:32.658737
- Title: Leveraging viscous Hamilton-Jacobi PDEs for uncertainty quantification in scientific machine learning
- Title（参考訳）: 科学機械学習における不確実性定量化のための粘性ハミルトン-ヤコビPDEの活用
- Authors: Zongren Zou, Tingwei Meng, Paula Chen, Jérôme Darbon, George Em Karniadakis,
- Abstract要約: 科学機械学習(SciML)における不確実性(UQ)は、SciMLの強力な予測力と、学習したモデルの信頼性を定量化する方法を組み合わせる。
我々は、SciMLと粘性ハミルトン-ヤコビ偏微分方程式(HJ PDE)で生じるいくつかのベイズ推論問題の間の新しい理論的関係を確立することにより、UQ問題に対する新しい解釈を提供する。
我々はモデル予測を継続的に更新する際の計算上の利点を提供する新しいRacatiベースの方法論を開発した。
- 参考スコア（独自算出の注目度）: 1.8175282137722093
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Uncertainty quantification (UQ) in scientific machine learning (SciML) combines the powerful predictive power of SciML with methods for quantifying the reliability of the learned models. However, two major challenges remain: limited interpretability and expensive training procedures. We provide a new interpretation for UQ problems by establishing a new theoretical connection between some Bayesian inference problems arising in SciML and viscous Hamilton-Jacobi partial differential equations (HJ PDEs). Namely, we show that the posterior mean and covariance can be recovered from the spatial gradient and Hessian of the solution to a viscous HJ PDE. As a first exploration of this connection, we specialize to Bayesian inference problems with linear models, Gaussian likelihoods, and Gaussian priors. In this case, the associated viscous HJ PDEs can be solved using Riccati ODEs, and we develop a new Riccati-based methodology that provides computational advantages when continuously updating the model predictions. Specifically, our Riccati-based approach can efficiently add or remove data points to the training set invariant to the order of the data and continuously tune hyperparameters. Moreover, neither update requires retraining on or access to previously incorporated data. We provide several examples from SciML involving noisy data and \textit{epistemic uncertainty} to illustrate the potential advantages of our approach. In particular, this approach's amenability to data streaming applications demonstrates its potential for real-time inferences, which, in turn, allows for applications in which the predicted uncertainty is used to dynamically alter the learning process.
- Abstract（参考訳）: 科学機械学習(SciML)における不確実性定量化(UQ)は、SciMLの強力な予測力と学習モデルの信頼性を定量化する方法を組み合わせる。
しかし、2つの大きな課題は、限定的な解釈可能性と高価な訓練手順である。
我々は、SciMLと粘性ハミルトン-ヤコビ偏微分方程式(HJ PDEs)で生じるいくつかのベイズ推論問題の間の新しい理論的関係を確立することにより、UQ問題に対する新しい解釈を提供する。
すなわち, 粘性HJ PDEに対する溶液の空間勾配とヘシアンから, 後部平均と共分散を復元できることを示す。
この関係の最初の探索として、線形モデル、ガウス的可能性、ガウス的先行性によるベイズ的推論問題に特化する。
この場合、関連する粘性 HJ PDE を Riccati ODE を用いて解くことができ、モデル予測を継続的に更新する際の計算上の利点を提供する新しい Riccati ベースの方法論を開発する。
具体的には、我々のRiccatiベースのアプローチでは、データの順序に不変なトレーニングセットにデータポイントを効率的に追加または削除し、ハイパーパラメータを継続的にチューニングすることができます。
さらに、更新は、以前組み込まれたデータへの再トレーニングやアクセスを必要としない。
我々はSciMLから、ノイズの多いデータと‘textit{epistemic uncertainty}’を含むいくつかの例を提供し、このアプローチの潜在的な利点を説明する。
特に、データストリーミングアプリケーションに対するこのアプローチのアメニビリティは、リアルタイム推論の可能性を示し、その結果、予測された不確実性を使用して学習プロセスを動的に変更するアプリケーションを可能にします。
関連論文リスト
- Physics-constrained polynomial chaos expansion for scientific machine learning and uncertainty quantification [6.739642016124097]
本稿では,SciML(SciML)と不確実性定量化(UQ)の両タスクの実行が可能な代理モデリング手法として,物理制約付きカオス展開を提案する。
提案手法は,SciMLをUQにシームレスに統合し,その逆で,SciMLタスクの不確かさを効果的に定量化し,SciMLを利用してUQ関連タスクにおける不確実性評価を改善する。
論文 参考訳（メタデータ） (2024-02-23T06:04:15Z) - Leveraging Hamilton-Jacobi PDEs with time-dependent Hamiltonians for continual scientific machine learning [1.8175282137722093]
科学機械学習(SciML)における2つの大きな課題に対処する。
我々は、SciMLから生じる最適化問題と一般化ホップ公式との新たな理論的関係を確立する。
既存のHJ PDEソルバと最適制御アルゴリズムを再利用して、新しい効率的なトレーニングアプローチを設計することができる。
論文 参考訳（メタデータ） (2023-11-13T22:55:56Z) - Calibrating Neural Simulation-Based Inference with Differentiable
Coverage Probability [50.44439018155837]
ニューラルモデルのトレーニング目的に直接キャリブレーション項を含めることを提案する。
古典的なキャリブレーション誤差の定式化を緩和することにより、エンドツーエンドのバックプロパゲーションを可能にする。
既存の計算パイプラインに直接適用でき、信頼性の高いブラックボックス後部推論が可能である。
論文 参考訳（メタデータ） (2023-10-20T10:20:45Z) - Equation Discovery with Bayesian Spike-and-Slab Priors and Efficient Kernels [57.46832672991433]
ケルネル学習とBayesian Spike-and-Slab pres (KBASS)に基づく新しい方程式探索法を提案する。
カーネルレグレッションを用いてターゲット関数を推定する。これはフレキシブルで表現力があり、データ空間やノイズに対してより堅牢である。
我々は,効率的な後部推論と関数推定のための予測伝搬予測最大化アルゴリズムを開発した。
論文 参考訳（メタデータ） (2023-10-09T03:55:09Z) - Kalman Filter for Online Classification of Non-Stationary Data [101.26838049872651]
オンライン連続学習(OCL)では、学習システムはデータのストリームを受け取り、予測とトレーニングの手順を順次実行する。
本稿では,線形予測量に対するニューラル表現と状態空間モデルを用いた確率ベイズオンライン学習モデルを提案する。
多クラス分類の実験では、モデルの予測能力と非定常性を捉える柔軟性を示す。
論文 参考訳（メタデータ） (2023-06-14T11:41:42Z) - Random Grid Neural Processes for Parametric Partial Differential
Equations [5.244037702157957]
我々はPDEのための空間確率物理の新しいクラスと深部潜伏モデルについて紹介する。
パラメトリックPDEの前方および逆問題を解場のガウス過程モデルの構築につながる方法で解く。
物理情報モデルにノイズのあるデータを原則的に組み込むことで、データの入手可能な問題に対する予測を改善する方法を示す。
論文 参考訳（メタデータ） (2023-01-26T11:30:56Z) - Mixed Effects Neural ODE: A Variational Approximation for Analyzing the
Dynamics of Panel Data [50.23363975709122]
パネルデータ解析に(固定・ランダムな)混合効果を取り入れたME-NODEという確率モデルを提案する。
我々は、Wong-Zakai定理によって提供されるSDEの滑らかな近似を用いて、我々のモデルを導出できることを示す。
次に、ME-NODEのためのエビデンスに基づく下界を導出し、(効率的な)トレーニングアルゴリズムを開発する。
論文 参考訳（メタデータ） (2022-02-18T22:41:51Z) - A Variational Inference Approach to Inverse Problems with Gamma
Hyperpriors [60.489902135153415]
本稿では,ガンマハイパープライヤを用いた階層的逆問題に対する変分反復交替方式を提案する。
提案した変分推論手法は正確な再構成を行い、意味のある不確実な定量化を提供し、実装が容易である。
論文 参考訳（メタデータ） (2021-11-26T06:33:29Z) - Parsimony-Enhanced Sparse Bayesian Learning for Robust Discovery of
Partial Differential Equations [5.584060970507507]
Parsimony Enhanced Sparse Bayesian Learning (PeSBL) 法は非線形力学系の部分微分方程式 (PDE) を解析するために開発された。
数値ケーススタディの結果,多くの標準力学系のPDEをPeSBL法を用いて正確に同定できることが示唆された。
論文 参考訳（メタデータ） (2021-07-08T00:56:11Z) - Learning Functional Priors and Posteriors from Data and Physics [3.537267195871802]
我々は、歴史的データを用いて時空の露光を可能にするディープニューラルネットワークに基づく新しいフレームワークを開発した。
物理インフォームド・ジェネレーティブ・アダクティブ・アダクティブ・ネットワーク(PI-GAN)を用いて機能的事前学習を行う。
第2段階では, PI-GANの潜伏空間の後方を推定するために, ハミルトニアンモンテカルロ法(HMC)を用いる。
論文 参考訳（メタデータ） (2021-06-08T03:03:24Z) - Using Data Assimilation to Train a Hybrid Forecast System that Combines
Machine-Learning and Knowledge-Based Components [52.77024349608834]
利用可能なデータがノイズの多い部分測定の場合,カオスダイナミクスシステムのデータ支援予測の問題を検討する。
動的システムの状態の部分的測定を用いることで、不完全な知識ベースモデルによる予測を改善するために機械学習モデルを訓練できることを示す。
論文 参考訳（メタデータ） (2021-02-15T19:56:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。