論文の概要: SPDE priors for uncertainty quantification of end-to-end neural data
assimilation schemes
- arxiv url: http://arxiv.org/abs/2402.01855v1
- Date: Fri, 2 Feb 2024 19:18:12 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-06 23:51:56.790130
- Title: SPDE priors for uncertainty quantification of end-to-end neural data
assimilation schemes
- Title（参考訳）: SPDEによるエンドツーエンドのニューラルデータ同化スキームの不確実性定量化
- Authors: Maxime Beauchamp, Nicolas Desassis, J. Emmanuel Johnson, Simon
Benaichouche, Pierre Tandeo and Ronan Fablet
- Abstract要約: ディープラーニングコミュニティの最近の進歩は、データ同化変動フレームワークを組み込んだニューラルネットワークとしてこの問題に対処する上で有効である。
本研究では、SPDEに基づくプロセスから、空間と時間の両方で非定常共分散を扱える事前モデルを推定する。
我々のニューラル変分法は、両方の状態SPDEパラメトリゼーションによる拡張状態定式化を組み込むように修正されている。
- 参考スコア（独自算出の注目度）: 4.213142548113385
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The spatio-temporal interpolation of large geophysical datasets has
historically been adressed by Optimal Interpolation (OI) and more sophisticated
model-based or data-driven DA techniques. In the last ten years, the link
established between Stochastic Partial Differential Equations (SPDE) and
Gaussian Markov Random Fields (GMRF) opened a new way of handling both large
datasets and physically-induced covariance matrix in Optimal Interpolation.
Recent advances in the deep learning community also enables to adress this
problem as neural architecture embedding data assimilation variational
framework. The reconstruction task is seen as a joint learning problem of the
prior involved in the variational inner cost and the gradient-based
minimization of the latter: both prior models and solvers are stated as neural
networks with automatic differentiation which can be trained by minimizing a
loss function, typically stated as the mean squared error between some ground
truth and the reconstruction. In this work, we draw from the SPDE-based
Gaussian Processes to estimate complex prior models able to handle
non-stationary covariances in both space and time and provide a stochastic
framework for interpretability and uncertainty quantification. Our neural
variational scheme is modified to embed an augmented state formulation with
both state and SPDE parametrization to estimate. Instead of a neural prior, we
use a stochastic PDE as surrogate model along the data assimilation window. The
training involves a loss function for both reconstruction task and SPDE prior
model, where the likelihood of the SPDE parameters given the true states is
involved in the training. Because the prior is stochastic, we can easily draw
samples in the prior distribution before conditioning to provide a flexible way
to estimate the posterior distribution based on thousands of members.
- Abstract（参考訳）: 大規模な物理データセットの時空間補間は、OI(Optimal Interpolation)とより洗練されたモデルベースまたはデータ駆動DA技術によって歴史的に調整されてきた。
過去10年間で、確率的偏微分方程式 (SPDE) とガウス的マルコフランダム場 (GMRF) の間に確立されたリンクは、最適補間における大きなデータセットと物理的に誘起される共分散行列の両方を扱う新しい方法を開いた。
ディープラーニングコミュニティの最近の進歩により、この問題を、データ同化変動フレームワークを組み込んだニューラルネットワークアーキテクチャとして扱うこともできる。
リコンストラクションタスクは、変動の内コストと勾配に基づく後者の最小化にかかわる事前の学習問題と見なされており、先行モデルとソルバーはどちらも、損失関数を最小化することで訓練できる自動微分を持つニューラルネットワークとして記述され、一般に、ある基底真理と再構成の間の平均二乗誤差として記述される。
本研究では、SPDEに基づくガウス過程から、空間と時間の両方で非定常共分散を扱える複雑な事前モデルを推定し、解釈可能性と不確実性定量化のための確率的枠組みを提供する。
我々のニューラル変分法は、状態とSPDEパラメトリゼーションの両方に拡張状態の定式化を組み込むように修正されている。
ニューラルネットワークに代えて、確率的PDEをデータ同化ウィンドウに沿った代理モデルとして使用します。
トレーニングには、復元タスクとSPDE事前モデルの両方の損失関数が含まれており、真の状態が与えられたSPDEパラメータの可能性がトレーニングに関係している。
前者は確率的であるため、条件付け前にサンプルを簡単に事前分布に描画することができ、数千のメンバに基づいて後方分布を推定する柔軟な方法を提供する。
関連論文リスト
- Variational Neural Stochastic Differential Equations with Change Points [4.692174333076032]
ニューラル微分方程式(ニューラルSDE)を用いた時系列データにおける変化点のモデル化について検討する。
本稿では,時系列をニューラルSDEとしてモデル化するための変分オートエンコーダ(VAE)フレームワークに基づく,新しいモデル定式化とトレーニング手法を提案する。
本稿では,従来のパラメトリックSDEと分散シフトを伴う実データセットの両方を効果的にモデル化できることを示す。
論文 参考訳（メタデータ） (2024-11-01T14:46:17Z) - Out of the Ordinary: Spectrally Adapting Regression for Covariate Shift [12.770658031721435]
本稿では,学習前のニューラル回帰モデルの最後の層の重みを適応させて,異なる分布から得られる入力データを改善する手法を提案する。
本稿では,この軽量なスペクトル適応手法により,合成および実世界のデータセットの分布外性能が向上することを示す。
論文 参考訳（メタデータ） (2023-12-29T04:15:58Z) - Structured Radial Basis Function Network: Modelling Diversity for
Multiple Hypotheses Prediction [51.82628081279621]
多重モード回帰は非定常過程の予測や分布の複雑な混合において重要である。
構造的放射基底関数ネットワークは回帰問題に対する複数の仮説予測器のアンサンブルとして提示される。
この構造モデルにより, このテッセルレーションを効率よく補間し, 複数の仮説対象分布を近似することが可能であることが証明された。
論文 参考訳（メタデータ） (2023-09-02T01:27:53Z) - Variational EP with Probabilistic Backpropagation for Bayesian Neural
Networks [0.0]
本稿では,ネットワーク重みを階層的に表した2層ニューラルネットワークモデル構造を用いた非線形ロジスティック回帰手法を提案する。
私は計算効率のよいアルゴリズムを導き出し、その複雑さは独立したスパースロジスティックモデルの集合と同様にスケールする。
論文 参考訳（メタデータ） (2023-03-02T19:09:47Z) - Deep Learning Aided Laplace Based Bayesian Inference for Epidemiological
Systems [2.596903831934905]
本稿では,Laplace をベースとしたベイズ推定と ANN アーキテクチャを併用して ODE 軌道の近似を求めるハイブリッド手法を提案する。
本手法の有効性を,非分析的ソリューションを用いた疫学システム,Susceptible-Infectious-Demoved (SIR) モデルを用いて実証した。
論文 参考訳（メタデータ） (2022-10-17T09:02:41Z) - Mixed Effects Neural ODE: A Variational Approximation for Analyzing the
Dynamics of Panel Data [50.23363975709122]
パネルデータ解析に(固定・ランダムな)混合効果を取り入れたME-NODEという確率モデルを提案する。
我々は、Wong-Zakai定理によって提供されるSDEの滑らかな近似を用いて、我々のモデルを導出できることを示す。
次に、ME-NODEのためのエビデンスに基づく下界を導出し、(効率的な)トレーニングアルゴリズムを開発する。
論文 参考訳（メタデータ） (2022-02-18T22:41:51Z) - Scaling Structured Inference with Randomization [64.18063627155128]
本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。
我々の手法は古典的DPベースの推論に広く適用できる。
また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
論文 参考訳（メタデータ） (2021-12-07T11:26:41Z) - Probabilistic partition of unity networks: clustering based deep
approximation [0.0]
ユニタリネットワーク(POU-Nets)の分割は、回帰とPDEの解に対する代数収束率を実現することができる。
ガウス雑音モデルを用いてPOU-Netを拡張し、最大可算損失の勾配に基づく一般化を導出できる確率的一般化を得る。
本研究では,高次元・低次元での性能を定量化するためのベンチマークを行い,高次元空間内のデータの潜在次元にのみ依存することを示す。
論文 参考訳（メタデータ） (2021-07-07T08:02:00Z) - Score-Based Generative Modeling through Stochastic Differential
Equations [114.39209003111723]
複素データ分布を雑音を注入することによって既知の事前分布に変換する微分方程式を提案する。
対応する逆時間SDEは、ノイズを緩やかに除去し、先行分布をデータ分布に戻す。
スコアベース生成モデリングの進歩を活用することで、これらのスコアをニューラルネットワークで正確に推定することができる。
スコアベース生成モデルから1024×1024画像の高忠実度生成を初めて示す。
論文 参考訳（メタデータ） (2020-11-26T19:39:10Z) - Autoregressive Score Matching [113.4502004812927]
自動回帰条件スコアモデル(AR-CSM)を提案する。
AR-CSMモデルでは、このデータ分布とモデル分布のばらつきを効率的に計算し、最適化することができ、高価なサンプリングや対向訓練を必要としない。
本研究では,合成データに対する密度推定,画像生成,画像復調,暗黙エンコーダを用いた潜在変数モデルの訓練に応用できることを示す。
論文 参考訳（メタデータ） (2020-10-24T07:01:24Z) - Model Fusion with Kullback--Leibler Divergence [58.20269014662046]
異種データセットから学習した後続分布を融合する手法を提案する。
我々のアルゴリズムは、融合モデルと個々のデータセット後部の両方に対する平均場仮定に依存している。
論文 参考訳（メタデータ） (2020-07-13T03:27:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。