論文の概要: Efficient geometric Markov chain Monte Carlo for nonlinear Bayesian
inversion enabled by derivative-informed neural operators
- arxiv url: http://arxiv.org/abs/2403.08220v1
- Date: Wed, 13 Mar 2024 03:45:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-14 15:50:02.816550
- Title: Efficient geometric Markov chain Monte Carlo for nonlinear Bayesian
inversion enabled by derivative-informed neural operators
- Title(参考訳): 非線形ベイジアンに対する効率的な幾何学的マルコフ連鎖モンテカルロ
デリバティブインフォームド・ニューラル演算子によって実現されるインバージョン
- Authors: Lianghao Cao, Thomas O'Leary-Roseberry, Omar Ghattas
- Abstract要約: 幾何学的マルコフ連鎖モンテカルロ(MCMC)の高速化のための演算子学習手法を提案する。
本稿では,インプット-アウトプット-インプット-インプット-インプット-インプット-インプット-インプット-インプット-インプット-インプット-インプット-インプット-インプット-インプット-インプット-インプット-インプット-インプット-インプット-インプット-インプット-インプット-インプット・トレーニング・サンプルを用いて,微分型演算子学習(O'Leary-Roseberry et al.,J. Comput. Phys.,496 (2024)の拡張について述べる。
- 参考スコア(独自算出の注目度): 2.0564549686015594
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose an operator learning approach to accelerate geometric Markov chain
Monte Carlo (MCMC) for solving infinite-dimensional nonlinear Bayesian inverse
problems. While geometric MCMC employs high-quality proposals that adapt to
posterior local geometry, it requires computing local gradient and Hessian
information of the log-likelihood, incurring a high cost when the
parameter-to-observable (PtO) map is defined through expensive model
simulations. We consider a delayed-acceptance geometric MCMC method driven by a
neural operator surrogate of the PtO map, where the proposal is designed to
exploit fast surrogate approximations of the log-likelihood and,
simultaneously, its gradient and Hessian. To achieve a substantial speedup, the
surrogate needs to be accurate in predicting both the observable and its
parametric derivative (the derivative of the observable with respect to the
parameter). Training such a surrogate via conventional operator learning using
input--output samples often demands a prohibitively large number of model
simulations. In this work, we present an extension of derivative-informed
operator learning [O'Leary-Roseberry et al., J. Comput. Phys., 496 (2024)]
using input--output--derivative training samples. Such a learning method leads
to derivative-informed neural operator (DINO) surrogates that accurately
predict the observable and its parametric derivative at a significantly lower
training cost than the conventional method. Cost and error analysis for reduced
basis DINO surrogates are provided. Numerical studies on PDE-constrained
Bayesian inversion demonstrate that DINO-driven MCMC generates effective
posterior samples 3--9 times faster than geometric MCMC and 60--97 times faster
than prior geometry-based MCMC. Furthermore, the training cost of DINO
surrogates breaks even after collecting merely 10--25 effective posterior
samples compared to geometric MCMC.
- Abstract(参考訳): 無限次元非線形ベイズ逆問題の解法として,幾何学的マルコフ連鎖モンテカルロ(MCMC)を高速化する演算子学習手法を提案する。
幾何学的MCMCでは、後部局所幾何学に適合する高品質な提案が採用されているが、パラメータ・トゥ・オブザーバブル(PtO)マップが高価なモデルシミュレーションによって定義される場合、計算局所勾配とログのようなヘッセン情報を必要とする。
本稿では,PtOマップのニューラル演算子サロゲートによって駆動される遅延受容幾何学的MCMC法について考察する。
かなりのスピードアップを達成するためには、サロゲートは観測可能な微分とそのパラメトリックな微分(パラメータに関して観測可能な微分)を正確に予測する必要がある。
このようなサロゲートを従来の演算子学習でトレーニングするには、入力出力サンプルを多用することが多い。
本稿では,インプット-アウトプット-インプット-インプット-インプット-インプット-インプット-インプット-インプット-インプット-インプット-インプット-インプット-インプット-インプット-インプット-インプット-インプット-インプット-インプット-インプット-インプット・トレーニング・サンプルを用いて,微分インフォームド・オペレータ学習(O'Leary-Roseberry et al , J. Comput. Phys., 496 (2024)))の拡張について述べる。
このような学習方法は、従来の方法よりも格段に低いトレーニングコストで観測可能とそのパラメトリック誘導体を正確に予測するデリバティブインフォームド・ニューラル演算子(DINO)の代理となる。
還元基底DINOサロゲートのコスト及び誤差解析を行う。
PDE制約のベイズ反転に関する数値的研究により、DINO駆動のMCMCは、幾何学的MCMCよりも3~9倍、幾何学的MCMCより60~97倍、効果的な後部サンプルを生成することが示された。
さらに、DINOサロゲートのトレーニングコストは、幾何学的MCMCと比較して10~25個の有効な後部サンプルのみを採取した後でも低下する。
関連論文リスト
- Online Variational Sequential Monte Carlo [56.16884466478886]
我々は,計算効率が高く正確なモデルパラメータ推定とベイジアン潜在状態推定を提供する変分連続モンテカルロ法(VSMC)を構築した。
オンラインVSMCは、パラメータ推定と粒子提案適応の両方を効率よく、完全にオンザフライで実行することができる。
論文 参考訳(メタデータ) (2023-12-19T21:45:38Z) - STANLEY: Stochastic Gradient Anisotropic Langevin Dynamics for Learning
Energy-Based Models [41.031470884141775]
エネルギーベースモデル(EBM)のためのエンドツーエンド学習アルゴリズムを提案する。
本稿では、異方性段差と勾配インフォームド共分散行列に基づく新しい高次元サンプリング法を提案する。
提案手法,すなわちSTANLEYは,新しいMCMC法を用いてエネルギーベースモデルを学習するための最適化アルゴリズムである。
論文 参考訳(メタデータ) (2023-10-19T11:55:16Z) - Value-Biased Maximum Likelihood Estimation for Model-based Reinforcement
Learning in Discounted Linear MDPs [16.006893624836554]
本稿では,VBMLE (Value-Biased Maximum Likelihood Estimation) のレンズによる線形MDPの解法を提案する。
VBMLEは、各時間ステップで1つの最適化問題だけを解決する必要があるため、計算的により効率的である。
後悔する解析では、線形MDPにおけるMLEの一般収束結果が、新しいスーパーマーチンゲール構造を通して提供される。
論文 参考訳(メタデータ) (2023-10-17T18:27:27Z) - Learning Energy-Based Prior Model with Diffusion-Amortized MCMC [89.95629196907082]
非収束短距離MCMCを用いた事前及び後方サンプリングによる潜時空間EMM学習の一般的な実践は、さらなる進歩を妨げている。
本稿では,MCMCサンプリングのための単純だが効果的な拡散型アモータイズ手法を導入し,それに基づく潜時空間EMMのための新しい学習アルゴリズムを開発した。
論文 参考訳(メタデータ) (2023-10-05T00:23:34Z) - Large-scale gradient-based training of Mixtures of Factor Analyzers [67.21722742907981]
本稿では,勾配降下による高次元学習を効果的に行うための理論解析と新しい手法の両立に寄与する。
MFAトレーニングと推論/サンプリングは,学習終了後の行列逆変換を必要としない精度行列に基づいて行うことができることを示す。
理論解析と行列の他に,SVHNやMNISTなどの画像データセットにMFAを適用し,サンプル生成と外乱検出を行う能力を示す。
論文 参考訳(メタデータ) (2023-08-26T06:12:33Z) - Gaussian process regression and conditional Karhunen-Lo\'{e}ve models
for data assimilation in inverse problems [68.8204255655161]
偏微分方程式モデルにおけるデータ同化とパラメータ推定のためのモデル逆アルゴリズムCKLEMAPを提案する。
CKLEMAP法は標準的なMAP法に比べてスケーラビリティがよい。
論文 参考訳(メタデータ) (2023-01-26T18:14:12Z) - Inverting brain grey matter models with likelihood-free inference: a
tool for trustable cytoarchitecture measurements [62.997667081978825]
脳の灰白質細胞構造の特徴は、体密度と体積に定量的に敏感であり、dMRIでは未解決の課題である。
我々は新しいフォワードモデル、特に新しい方程式系を提案し、比較的スパースなb殻を必要とする。
次に,提案手法を逆転させるため,確率自由推論 (LFI) として知られるベイズ解析から最新のツールを適用した。
論文 参考訳(メタデータ) (2021-11-15T09:08:27Z) - Variational Inference with NoFAS: Normalizing Flow with Adaptive
Surrogate for Computationally Expensive Models [7.217783736464403]
マルコフ連鎖モンテカルロのようなサンプリングに基づくアプローチの使用は、それぞれの可能性評価が計算的に高価であるときに難解になる可能性がある。
変分推論と正規化フローを組み合わせた新しいアプローチは、潜在変数空間の次元と線形にしか成長しない計算コストによって特徴づけられる。
本稿では,ニューラルネットワークサロゲートモデルの正規化フローパラメータと重みを代わりに更新する最適化戦略である,適応サロゲートを用いた正規化フロー(NoFAS)を提案する。
論文 参考訳(メタデータ) (2021-08-28T14:31:45Z) - No MCMC for me: Amortized sampling for fast and stable training of
energy-based models [62.1234885852552]
エネルギーベースモデル(EBM)は、不確実性を表す柔軟で魅力的な方法である。
本稿では,エントロピー規則化ジェネレータを用いてEMMを大規模に訓練し,MCMCサンプリングを記憶する簡単な方法を提案する。
次に、最近提案されたジョイント・エナジー・モデル(JEM)に推定器を適用し、元の性能と高速で安定したトレーニングとを一致させる。
論文 参考訳(メタデータ) (2020-10-08T19:17:20Z) - Non-convex Learning via Replica Exchange Stochastic Gradient MCMC [25.47669573608621]
本稿では,適応的複製交換SGMCMC(reSGMCMC)を提案し,バイアスを自動的に補正し,対応する特性について検討する。
実験では,様々な設定の広範囲な実験を通じてアルゴリズムを検証し,その結果を得た。
論文 参考訳(メタデータ) (2020-08-12T15:02:59Z) - Fast Bayesian Estimation of Spatial Count Data Models [0.0]
シミュレーション問題ではなく最適化問題として変分ベイズ(VB)を導入する。
VB法は、観測されていないパラメータと空間依存性を持つ負二項モデルにおける後部推論のために導出される。
VBアプローチは、シミュレーションと経験的研究において、通常の8コアプロセッサ上でのMCMCの約45倍から50倍高速である。
論文 参考訳(メタデータ) (2020-07-07T10:24:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。