論文の概要: Derivative-informed neural operator acceleration of geometric MCMC for infinite-dimensional Bayesian inverse problems
- arxiv url: http://arxiv.org/abs/2403.08220v2
- Date: Mon, 20 May 2024 07:20:36 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-21 23:00:48.531213
- Title: Derivative-informed neural operator acceleration of geometric MCMC for infinite-dimensional Bayesian inverse problems
- Title（参考訳）: 無限次元ベイズ逆問題に対する幾何MCMCの微分インフォームドニューラル演算子加速
- Authors: Lianghao Cao, Thomas O'Leary-Roseberry, Omar Ghattas,
- Abstract要約: 本稿では,PtOマップのニューラル演算子サロゲートによって駆動される遅延受容幾何MCMC法を提案する。
かなりのスピードアップを達成するためには、サロゲートはPtO写像とそのヤコビアンを正確に近似する必要がある。
導電性インフォームド・ニューラル演算子 (DINO) は, 従来法よりも格段に低いトレーニングコストで観測可能および後部局所形状を正確に予測できることを示した。
- 参考スコア（独自算出の注目度）: 1.8297494098768172
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose an operator learning approach to accelerate geometric Markov chain Monte Carlo (MCMC) for solving infinite-dimensional Bayesian inverse problems (BIPs). While geometric MCMC employs high-quality proposals that adapt to posterior local geometry, it requires repeated computations of gradients and Hessians of the log-likelihood, which becomes prohibitive when the parameter-to-observable (PtO) map is defined through expensive-to-solve parametric partial differential equations (PDEs). We consider a delayed-acceptance geometric MCMC method driven by a neural operator surrogate of the PtO map, where the proposal exploits fast surrogate predictions of the log-likelihood and, simultaneously, its gradient and Hessian. To achieve a substantial speedup, the surrogate must accurately approximate the PtO map and its Jacobian, which often demands a prohibitively large number of PtO map samples via conventional operator learning methods. In this work, we present an extension of derivative-informed operator learning [O'Leary-Roseberry et al., J. Comput. Phys., 496 (2024)] that uses joint samples of the PtO map and its Jacobian. This leads to derivative-informed neural operator (DINO) surrogates that accurately predict the observables and posterior local geometry at a significantly lower training cost than conventional methods. Cost and error analysis for reduced basis DINO surrogates are provided. Numerical studies demonstrate that DINO-driven MCMC generates effective posterior samples 3--9 times faster than geometric MCMC and 60--97 times faster than prior geometry-based MCMC. Furthermore, the training cost of DINO surrogates breaks even compared to geometric MCMC after just 10--25 effective posterior samples.
- Abstract（参考訳）: 本稿では,無限次元ベイズ逆問題(BIP)の解法として,幾何学的マルコフ連鎖モンテカルロ(MCMC)を高速化する演算子学習手法を提案する。
幾何学的MCMCでは、後部局所幾何学に適応する高品質な提案が採用されているが、パラメータ・トゥ・オブザーバブル(PtO)写像が高価なパラメトリック偏微分方程式(PDE)によって定義されると、ログのような勾配とヘシアンの繰り返し計算が禁止される。
本稿では,PtOマップのニューラル演算子サロゲートによって駆動される遅延受容幾何学的MCMC法について考察する。
かなりのスピードアップを達成するためには、サロゲートはPtOマップとそのヤコビアンを正確に近似する必要がある。
本研究では、PtO写像とヤコビアンの合同サンプルを用いた微分インフォームド演算子学習の拡張(O'Leary-Roseberry et al , J. Comput. Phys., 496 (2024))を提案する。
これによりデリバティブインフォームド・ニューラル・オペレーター(DINO)は、観測可能および後部局所幾何学を従来の方法よりも大幅に低いトレーニングコストで正確に予測するサロゲートとなる。
還元基底DINOサロゲートのコスト及び誤差解析を行う。
DINO駆動MCMCは、幾何学的MCMCより3～9倍、幾何学的MCMCより60～97倍、効果的な後部サンプルを生成する。
さらに, DINOサロゲートのトレーニングコストは, 10～25個の有効後部サンプルの後に, 幾何学的MCMCと比較しても低下する。
関連論文リスト
- Learning Energy-Based Prior Model with Diffusion-Amortized MCMC [89.95629196907082]
非収束短距離MCMCを用いた事前及び後方サンプリングによる潜時空間EMM学習の一般的な実践は、さらなる進歩を妨げている。
本稿では,MCMCサンプリングのための単純だが効果的な拡散型アモータイズ手法を導入し,それに基づく潜時空間EMMのための新しい学習アルゴリズムを開発した。
論文 参考訳（メタデータ） (2023-10-05T00:23:34Z) - Bayesian Decision Trees Inspired from Evolutionary Algorithms [64.80360020499555]
我々は、マルコフ連鎖モンテカルロ(MCMC)を本質的に並列なアルゴリズムであるシーケンシャルモンテカルロ(SMC)に置き換えることを提案する。
実験により、SMCと進化的アルゴリズム(EA)を組み合わせることで、MCMCの100倍のイテレーションでより正確な結果が得られることが示された。
論文 参考訳（メタデータ） (2023-05-30T06:17:35Z) - Object based Bayesian full-waveform inversion for shear elastography [0.0]
組織中の異常画像のせん断エラストグラフィーにおける不確かさを定量化する計算手法を開発した。
パラメータフィールドの後方確率は異常の幾何とそのせん断率を表わす。
滑らかで不規則な形状の合成2次元試験に対するアプローチを実証する。
論文 参考訳（メタデータ） (2023-05-11T08:25:25Z) - Variational Inference for Neyman-Scott Processes [1.4467794332678536]
Neyman-Scottプロセス(NSP)は、クラスタ階層のモデルポイントや時間イベントに、さまざまな分野に適用されている。
NSPに対する第1変分推論 (VI) アルゴリズムを開発し、適切な変分後点過程分布の2つの例を示す。
論文 参考訳（メタデータ） (2023-03-07T07:32:10Z) - MM Algorithms to Estimate Parameters in Continuous-time Markov Chains [0.0]
遷移率をパラメータの集合上の関数とするパラメトリックCTMCについて紹介する。
2つの学習シナリオをカバーするパラメトリックCTMCの反復的推定アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-02-16T21:25:27Z) - Gaussian process regression and conditional Karhunen-Lo\'{e}ve models
for data assimilation in inverse problems [68.8204255655161]
偏微分方程式モデルにおけるデータ同化とパラメータ推定のためのモデル逆アルゴリズムCKLEMAPを提案する。
CKLEMAP法は標準的なMAP法に比べてスケーラビリティがよい。
論文 参考訳（メタデータ） (2023-01-26T18:14:12Z) - Orthogonal Matrix Retrieval with Spatial Consensus for 3D Unknown-View
Tomography [58.60249163402822]
未知視トモグラフィ(UVT)は、未知のランダムな向きで2次元投影から3次元密度マップを再構成する。
提案したOMRはより堅牢で、従来の最先端のOMRアプローチよりも大幅に性能が向上している。
論文 参考訳（メタデータ） (2022-07-06T21:40:59Z) - Knowledge Removal in Sampling-based Bayesian Inference [86.14397783398711]
単一のデータ削除要求が来ると、企業は大量のリソースで学んだモデル全体を削除する必要があるかもしれない。
既存の研究は、明示的にパラメータ化されたモデルのためにデータから学んだ知識を取り除く方法を提案する。
本稿では,MCMCのための機械学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-03-24T10:03:01Z) - No MCMC for me: Amortized sampling for fast and stable training of
energy-based models [62.1234885852552]
エネルギーベースモデル(EBM)は、不確実性を表す柔軟で魅力的な方法である。
本稿では,エントロピー規則化ジェネレータを用いてEMMを大規模に訓練し,MCMCサンプリングを記憶する簡単な方法を提案する。
次に、最近提案されたジョイント・エナジー・モデル(JEM)に推定器を適用し、元の性能と高速で安定したトレーニングとを一致させる。
論文 参考訳（メタデータ） (2020-10-08T19:17:20Z) - Fast Bayesian Estimation of Spatial Count Data Models [0.0]
シミュレーション問題ではなく最適化問題として変分ベイズ(VB)を導入する。
VB法は、観測されていないパラメータと空間依存性を持つ負二項モデルにおける後部推論のために導出される。
VBアプローチは、シミュレーションと経験的研究において、通常の8コアプロセッサ上でのMCMCの約45倍から50倍高速である。
論文 参考訳（メタデータ） (2020-07-07T10:24:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。