論文の概要: Sequential Kalman Tuning of the $t$-preconditioned Crank-Nicolson algorithm: efficient, adaptive and gradient-free inference for Bayesian inverse problems

• arxiv url: http://arxiv.org/abs/2407.07781v2
• Date: Mon, 18 Nov 2024 15:07:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-19 14:28:46.063818
• Title: Sequential Kalman Tuning of the $t$-preconditioned Crank-Nicolson algorithm: efficient, adaptive and gradient-free inference for Bayesian inverse problems
• Title（参考訳）: $t$-preconditioned Crank-Nicolsonアルゴリズムの逐次カルマンチューニング:ベイズ逆問題に対する効率的、適応的、勾配なし推論
• Authors: Richard D. P. Grumitt, Minas Karamanis, Uroš Seljak,
• Abstract要約: 本稿では,EKI と Flow Annealed Kalman Inversion の適応的な実装を提案する。 EKIはガウス的目標測度と線形前方モデルにおいてのみ正確なものである。 標準SMCの適応に比べてコンバージェンス率が大きく改善した。
• 参考スコア（独自算出の注目度）: 1.3654846342364308
• License:
• Abstract: Ensemble Kalman Inversion (EKI) has been proposed as an efficient method for the approximate solution of Bayesian inverse problems with expensive forward models. However, when applied to the Bayesian inverse problem EKI is only exact in the regime of Gaussian target measures and linear forward models. In this work we propose embedding EKI and Flow Annealed Kalman Inversion (FAKI), its normalizing flow (NF) preconditioned variant, within a Bayesian annealing scheme as part of an adaptive implementation of the $t$-preconditioned Crank-Nicolson (tpCN) sampler. The tpCN sampler differs from standard pCN in that its proposal is reversible with respect to the multivariate $t$-distribution. The more flexible tail behaviour allows for better adaptation to sampling from non-Gaussian targets. Within our Sequential Kalman Tuning (SKT) adaptation scheme, EKI is used to initialize and precondition the tpCN sampler for each annealed target. The subsequent tpCN iterations ensure particles are correctly distributed according to each annealed target, avoiding the accumulation of errors that would otherwise impact EKI. We demonstrate the performance of SKT for tpCN on three challenging numerical benchmarks, showing significant improvements in the rate of convergence compared to adaptation within standard SMC with importance weighted resampling at each temperature level, and compared to similar adaptive implementations of standard pCN. The SKT scheme applied to tpCN offers an efficient, practical solution for solving the Bayesian inverse problem when gradients of the forward model are not available. Code implementing the SKT schemes for tpCN is available at \url{https://github.com/RichardGrumitt/KalmanMC}.
• Abstract（参考訳）: Ensemble Kalman Inversion (EKI) は、高価なフォワードモデルを用いたベイズ逆問題の近似解の効率的な方法として提案されている。 しかし、ベイズ逆問題に適用した場合、EKIはガウス的目標測度と線形フォワードモデルの体制においてのみ正確である。 本研究では,EKI と Flow Annealed Kalman Inversion (FAKI) のプレコンディショニング・フロー(NF)プレコンディショニング・バリアントを,$t$-preconditioned Crank-Nicolson (tpCN) サンプルの適応実装の一部としてベイズ・アニーリング・スキーム内に埋め込むことを提案する。 tpCNサンプルは、その提案が多変量$t$-distributionに対して可逆であるという点で標準のpCNとは異なる。 より柔軟な尾の挙動により、非ガウス目標からのサンプリングへの適応性が向上する。 逐次カルマン調整(SKT)適応スキームでは、各焼鈍ターゲットに対するtpCNサンプリングを初期化し、プレコンディションするためにEKIが使用される。 その後のtpCNイテレーションは、粒子がそれぞれの焼鈍ターゲットに従って正しく分散されることを保証し、それ以外はEKIに影響を与えるエラーの蓄積を避ける。 tpCN における SKT の性能を,各温度レベルでの重み付け再サンプリングを重要視した標準 SMC の適応と比較して,収束率を著しく向上させ,標準 pCN の適応実装と比較した。 tpCNに適用されるSKTスキームは、フォワードモデルの勾配が得られない場合にベイズ逆問題を解決するための効率的で実用的なソリューションを提供する。 tpCN の SKT スキームを実装するコードは \url{https://github.com/RichardGrumitt/KalmanMC} で公開されている。

関連論文リスト

• Rectified Diffusion Guidance for Conditional Generation [62.00207951161297]
  CFGの背後にある理論を再検討し、組合せ係数の不適切な構成(すなわち、広く使われている和対1バージョン)が生成分布の期待シフトをもたらすことを厳密に確認する。 本稿では,誘導係数を緩和したReCFGを提案する。 このようにして、修正された係数は観測されたデータをトラバースすることで容易に事前計算でき、サンプリング速度はほとんど影響を受けない。
  論文  参考訳（メタデータ） (2024-10-24T13:41:32Z)
• Sequential Monte Carlo for Inclusive KL Minimization in Amortized Variational Inference [3.126959812401426]
  SMC-Wakeは,モンテカルロの連続検層を用いて包摂的KL偏差の勾配を推定する補正式である。 シミュレーションと実データの両方を用いた実験では、SMC-Wakeは既存の手法よりも後方を正確に近似する変動分布に適合する。
  論文  参考訳（メタデータ） (2024-03-15T18:13:48Z)
• Flow Annealed Kalman Inversion for Gradient-Free Inference in Bayesian Inverse Problems [1.534667887016089]
  Flow Annealed Kalman Inversion (FAKI)はEnsemble Kalman Inversion (EKI)の一般化である 2つのベンチマークでFAKIの性能を示す。
  論文  参考訳（メタデータ） (2023-09-20T17:39:14Z)
• Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
  Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。 本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
  論文  参考訳（メタデータ） (2023-06-27T08:15:28Z)
• What Are Bayesian Neural Network Posteriors Really Like? [63.950151520585024]
  ハミルトニアンモンテカルロは、標準およびディープアンサンブルよりも大きな性能向上を達成できることを示す。 また,深部分布は標準SGLDとHMCに類似しており,標準変動推論に近いことが示された。
  論文  参考訳（メタデータ） (2021-04-29T15:38:46Z)
• Annealed Flow Transport Monte Carlo [91.20263039913912]
  Annealed Flow Transport (AFT) built on Annealed Importance Smpling (AIS) and Sequential Monte Carlo (SMC) AFTは、連続したターゲットに向かって粒子をプッシュするために順次学習されるNFに依存します。 AFTの人口バージョンの連続時間スケーリング限界は、Feynman--Kac測度によって与えられることを示した。
  論文  参考訳（メタデータ） (2021-02-15T12:05:56Z)
• Sampling in Combinatorial Spaces with SurVAE Flow Augmented MCMC [83.48593305367523]
  ハイブリッドモンテカルロ(Hybrid Monte Carlo)は、複素連続分布からサンプリングする強力なマルコフ連鎖モンテカルロ法である。 本稿では,SurVAEフローを用いたモンテカルロ法の拡張に基づく新しい手法を提案する。 本稿では,統計学,計算物理学,機械学習など,様々な分野におけるアルゴリズムの有効性を実証し,代替アルゴリズムと比較した改良点を考察する。
  論文  参考訳（メタデータ） (2021-02-04T02:21:08Z)
• Gaussian Process-based Min-norm Stabilizing Controller for Control-Affine Systems with Uncertain Input Effects and Dynamics [90.81186513537777]
  本稿では,この問題の制御・アフィン特性を捉えた新しい化合物カーネルを提案する。 この結果の最適化問題は凸であることを示し、ガウス過程に基づく制御リャプノフ関数第二次コーンプログラム(GP-CLF-SOCP)と呼ぶ。
  論文  参考訳（メタデータ） (2020-11-14T01:27:32Z)
• An adaptive Hessian approximated stochastic gradient MCMC method [12.93317525451798]
  後方からのサンプリング中に局所的幾何情報を組み込む適応型ヘッセン近似勾配MCMC法を提案する。 我々は,ネットワークの空間性を高めるために,等級に基づく重み付け法を採用する。
  論文  参考訳（メタデータ） (2020-10-03T16:22:15Z)
• Generalized Bayesian Filtering via Sequential Monte Carlo [12.789129084258409]
  本稿では,一般状態空間隠蔽マルコフモデル (HMM) における推定のためのフレームワークを提案する。 一般化ベイズ推論(GBI)の損失理論的視点を利用して、HMMにおける一般化フィルタリング再帰を定義する。 標準フィルタリングアルゴリズムと他のロバストフィルタの性能改善を観察する。
  論文  参考訳（メタデータ） (2020-02-23T22:15:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。