論文の概要: Sequential Kalman Monte Carlo for gradient-free inference in Bayesian inverse problems
- arxiv url: http://arxiv.org/abs/2407.07781v1
- Date: Wed, 10 Jul 2024 15:56:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-11 16:02:46.504972
- Title: Sequential Kalman Monte Carlo for gradient-free inference in Bayesian inverse problems
- Title（参考訳）: ベイズ逆問題における勾配自由推論のための逐次カルマンモンテカルロ
- Authors: Richard D. P. Grumitt, Minas Karamanis, Uroš Seljak,
- Abstract要約: 逐次カルマンモンテカルロサンプリングを導入し、逆問題における勾配のない推論を行う。
FAKIは正規化フローを用いて、EKIの目標措置のガウスアンザッツを緩和する。
FAKIだけでは、EKIのモデル線形性仮定を正すことはできない。
- 参考スコア（独自算出の注目度）: 1.3654846342364308
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Ensemble Kalman Inversion (EKI) has been proposed as an efficient method for solving inverse problems with expensive forward models. However, the method is based on the assumption that we proceed through a sequence of Gaussian measures in moving from the prior to the posterior, and that the forward model is linear. In this work, we introduce Sequential Kalman Monte Carlo (SKMC) samplers, where we exploit EKI and Flow Annealed Kalman Inversion (FAKI) within a Sequential Monte Carlo (SMC) sampling scheme to perform efficient gradient-free inference in Bayesian inverse problems. FAKI employs normalizing flows (NF) to relax the Gaussian ansatz of the target measures in EKI. NFs are able to learn invertible maps between a Gaussian latent space and the original data space, allowing us to perform EKI updates in the Gaussianized NF latent space. However, FAKI alone is not able to correct for the model linearity assumptions in EKI. Errors in the particle distribution as we move through the sequence of target measures can therefore compound to give incorrect posterior moment estimates. In this work we consider the use of EKI and FAKI to initialize the particle distribution for each target in an adaptive SMC annealing scheme, before performing t-preconditioned Crank-Nicolson (tpCN) updates to distribute particles according to the target. We demonstrate the performance of these SKMC samplers on three challenging numerical benchmarks, showing significant improvements in the rate of convergence compared to standard SMC with importance weighted resampling at each temperature level. Code implementing the SKMC samplers is available at https://github.com/RichardGrumitt/KalmanMC.
- Abstract（参考訳）: Ensemble Kalman Inversion (EKI) は、高価なフォワードモデルを用いた逆問題の効率的な解法として提案されている。
しかし,本手法は,前方から後方への移動におけるガウス測度列の進行と,前方モデルが線型であるという仮定に基づいている。
本研究では,シークエンシャル・カルマン・カルマン・カルマン・カルマン・カルマン・インバージョン(FAKI)を,シークエンシャル・カルマン・カルマン・カルマン・カルマン・インバージョン(SKMC)・カルマン・インバージョン(FAKI)を用いて,ベイズ的逆問題における効率的な勾配のない推論を行う。
FAKIは正規化フロー(NF)を用いて、EKIのターゲット対策のガウスアンザッツを緩和する。
NFはガウス潜在空間と原データ空間の間の可逆写像を学習することができ、ガウス化されたNF潜在空間でEKI更新を実行することができる。
しかし、FAKIだけでは、EKIのモデル線形性仮定を正すことはできない。
したがって, 粒子分布の誤差は, 不正確な後モーメント推定を与えるために複雑になる。
本研究では, 適応SMCアニール方式で各ターゲットの粒子分布を初期化するために, EKI と FAKI を用い, t-プレコンディショニングした Crank-Nicolson (tpCN) 更新を行い, ターゲットに応じて粒子を分散させる。
これらのSKMCサンプリング器の性能を3つの挑戦的な数値ベンチマークで示し、各温度レベルで重み付けされた再サンプリングが重要となる標準SMCと比較して、収束率を著しく改善したことを示す。
SKMCのサンプル実装コードはhttps://github.com/RichardGrumitt/KalmanMCで公開されている。
関連論文リスト
- Sequential Monte Carlo for Inclusive KL Minimization in Amortized Variational Inference [3.126959812401426]
SMC-Wakeは,モンテカルロの連続検層を用いて包摂的KL偏差の勾配を推定する補正式である。
シミュレーションと実データの両方を用いた実験では、SMC-Wakeは既存の手法よりも後方を正確に近似する変動分布に適合する。
論文 参考訳（メタデータ） (2024-03-15T18:13:48Z) - Curvature-Informed SGD via General Purpose Lie-Group Preconditioners [6.760212042305871]
曲率情報を利用して勾配降下(SGD)を加速する新しい手法を提案する。
提案手法は,行列フリープレコンディショナーと低ランクプレコンディショナーの2つのプレコンディショナーを含む。
プレコンディショニングされたSGD(PSGD)は、ビジョン、NLP、RLタスクにおいてSoTAよりも優れていることを示す。
論文 参考訳（メタデータ） (2024-02-07T03:18:00Z) - Sparse is Enough in Fine-tuning Pre-trained Large Language Models [98.46493578509039]
我々はSparse Increment Fine-Tuning (SIFT) という勾配に基づくスパース微調整アルゴリズムを提案する。
GLUE Benchmark や Instruction-tuning などのタスクで有効性を検証する。
論文 参考訳（メタデータ） (2023-12-19T06:06:30Z) - Flow Annealed Kalman Inversion for Gradient-Free Inference in Bayesian
Inverse Problems [1.534667887016089]
Flow Annealed Kalman Inversion (FAKI)はEnsemble Kalman Inversion (EKI)の一般化である
2つのベンチマークでFAKIの性能を示す。
論文 参考訳（メタデータ） (2023-09-20T17:39:14Z) - Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。
本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
論文 参考訳（メタデータ） (2023-06-27T08:15:28Z) - Amortized Conditional Normalized Maximum Likelihood: Reliable Out of
Distribution Uncertainty Estimation [99.92568326314667]
本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。
提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。
我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
論文 参考訳（メタデータ） (2020-11-05T08:04:34Z) - An adaptive Hessian approximated stochastic gradient MCMC method [12.93317525451798]
後方からのサンプリング中に局所的幾何情報を組み込む適応型ヘッセン近似勾配MCMC法を提案する。
我々は,ネットワークの空間性を高めるために,等級に基づく重み付け法を採用する。
論文 参考訳（メタデータ） (2020-10-03T16:22:15Z) - Balancing Rates and Variance via Adaptive Batch-Size for Stochastic
Optimization Problems [120.21685755278509]
本研究は,ステップサイズの減衰が正確な収束に必要であるという事実と,一定のステップサイズがエラーまでの時間でより速く学習するという事実のバランスをとることを目的とする。
ステップサイズのミニバッチを最初から修正するのではなく,パラメータを適応的に進化させることを提案する。
論文 参考訳（メタデータ） (2020-07-02T16:02:02Z) - Bayesian Sparse learning with preconditioned stochastic gradient MCMC
and its applications [5.660384137948734]
提案アルゴリズムは, 温和な条件下で, 制御可能なバイアスで正しい分布に収束する。
提案アルゴリズムは, 温和な条件下で, 制御可能なバイアスで正しい分布に収束可能であることを示す。
論文 参考訳（メタデータ） (2020-06-29T20:57:20Z) - Pre-training Is (Almost) All You Need: An Application to Commonsense
Reasoning [61.32992639292889]
事前学習されたトランスモデルの微調整は、一般的なNLPタスクを解決するための標準的なアプローチとなっている。
そこで本研究では,可視性ランキングタスクをフルテキスト形式でキャストする新たなスコアリング手法を提案する。
提案手法は, ランダム再起動にまたがって, より安定した学習段階を提供することを示す。
論文 参考訳（メタデータ） (2020-04-29T10:54:40Z) - Improving Sampling Accuracy of Stochastic Gradient MCMC Methods via
Non-uniform Subsampling of Gradients [54.90670513852325]
サンプリング精度を向上させるための一様でないサブサンプリング手法を提案する。
EWSGは、一様勾配MCMC法がバッチ勾配MCMC法の統計的挙動を模倣するように設計されている。
EWSGの実践的な実装では、データインデックス上のMetropolis-Hastingsチェーンを介して、一様でないサブサンプリングを効率的に行う。
論文 参考訳（メタデータ） (2020-02-20T18:56:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。