論文の概要: Efficient, Multimodal, and Derivative-Free Bayesian Inference With Fisher-Rao Gradient Flows
- arxiv url: http://arxiv.org/abs/2406.17263v1
- Date: Tue, 25 Jun 2024 04:07:22 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-26 15:41:13.221890
- Title: Efficient, Multimodal, and Derivative-Free Bayesian Inference With Fisher-Rao Gradient Flows
- Title（参考訳）: フィッシャー・ラオ勾配流による効率, 多モード, 導出自由ベイズ推論
- Authors: Yifan Chen, Daniel Zhengyu Huang, Jiaoyang Huang, Sebastian Reich, Andrew M. Stuart,
- Abstract要約: 正規化定数を含む確率分布の効率的な近似サンプリングについて検討した。
具体的には,科学技術応用における大規模逆問題に対するベイズ推定における問題クラスに着目する。
- 参考スコア（独自算出の注目度）: 10.153270126742369
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we study efficient approximate sampling for probability distributions known up to normalization constants. We specifically focus on a problem class arising in Bayesian inference for large-scale inverse problems in science and engineering applications. The computational challenges we address with the proposed methodology are: (i) the need for repeated evaluations of expensive forward models; (ii) the potential existence of multiple modes; and (iii) the fact that gradient of, or adjoint solver for, the forward model might not be feasible. While existing Bayesian inference methods meet some of these challenges individually, we propose a framework that tackles all three systematically. Our approach builds upon the Fisher-Rao gradient flow in probability space, yielding a dynamical system for probability densities that converges towards the target distribution at a uniform exponential rate. This rapid convergence is advantageous for the computational burden outlined in (i). We apply Gaussian mixture approximations with operator splitting techniques to simulate the flow numerically; the resulting approximation can capture multiple modes thus addressing (ii). Furthermore, we employ the Kalman methodology to facilitate a derivative-free update of these Gaussian components and their respective weights, addressing the issue in (iii). The proposed methodology results in an efficient derivative-free sampler flexible enough to handle multi-modal distributions: Gaussian Mixture Kalman Inversion (GMKI). The effectiveness of GMKI is demonstrated both theoretically and numerically in several experiments with multimodal target distributions, including proof-of-concept and two-dimensional examples, as well as a large-scale application: recovering the Navier-Stokes initial condition from solution data at positive times.
- Abstract（参考訳）: 本稿では,正規化定数を含む確率分布の効率的な近似サンプリングについて検討する。
具体的には,科学技術応用における大規模逆問題に対するベイズ推定における問題クラスに着目する。
提案手法における計算上の課題は次のとおりである。
一 高価な前方モデルの繰り返し評価の必要性
(二)複数モードの存在の可能性、及び
三 前方モデルの勾配又は随伴解法が実現できないという事実。
既存のベイズ推定手法はこれらの課題のいくつかを個別に満たすが、我々は3つ全てに体系的に対処する枠組みを提案する。
提案手法は確率空間におけるフィッシャー・ラオ勾配流の上に構築され,一様指数速度で目標分布に向かって収束する確率密度の力学系を導出する。
この急激な収束は、概略した計算負担に有利である
(i)
演算子分割法とガウス混合近似を適用して流れを数値的にシミュレートする。
(II)。
さらに、これらのガウス成分とその重みの微分自由な更新を促進するためにカルマン法を用い、この問題に対処する。
(三)
提案手法は,ガウス混合カルマンインバージョン (GMKI) の多モード分布を扱うのに十分な高効率な微分自由サンプリング器を実現する。
GMKIの有効性は理論上も数値的にも,概念実証と2次元例を含む複数実験で実証され,大規模応用として,ソリューションデータからNavier-Stokes初期条件を正の時間で回収する。
関連論文リスト
- Dynamical Measure Transport and Neural PDE Solvers for Sampling [77.38204731939273]
本研究では, 対象物へのトラクタブル密度関数の移動として, 確率密度からサンプリングする作業に取り組む。
物理インフォームドニューラルネットワーク(PINN)を用いて各偏微分方程式(PDE)の解を近似する。
PINNはシミュレーションと離散化のない最適化を可能にし、非常に効率的に訓練することができる。
論文 参考訳（メタデータ） (2024-07-10T17:39:50Z) - Generative Assignment Flows for Representing and Learning Joint Distributions of Discrete Data [2.6499018693213316]
本稿では,多数の離散確率変数の結合確率分布を表現するための新しい生成モデルを提案する。
全ての離散な関節分布のメタ・プレプレックスにおけるセグレ写像による流れの埋め込みは、任意の対象分布を原理的に表すことができることを保証している。
我々のアプローチは、結合された離散変数のモデリングの第一原理から強い動機を持っている。
論文 参考訳（メタデータ） (2024-06-06T21:58:33Z) - Distributed Markov Chain Monte Carlo Sampling based on the Alternating
Direction Method of Multipliers [143.6249073384419]
本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。
我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。
シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
論文 参考訳（メタデータ） (2024-01-29T02:08:40Z) - Gaussian Mixture Solvers for Diffusion Models [84.83349474361204]
本稿では,拡散モデルのためのGMSと呼ばれる,SDEに基づく新しい解法について紹介する。
画像生成およびストロークベース合成におけるサンプル品質の観点から,SDEに基づく多くの解法よりも優れる。
論文 参考訳（メタデータ） (2023-11-02T02:05:38Z) - Robust scalable initialization for Bayesian variational inference with
multi-modal Laplace approximations [0.0]
フル共分散構造を持つ変分混合は、パラメータ数による変動パラメータによる二次的な成長に苦しむ。
本稿では,変分推論のウォームスタートに使用できる初期ガウスモデル近似を構築する方法を提案する。
論文 参考訳（メタデータ） (2023-07-12T19:30:04Z) - A Dynamical System View of Langevin-Based Non-Convex Sampling [84.61544861851907]
非サンプリングは機械学習における重要な課題であり、ディープラーニングにおける非レート最適化の中心であり、その重要性を近似する。
既存の保証は通常、より望ましい最終段階の反復よりも平均距離のみを保持する。
我々は、理論システムからいくつかのツールを活用することにより、上記の問題を解消する新しいフレームワークを開発する。
論文 参考訳（メタデータ） (2022-10-25T09:43:36Z) - RMFGP: Rotated Multi-fidelity Gaussian process with Dimension Reduction
for High-dimensional Uncertainty Quantification [12.826754199680474]
マルチフィデリティモデリングは、少量の正確なデータしか入手できない場合でも、正確な推測を可能にする。
高忠実度モデルと1つ以上の低忠実度モデルを組み合わせることで、多忠実度法は興味のある量の正確な予測を行うことができる。
本稿では,回転多要素ガウス過程の回帰に基づく新しい次元削減フレームワークとベイズ能動学習手法を提案する。
論文 参考訳（メタデータ） (2022-04-11T01:20:35Z) - Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。
一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
論文 参考訳（メタデータ） (2022-02-23T06:11:49Z) - Stacking for Non-mixing Bayesian Computations: The Curse and Blessing of
Multimodal Posteriors [8.11978827493967]
MCMCの並列実行, 変動型, モードベースの推論を用いて, できるだけ多くのモードをヒットさせる手法を提案する。
重み付き推論プロセスが真のデータを近似する例と理論的整合性を示す。
いくつかのモデルファミリで実践的な実装を示す。
論文 参考訳（メタデータ） (2020-06-22T15:26:59Z) - Mean-Field Approximation to Gaussian-Softmax Integral with Application
to Uncertainty Estimation [23.38076756988258]
ディープニューラルネットワークにおける不確実性を定量化するための,新しい単一モデルに基づくアプローチを提案する。
平均場近似式を用いて解析的に難解な積分を計算する。
実験的に,提案手法は最先端の手法と比較して競合的に機能する。
論文 参考訳（メタデータ） (2020-06-13T07:32:38Z) - Gaussianization Flows [113.79542218282282]
そこで本研究では,サンプル生成における効率のよい繰り返しと効率のよい逆変換を両立できる新しい型正規化フローモデルを提案する。
この保証された表現性のため、サンプル生成の効率を損なうことなく、マルチモーダルなターゲット分布をキャプチャできる。
論文 参考訳（メタデータ） (2020-03-04T08:15:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。