論文の概要: Robust scalable initialization for Bayesian variational inference with
multi-modal Laplace approximations
- arxiv url: http://arxiv.org/abs/2307.06424v1
- Date: Wed, 12 Jul 2023 19:30:04 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-14 16:36:14.176291
- Title: Robust scalable initialization for Bayesian variational inference with
multi-modal Laplace approximations
- Title（参考訳）: マルチモーダルラプラス近似を用いたベイズ変分推論のためのロバストな初期化
- Authors: Wyatt Bridgman, Reese Jones, Mohammad Khalil
- Abstract要約: フル共分散構造を持つ変分混合は、パラメータ数による変動パラメータによる二次的な成長に苦しむ。
本稿では,変分推論のウォームスタートに使用できる初期ガウスモデル近似を構築する方法を提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: For predictive modeling relying on Bayesian inversion, fully independent, or
``mean-field'', Gaussian distributions are often used as approximate
probability density functions in variational inference since the number of
variational parameters is twice the number of unknown model parameters. The
resulting diagonal covariance structure coupled with unimodal behavior can be
too restrictive when dealing with highly non-Gaussian behavior, including
multimodality. High-fidelity surrogate posteriors in the form of Gaussian
mixtures can capture any distribution to an arbitrary degree of accuracy while
maintaining some analytical tractability. Variational inference with Gaussian
mixtures with full-covariance structures suffers from a quadratic growth in
variational parameters with the number of model parameters. Coupled with the
existence of multiple local minima due to nonconvex trends in the loss
functions often associated with variational inference, these challenges
motivate the need for robust initialization procedures to improve the
performance and scalability of variational inference with mixture models.
In this work, we propose a method for constructing an initial Gaussian
mixture model approximation that can be used to warm-start the iterative
solvers for variational inference. The procedure begins with an optimization
stage in model parameter space in which local gradient-based optimization,
globalized through multistart, is used to determine a set of local maxima,
which we take to approximate the mixture component centers. Around each mode, a
local Gaussian approximation is constructed via the Laplace method. Finally,
the mixture weights are determined through constrained least squares
regression. Robustness and scalability are demonstrated using synthetic tests.
The methodology is applied to an inversion problem in structural dynamics
involving unknown viscous damping coefficients.
- Abstract（参考訳）: ベイズ反転、完全独立、あるいは「平均場」に依存する予測モデルでは、変分パラメータの数は未知のモデルパラメータの2倍であるため、ガウス分布は変分推論における近似確率密度関数としてよく用いられる。
結果として生じる対角共分散構造は、多様性を含む非常に非ガウシアンな振る舞いを扱う場合、あまりにも制限的になる。
ガウス混合の形での高忠実なサロゲート後部は、分析的トラクタビリティを維持しながら任意の精度で分布を捉えることができる。
フル共分散構造を持つガウス混合の変分推論は、モデルパラメータの数の変分パラメータの二次成長に苦しむ。
損失関数の非凸傾向による複数の局所ミニマの存在と相まって、これらの課題は、混合モデルによる変動推論の性能と拡張性を改善するための堅牢な初期化手順の必要性を動機付けている。
本研究では,変分推論のための反復解法を温めるために,初期ガウス混合モデル近似を構築する手法を提案する。
この手順はモデルパラメータ空間における最適化段階から始まり、局所勾配に基づく最適化はマルチスタートを通じてグローバル化され、混合成分中心を近似するために要する局所最大値の集合を決定する。
各モードの周囲に局所ガウス近似がラプラス法によって構成される。
最後に、混合重量は最小二乗回帰によって決定される。
堅牢性とスケーラビリティは、合成テストを使って実証される。
この手法は未知の粘性減衰係数を含む構造力学の逆問題に適用される。
関連論文リスト
- Multivariate root-n-consistent smoothing parameter free matching estimators and estimators of inverse density weighted expectations [51.000851088730684]
我々は、パラメトリックな$sqrt n $-rateで収束する、最も近い隣人の新しい修正とマッチング推定器を開発する。
我々は,非パラメトリック関数推定器は含まないこと,特に標本サイズ依存パラメータの平滑化には依存していないことを強調する。
論文 参考訳（メタデータ） (2024-07-11T13:28:34Z) - Variational Bayesian surrogate modelling with application to robust design optimisation [0.9626666671366836]
サロゲートモデルは複雑な計算モデルに対して素早く評価できる近似を提供する。
入力の不確かさと次元減少を伴う統計的代理を構築するためのベイズ推定について考察する。
コスト関数がモデル出力の平均および標準偏差の重み付け和に依存するような本質的で頑健な構造最適化問題を示す。
論文 参考訳（メタデータ） (2024-04-23T09:22:35Z) - Numerically Stable Sparse Gaussian Processes via Minimum Separation
using Cover Trees [57.67528738886731]
誘導点に基づくスケーラブルスパース近似の数値安定性について検討する。
地理空間モデリングなどの低次元タスクに対しては,これらの条件を満たす点を自動計算する手法を提案する。
論文 参考訳（メタデータ） (2022-10-14T15:20:17Z) - Amortized backward variational inference in nonlinear state-space models [0.0]
変分推論を用いた一般状態空間モデルにおける状態推定の問題点を考察する。
仮定を混合することにより、加法的状態汎関数の期待の変動近似が、観測数において最も直線的に増加する誤差を誘導することを初めて確立した。
論文 参考訳（メタデータ） (2022-06-01T08:35:54Z) - Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。
一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
論文 参考訳（メタデータ） (2022-02-23T06:11:49Z) - Sampling Approximately Low-Rank Ising Models: MCMC meets Variational
Methods [35.24886589614034]
一般相互作用が$J$である超キューブ上の二次定値イジングモデルを考える。
我々の一般的な結果は、低ランクのIsingモデルに対する最初のサンプリングアルゴリズムを示唆している。
論文 参考訳（メタデータ） (2022-02-17T21:43:50Z) - Scalable Variational Gaussian Processes via Harmonic Kernel
Decomposition [54.07797071198249]
汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。
様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。
提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
論文 参考訳（メタデータ） (2021-06-10T18:17:57Z) - Bayesian multiscale deep generative model for the solution of
high-dimensional inverse problems [0.0]
深層確率的生成モデルに基づく新しいマルチスケールベイズ推論手法が導入された。
この方法は、安定性、効率、精度を示しながら、高次元パラメータ推定を可能にする。
論文 参考訳（メタデータ） (2021-02-04T11:47:21Z) - The Connection between Discrete- and Continuous-Time Descriptions of
Gaussian Continuous Processes [60.35125735474386]
我々は、一貫した推定子をもたらす離散化が粗粒化下での不変性を持つことを示す。
この結果は、導関数再構成のための微分スキームと局所時間推論アプローチの組み合わせが、2次または高次微分方程式の時系列解析に役立たない理由を説明する。
論文 参考訳（メタデータ） (2021-01-16T17:11:02Z) - Robust, Accurate Stochastic Optimization for Variational Inference [68.83746081733464]
また, 共通最適化手法は, 問題が適度に大きい場合, 変分近似の精度が低下することを示した。
これらの結果から,基礎となるアルゴリズムをマルコフ連鎖の生成とみなして,より堅牢で正確な最適化フレームワークを開発する。
論文 参考訳（メタデータ） (2020-09-01T19:12:11Z) - Mean-Field Approximation to Gaussian-Softmax Integral with Application
to Uncertainty Estimation [23.38076756988258]
ディープニューラルネットワークにおける不確実性を定量化するための,新しい単一モデルに基づくアプローチを提案する。
平均場近似式を用いて解析的に難解な積分を計算する。
実験的に,提案手法は最先端の手法と比較して競合的に機能する。
論文 参考訳（メタデータ） (2020-06-13T07:32:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。