論文の概要: EigenVI: score-based variational inference with orthogonal function expansions
- arxiv url: http://arxiv.org/abs/2410.24054v1
- Date: Thu, 31 Oct 2024 15:48:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-01 17:02:36.671958
- Title: EigenVI: score-based variational inference with orthogonal function expansions
- Title（参考訳）: EigenVI:直交関数展開を用いたスコアベース変分推論
- Authors: Diana Cai, Chirag Modi, Charles C. Margossian, Robert M. Gower, David M. Blei, Lawrence K. Saul,
- Abstract要約: EigenVIはブラックボックス変分推論(BBVI)のための固有値に基づくアプローチである
我々はEigenVIを用いて様々なターゲット分布を近似し、例えば後方dbのベイズモデルのベンチマークスイートを含む。
- 参考スコア（独自算出の注目度）: 23.696028065251497
- License:
- Abstract: We develop EigenVI, an eigenvalue-based approach for black-box variational inference (BBVI). EigenVI constructs its variational approximations from orthogonal function expansions. For distributions over $\mathbb{R}^D$, the lowest order term in these expansions provides a Gaussian variational approximation, while higher-order terms provide a systematic way to model non-Gaussianity. These approximations are flexible enough to model complex distributions (multimodal, asymmetric), but they are simple enough that one can calculate their low-order moments and draw samples from them. EigenVI can also model other types of random variables (e.g., nonnegative, bounded) by constructing variational approximations from different families of orthogonal functions. Within these families, EigenVI computes the variational approximation that best matches the score function of the target distribution by minimizing a stochastic estimate of the Fisher divergence. Notably, this optimization reduces to solving a minimum eigenvalue problem, so that EigenVI effectively sidesteps the iterative gradient-based optimizations that are required for many other BBVI algorithms. (Gradient-based methods can be sensitive to learning rates, termination criteria, and other tunable hyperparameters.) We use EigenVI to approximate a variety of target distributions, including a benchmark suite of Bayesian models from posteriordb. On these distributions, we find that EigenVI is more accurate than existing methods for Gaussian BBVI.
- Abstract（参考訳）: 我々は,ブラックボックス変分推論(BBVI)のための固有値に基づく手法であるEigenVIを開発した。
EigenVI はその変分近似を直交関数展開から構成する。
$\mathbb{R}^D$ 上の分布に対して、これらの展開における最低次項はガウス変分近似を与えるが、高次項は非ガウス性をモデル化する体系的な方法を与える。
これらの近似は複素分布(マルチモーダル、非対称)をモデル化するのに十分柔軟であるが、低次モーメントを計算してサンプルを抽出できるほど単純である。
EigenVIはまた、直交関数の異なる族から変分近似を構築することで、他の種類の確率変数(例えば、非負、有界)をモデル化することもできる。
これらのファミリーの中で、EigenVIは、フィッシャーの発散の確率的推定を最小化することにより、ターゲット分布のスコア関数に最もよく一致する変動近似を計算する。
特に、この最適化は最小固有値問題の解に還元されるため、EigenVIは他の多くのBBVIアルゴリズムで必要とされる反復的な勾配に基づく最適化を効果的にサイドステップする。
(学習率、終了基準、その他の調整可能なハイパーパラメータに敏感である。)
我々はEigenVIを用いて様々なターゲット分布を近似し、例えば後方dbのベイズモデルのベンチマークスイートを含む。
これらの分布から、EigenVI はガウスBBVI の既存の方法よりも精度が高いことが分かる。
関連論文リスト
- Variational Bayesian surrogate modelling with application to robust design optimisation [0.9626666671366836]
サロゲートモデルは複雑な計算モデルに対して素早く評価できる近似を提供する。
入力の不確かさと次元減少を伴う統計的代理を構築するためのベイズ推定について考察する。
コスト関数がモデル出力の平均および標準偏差の重み付け和に依存するような本質的で頑健な構造最適化問題を示す。
論文 参考訳（メタデータ） (2024-04-23T09:22:35Z) - Batch and match: black-box variational inference with a score-based divergence [26.873037094654826]
スコアに基づく発散に基づくブラックボックス変分推論(BBVI)の代替手法としてバッチ・アンド・マッチ(BaM)を提案する。
ELBO に基づく BBVI の先行実装よりもBaM の収束度が低いことを示す。
論文 参考訳（メタデータ） (2024-02-22T18:20:22Z) - Robust scalable initialization for Bayesian variational inference with
multi-modal Laplace approximations [0.0]
フル共分散構造を持つ変分混合は、パラメータ数による変動パラメータによる二次的な成長に苦しむ。
本稿では,変分推論のウォームスタートに使用できる初期ガウスモデル近似を構築する方法を提案する。
論文 参考訳（メタデータ） (2023-07-12T19:30:04Z) - Probabilistic Unrolling: Scalable, Inverse-Free Maximum Likelihood
Estimation for Latent Gaussian Models [69.22568644711113]
我々は,モンテカルロサンプリングと反復線形解法を組み合わせた確率的アンローリングを導入し,行列逆転を回避した。
理論的解析により,解法の繰り返しによる解法の解法と逆転が最大値推定の勾配推定を高速化することを示した。
シミュレーションおよび実データ実験において、確率的アンロールは、モデル性能の損失を最小限に抑えながら、勾配EMよりも桁違いに高速な潜在ガウスモデルを学習することを示した。
論文 参考訳（メタデータ） (2023-06-05T21:08:34Z) - Gradient Flows for Sampling: Mean-Field Models, Gaussian Approximations and Affine Invariance [10.153270126742369]
確率密度空間とガウス空間の両方における勾配流について検討する。
ガウス空間のフローは、フローのガウス近似として理解することができる。
論文 参考訳（メタデータ） (2023-02-21T21:44:08Z) - Manifold Gaussian Variational Bayes on the Precision Matrix [70.44024861252554]
複雑なモデルにおける変分推論(VI)の最適化アルゴリズムを提案する。
本研究では,変分行列上の正定値制約を満たすガウス変分推論の効率的なアルゴリズムを開発した。
MGVBPはブラックボックスの性質のため、複雑なモデルにおけるVIのための準備が整ったソリューションである。
論文 参考訳（メタデータ） (2022-10-26T10:12:31Z) - Learning Graphical Factor Models with Riemannian Optimization [70.13748170371889]
本稿では,低ランク構造制約下でのグラフ学習のためのフレキシブルなアルゴリズムフレームワークを提案する。
この問題は楕円分布のペナルティ化された最大推定値として表される。
楕円モデルによく適合する正定行列と定ランクの正半定行列のジオメトリを利用する。
論文 参考訳（メタデータ） (2022-10-21T13:19:45Z) - Loss function based second-order Jensen inequality and its application
to particle variational inference [112.58907653042317]
粒子変分推論(PVI)は、後部分布の実験的近似としてモデルのアンサンブルを用いる。
PVIは、最適化されたモデルの多様性を保証するために、各モデルを反発力で反復的に更新する。
我々は,新たな一般化誤差を導出し,モデルの多様性を高めて低減できることを示す。
論文 参考訳（メタデータ） (2021-06-09T12:13:51Z) - Gaussian Process Latent Class Choice Models [7.992550355579791]
離散選択モデル(DCM)における確率的機械学習の非パラメトリッククラスを提案する。
提案モデルでは,GPを用いた行動同質クラスタ(ラテントクラス)に確率的に個人を割り当てる。
モデルは2つの異なるモード選択アプリケーションでテストされ、異なるLCCMベンチマークと比較される。
論文 参考訳（メタデータ） (2021-01-28T19:56:42Z) - Probabilistic Circuits for Variational Inference in Discrete Graphical
Models [101.28528515775842]
変分法による離散的グラフィカルモデルの推論は困難である。
エビデンス・ロウアーバウンド(ELBO)を推定するためのサンプリングに基づく多くの手法が提案されている。
Sum Product Networks (SPN) のような確率的回路モデルのトラクタビリティを活用する新しい手法を提案する。
選択的SPNが表現的変動分布として適していることを示し、対象モデルの対数密度が重み付けされた場合、対応するELBOを解析的に計算可能であることを示す。
論文 参考訳（メタデータ） (2020-10-22T05:04:38Z) - Gaussianization Flows [113.79542218282282]
そこで本研究では,サンプル生成における効率のよい繰り返しと効率のよい逆変換を両立できる新しい型正規化フローモデルを提案する。
この保証された表現性のため、サンプル生成の効率を損なうことなく、マルチモーダルなターゲット分布をキャプチャできる。
論文 参考訳（メタデータ） (2020-03-04T08:15:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。