論文の概要: Variational Inference for Latent Variable Models in High Dimensions

• arxiv url: http://arxiv.org/abs/2506.01893v1
• Date: Mon, 02 Jun 2025 17:19:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:34.627524
• Title: Variational Inference for Latent Variable Models in High Dimensions
• Title（参考訳）: 高次元における潜時変動モデルの変分推論
• Authors: Chenyang Zhong, Sumit Mukherjee, Bodhisattva Sen,
• Abstract要約: 後部近似のための平均場変動LDA(MFVI)の統計的精度を定量化するための一般的な枠組みを提案する。 我々は、有名なディリクレ割当(モデル)について「MFVIが機能する正確な体制」をつかむ。 このモデルに対して部分的にグループ化されたVIアルゴリズムを提案し,その動作を示し,その正確な性能を導出する。
• 参考スコア（独自算出の注目度）: 4.3012765978447565
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Variational inference (VI) is a popular method for approximating intractable posterior distributions in Bayesian inference and probabilistic machine learning. In this paper, we introduce a general framework for quantifying the statistical accuracy of mean-field variational inference (MFVI) for posterior approximation in Bayesian latent variable models with categorical local latent variables. Utilizing our general framework, we capture the exact asymptotic regime where MFVI `works' for the celebrated latent Dirichlet allocation (LDA) model. Focusing on the mixed membership stochastic blockmodel (MMSB), we show that the vanilla fully factorized MFVI, often used in the literature, is suboptimal. We propose a partially grouped VI algorithm for this model and show that it works, and derive its exact asymptotic performance. We further illustrate that our bounds are tight for both the above models.
• Abstract（参考訳）: 変分推論(VI)は、ベイズ推論と確率的機械学習において、難解な後続分布を近似する一般的な方法である。 本稿では,分類的局所潜伏変数を持つベイズ潜伏変数モデルにおける後方近似のための平均場変動推定(MFVI)の統計的精度を定量化するための一般的な枠組みを提案する。 MFVI `works' for the famous Latent Dirichlet allocation (LDA) model。 混合メンバーシップ確率ブロックモデル (MMSB) に着目し, 文献でよく用いられるVanilla fully factorized MFVIが最適であることを示す。 このモデルに対して部分的にグループ化されたVIアルゴリズムを提案し、その動作を示し、その正確な漸近性能を導出する。 さらに、上記の2つのモデルに対して、我々の境界が厳密であることを示す。

関連論文リスト

• Bayesian Model Selection via Mean-Field Variational Approximation [10.433170683584994]
  平均場(MF)推論の非漸近特性をベイズ的枠組みの下で検討する。 BvM(Bernstein von-Mises)定理は、MF からの変分分布をモデル的不特定性(英語版)の下で表す。
  論文  参考訳（メタデータ） (2023-12-17T04:48:25Z)
• Diffusion models for probabilistic programming [56.47577824219207]
  拡散モデル変分推論(DMVI)は確率型プログラミング言語(PPL)における自動近似推論手法である DMVIは実装が容易で、例えば正規化フローを用いた変分推論の欠点を伴わずに、PPLでヘイズルフリー推論が可能であり、基礎となるニューラルネットワークモデルに制約を課さない。
  論文  参考訳（メタデータ） (2023-11-01T12:17:05Z)
• Bayesian Non-linear Latent Variable Modeling via Random Fourier Features [7.856578780790166]
  一般化非線形潜在変数モデリングのためのマルコフ連鎖モンテカルロ推定法を提案する。 推論 forVM は、データ可能性がガウス的である場合にのみ、計算的に抽出可能である。 ポアソン, 負二項分布, 多項分布などの非ガウス観測にVMを一般化できることが示される。
  論文  参考訳（メタデータ） (2023-06-14T08:42:10Z)
• Manifold Gaussian Variational Bayes on the Precision Matrix [70.44024861252554]
  複雑なモデルにおける変分推論(VI)の最適化アルゴリズムを提案する。 本研究では,変分行列上の正定値制約を満たすガウス変分推論の効率的なアルゴリズムを開発した。 MGVBPはブラックボックスの性質のため、複雑なモデルにおけるVIのための準備が整ったソリューションである。
  論文  参考訳（メタデータ） (2022-10-26T10:12:31Z)
• Mean-field Variational Inference via Wasserstein Gradient Flow [8.05603983337769]
  平均場(MF)近似のような変分推論は、効率的な計算のためにある種の共役構造を必要とする。 We introduced a general computer framework to implement MFal inference for Bayesian model with or without latent variables, using the Wasserstein gradient flow (WGF)。 本稿では,ニューラルネットワークを用いた制約のない関数近似手法を提案する。
  論文  参考訳（メタデータ） (2022-07-17T04:05:32Z)
• Generalised Gaussian Process Latent Variable Models (GPLVM) with Stochastic Variational Inference [9.468270453795409]
  ミニバッチ学習が可能なBayesianVMモデルの2倍の定式化について検討する。 このフレームワークが、異なる潜在変数の定式化とどのように互換性を持つかを示し、モデルの組を比較する実験を行う。 我々は、膨大な量の欠落データの存在下でのトレーニングと、高忠実度再構築の実施を実証する。
  論文  参考訳（メタデータ） (2022-02-25T21:21:51Z)
• Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
  正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。 一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
  論文  参考訳（メタデータ） (2022-02-23T06:11:49Z)
• Variational Filtering with Copula Models for SLAM [5.242618356321224]
  より広い分布のクラスと同時局所化とマッピング(SLAM)を同時に行うことができるかを示す。 分布モデルとコプラを逐次モンテカルロ推定器に統合し、勾配に基づく最適化によって未知のモデルパラメータがいかに学習できるかを示す。
  論文  参考訳（メタデータ） (2020-08-02T15:38:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。