論文の概要: Variational Inference for Latent Variable Models in High Dimensions

• arxiv url: http://arxiv.org/abs/2506.01893v2
• Date: Wed, 16 Jul 2025 23:11:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-18 13:45:37.40976
• Title: Variational Inference for Latent Variable Models in High Dimensions
• Title（参考訳）: 高次元における潜時変動モデルの変分推論
• Authors: Chenyang Zhong, Sumit Mukherjee, Bodhisattva Sen,
• Abstract要約: 平均場変動推定(MFVI)の統計的精度を定量化するための一般的な枠組みを導入する。 我々は、有名なディリクレ割当てモデルのためのMFVIの「作業」を正確に把握する。 非線形な大きな偏差の枠組みを拡張した証明手法は,他の潜伏変数モデルにおけるMFVIの解析の扉を開く。
• 参考スコア（独自算出の注目度）: 4.3012765978447565
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Variational inference (VI) is a popular method for approximating intractable posterior distributions in Bayesian inference and probabilistic machine learning. In this paper, we introduce a general framework for quantifying the statistical accuracy of mean-field variational inference (MFVI) for posterior approximation in Bayesian latent variable models with categorical local latent variables (and arbitrary global latent variables). Utilizing our general framework, we capture the exact regime where MFVI 'works' for the celebrated latent Dirichlet allocation model. Focusing on the mixed membership stochastic blockmodel, we show that the vanilla fully factorized MFVI, often used in the literature, is suboptimal. We propose a partially grouped VI algorithm for this model and show that it works, and derive its exact finite-sample performance. We further illustrate that our bounds are tight for both the above models. Our proof techniques, which extend the framework of nonlinear large deviations, open the door for the analysis of MFVI in other latent variable models.
• Abstract（参考訳）: 変分推論(VI)は、ベイズ推論と確率的機械学習において、難解な後続分布を近似する一般的な方法である。 本稿では,局所潜伏変数(および任意のグローバル潜伏変数)を持つベイジアン潜伏変数モデルにおいて,後方近似のための平均場変動推定(MFVI)の統計的精度を定量化するための一般的な枠組みを提案する。 一般的なフレームワークを利用することで、有名なディリクレ割り当てモデルのためのMFVIの'作業'を正確に把握する。 混合メンバーシップ確率的ブロックモデルに注目すると,文献でよく用いられるVanilla完全分解型MFVIが最適であることがわかった。 このモデルに対して部分的にグループ化されたVIアルゴリズムを提案し、その動作を示し、その正確な有限サンプル性能を導出する。 さらに、上記の2つのモデルに対して、我々の境界が厳密であることを示す。 非線形な大きな偏差の枠組みを拡張した証明手法は,他の潜在変数モデルにおけるMFVIの解析の扉を開く。

関連論文リスト

• Stability of Mean-Field Variational Inference [3.5729687931166136]
  平均場推論(英: Mean-field Inference, MFVI)は、積測度による高次元確率分布の近似法として広く用いられている手法である。 MFVI は対象電位によって微分可能であり、偏微分方程式により微分を特徴づけることを示す。
  論文  参考訳（メタデータ） (2025-06-09T15:21:37Z)
• Bayesian Model Selection via Mean-Field Variational Approximation [10.433170683584994]
  平均場(MF)推論の非漸近特性をベイズ的枠組みの下で検討する。 BvM(Bernstein von-Mises)定理は、MF からの変分分布をモデル的不特定性(英語版)の下で表す。
  論文  参考訳（メタデータ） (2023-12-17T04:48:25Z)
• Diffusion models for probabilistic programming [56.47577824219207]
  拡散モデル変分推論(DMVI)は確率型プログラミング言語(PPL)における自動近似推論手法である DMVIは実装が容易で、例えば正規化フローを用いた変分推論の欠点を伴わずに、PPLでヘイズルフリー推論が可能であり、基礎となるニューラルネットワークモデルに制約を課さない。
  論文  参考訳（メタデータ） (2023-11-01T12:17:05Z)
• Bayesian Non-linear Latent Variable Modeling via Random Fourier Features [7.856578780790166]
  一般化非線形潜在変数モデリングのためのマルコフ連鎖モンテカルロ推定法を提案する。 推論 forVM は、データ可能性がガウス的である場合にのみ、計算的に抽出可能である。 ポアソン, 負二項分布, 多項分布などの非ガウス観測にVMを一般化できることが示される。
  論文  参考訳（メタデータ） (2023-06-14T08:42:10Z)
• Manifold Gaussian Variational Bayes on the Precision Matrix [70.44024861252554]
  複雑なモデルにおける変分推論(VI)の最適化アルゴリズムを提案する。 本研究では,変分行列上の正定値制約を満たすガウス変分推論の効率的なアルゴリズムを開発した。 MGVBPはブラックボックスの性質のため、複雑なモデルにおけるVIのための準備が整ったソリューションである。
  論文  参考訳（メタデータ） (2022-10-26T10:12:31Z)
• Mean-field Variational Inference via Wasserstein Gradient Flow [8.05603983337769]
  平均場(MF)近似のような変分推論は、効率的な計算のためにある種の共役構造を必要とする。 We introduced a general computer framework to implement MFal inference for Bayesian model with or without latent variables, using the Wasserstein gradient flow (WGF)。 本稿では,ニューラルネットワークを用いた制約のない関数近似手法を提案する。
  論文  参考訳（メタデータ） (2022-07-17T04:05:32Z)
• PAC Generalization via Invariant Representations [41.02828564338047]
  有限標本集合における$epsilon$-approximate不変性の概念を考える。 PAC学習にインスパイアされ、有限サンプルのアウト・オブ・ディストリビューション一般化保証を得る。 この結果から, 介入部位が非次境界ノードの一定サイズの部分集合内にある場合に, 周囲次元でスケールしない境界を示す。
  論文  参考訳（メタデータ） (2022-05-30T15:50:14Z)
• Wrapped Distributions on homogeneous Riemannian manifolds [58.720142291102135]
  パラメータ、対称性、モダリティなどの分布の性質の制御は、フレキシブルな分布の族を生み出す。 変動型オートエンコーダと潜在空間ネットワークモデル内で提案した分布を利用して,我々のアプローチを実証的に検証する。
  論文  参考訳（メタデータ） (2022-04-20T21:25:21Z)
• Generalised Gaussian Process Latent Variable Models (GPLVM) with Stochastic Variational Inference [9.468270453795409]
  ミニバッチ学習が可能なBayesianVMモデルの2倍の定式化について検討する。 このフレームワークが、異なる潜在変数の定式化とどのように互換性を持つかを示し、モデルの組を比較する実験を行う。 我々は、膨大な量の欠落データの存在下でのトレーニングと、高忠実度再構築の実施を実証する。
  論文  参考訳（メタデータ） (2022-02-25T21:21:51Z)
• Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
  正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。 一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
  論文  参考訳（メタデータ） (2022-02-23T06:11:49Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• Attentional Prototype Inference for Few-Shot Segmentation [128.45753577331422]
  数発のセグメンテーションのための確率的潜在変数フレームワークである注意型プロトタイプ推論(API)を提案する。 我々は各オブジェクトカテゴリのプロトタイプを表現するためにグローバル潜在変数を定義し、確率分布としてモデル化する。 我々は4つのベンチマークで広範な実験を行い、提案手法は最先端のプロトタイプベースの手法よりも、少なくとも競争力があり、しばしば優れた性能が得られる。
  論文  参考訳（メタデータ） (2021-05-14T06:58:44Z)
• Posterior Differential Regularization with f-divergence for Improving Model Robustness [95.05725916287376]
  クリーン入力とノイズ入力のモデル後部差を規則化する手法に着目する。 後微分正則化を$f$-divergencesの族に一般化する。 実験の結果, 後方微分を$f$-divergenceで正規化することで, モデルロバスト性の向上が期待できることがわかった。
  論文  参考訳（メタデータ） (2020-10-23T19:58:01Z)
• Variational Filtering with Copula Models for SLAM [5.242618356321224]
  より広い分布のクラスと同時局所化とマッピング(SLAM)を同時に行うことができるかを示す。 分布モデルとコプラを逐次モンテカルロ推定器に統合し、勾配に基づく最適化によって未知のモデルパラメータがいかに学習できるかを示す。
  論文  参考訳（メタデータ） (2020-08-02T15:38:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。