論文の概要: Variational Inference with Mixtures of Isotropic Gaussians

• arxiv url: http://arxiv.org/abs/2506.13613v1
• Date: Mon, 16 Jun 2025 15:42:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-17 17:28:48.884541
• Title: Variational Inference with Mixtures of Isotropic Gaussians
• Title（参考訳）: 等方的ガウスの混合による変分推論
• Authors: Marguerite Petit-Talamon, Marc Lambert, Anna Korba,
• Abstract要約: 変分推論 (VI) はベイズ推定において一般的な手法であり、パラメトリック族内の後部分布の最適近似を求める。 我々は変分フレームワークを開発し、このファミリーに適した効率的なアルゴリズムを提供する。
• 参考スコア（独自算出の注目度）: 8.365869192421865
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Variational inference (VI) is a popular approach in Bayesian inference, that looks for the best approximation of the posterior distribution within a parametric family, minimizing a loss that is typically the (reverse) Kullback-Leibler (KL) divergence. In this paper, we focus on the following parametric family: mixtures of isotropic Gaussians (i.e., with diagonal covariance matrices proportional to the identity) and uniform weights. We develop a variational framework and provide efficient algorithms suited for this family. In contrast with mixtures of Gaussian with generic covariance matrices, this choice presents a balance between accurate approximations of multimodal Bayesian posteriors, while being memory and computationally efficient. Our algorithms implement gradient descent on the location of the mixture components (the modes of the Gaussians), and either (an entropic) Mirror or Bures descent on their variance parameters. We illustrate the performance of our algorithms on numerical experiments.
• Abstract（参考訳）: 変分推論 (VI) はベイズ推定において一般的な手法であり、パラメトリック族内の後方分布の最適近似を求め、典型的には(逆)クルバック・リーブラー(KL)の偏差である損失を最小化する。 本稿では,等方性ガウス行列(等方性ガウス行列と同一性に比例した対角共分散行列)と一様重みの混合について述べる。 我々は変分フレームワークを開発し、このファミリーに適した効率的なアルゴリズムを提供する。 ガウス行列と一般的な共分散行列の混合とは対照的に、この選択はメモリと計算効率の両立した多モードベイズ後方の正確な近似のバランスを示す。 我々のアルゴリズムは混合成分(ガウスのモード)の位置の勾配降下を実装し、(エントロピー的な)ミラー降下またはビュール降下はそれらの分散パラメータに依存する。 本稿では,数値実験におけるアルゴリズムの性能について述べる。

関連論文リスト

• Batch, match, and patch: low-rank approximations for score-based variational inference [8.840147522046651]
  ブラックボックス変分推論は高次元問題に対して不十分にスケールする。 スコアベースのBBVIのためのバッチ・アンド・マッチ(BaM)フレームワークを拡張した。 提案手法は,高次元推論における多種多様な合成対象分布と実世界の問題に対して評価する。
  論文  参考訳（メタデータ） (2024-10-29T17:42:56Z)
• Theoretical Guarantees for Variational Inference with Fixed-Variance Mixture of Gaussians [27.20127082606962]
  変分推論(VI)はベイズ推定において一般的なアプローチである。 この研究は、非ガウスの場合のVIの理論研究に寄与することを目的としている。
  論文  参考訳（メタデータ） (2024-06-06T12:38:59Z)
• Manifold Gaussian Variational Bayes on the Precision Matrix [70.44024861252554]
  複雑なモデルにおける変分推論(VI)の最適化アルゴリズムを提案する。 本研究では,変分行列上の正定値制約を満たすガウス変分推論の効率的なアルゴリズムを開発した。 MGVBPはブラックボックスの性質のため、複雑なモデルにおけるVIのための準備が整ったソリューションである。
  論文  参考訳（メタデータ） (2022-10-26T10:12:31Z)
• Theoretical Error Analysis of Entropy Approximation for Gaussian Mixtures [0.6990493129893112]
  本稿では, 混合係数による一様ガウス分布のエントロピーの和として表される近似エントロピーについて検討する。 理論的には、真と近似エントロピーの間の近似誤差を解析し、この近似が効果的に機能するかどうかを明らかにする。 本結果は,ニューラルネットワークなどの高次元問題に対して,この近似が有効であることを示す。
  論文  参考訳（メタデータ） (2022-02-26T04:49:01Z)
• Spectral clustering under degree heterogeneity: a case for the random walk Laplacian [83.79286663107845]
  本稿では,ランダムウォークラプラシアンを用いたグラフスペクトル埋め込みが,ノード次数に対して完全に補正されたベクトル表現を生成することを示す。 次数補正ブロックモデルの特別な場合、埋め込みはK個の異なる点に集中し、コミュニティを表す。
  論文  参考訳（メタデータ） (2021-05-03T16:36:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。