論文の概要: Variational inference, Mixture of Gaussians, Bayesian Machine Learning
- arxiv url: http://arxiv.org/abs/2406.04012v1
- Date: Thu, 6 Jun 2024 12:38:59 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-07 14:59:54.646051
- Title: Variational inference, Mixture of Gaussians, Bayesian Machine Learning
- Title（参考訳）: 変分推論, ガウス混合, ベイズ機械学習
- Authors: Tom Huix, Anna Korba, Alain Durmus, Eric Moulines,
- Abstract要約: 変分推論(VI)はベイズ推定において一般的なアプローチである。
この研究は、非ガウスの場合のVIの理論研究に寄与することを目的としている。
- 参考スコア（独自算出の注目度）: 27.20127082606962
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Variational inference (VI) is a popular approach in Bayesian inference, that looks for the best approximation of the posterior distribution within a parametric family, minimizing a loss that is typically the (reverse) Kullback-Leibler (KL) divergence. Despite its empirical success, the theoretical properties of VI have only received attention recently, and mostly when the parametric family is the one of Gaussians. This work aims to contribute to the theoretical study of VI in the non-Gaussian case by investigating the setting of Mixture of Gaussians with fixed covariance and constant weights. In this view, VI over this specific family can be casted as the minimization of a Mollified relative entropy, i.e. the KL between the convolution (with respect to a Gaussian kernel) of an atomic measure supported on Diracs, and the target distribution. The support of the atomic measure corresponds to the localization of the Gaussian components. Hence, solving variational inference becomes equivalent to optimizing the positions of the Diracs (the particles), which can be done through gradient descent and takes the form of an interacting particle system. We study two sources of error of variational inference in this context when optimizing the mollified relative entropy. The first one is an optimization result, that is a descent lemma establishing that the algorithm decreases the objective at each iteration. The second one is an approximation error, that upper bounds the objective between an optimal finite mixture and the target distribution.
- Abstract（参考訳）: 変分推論 (VI) はベイズ推定において一般的な手法であり、パラメトリック族内の後方分布の最適近似を求め、典型的には(逆)クルバック・リーブラー(KL)の偏差である損失を最小化する。
経験的な成功にもかかわらず、第6の理論的性質は近年のみ注目されており、主にパラメトリック家がガウス家のものである。
この研究は、非ガウスの場合のVIの理論研究に寄与することを目的として、固定された共分散と一定の重みを持つガウスの混合の設定を調査した。
この見方では、この特定の族上の VI は、モリファイド相対エントロピーの最小化、すなわちディラックス上で支持される原子測度の畳み込み(ガウス核に関して)とターゲット分布の間の KL としてキャストすることができる。
原子測度の支持はガウス成分の局所化に対応する。
したがって、変分推論の解法は、ディラック(粒子)の位置を最適化するのと同値となり、これは勾配降下によって行われ、相互作用する粒子系の形を取ることができる。
そこで本研究では,モーラ化相対エントロピーの最適化において,この文脈における変分推論の誤差の2つの原因について検討する。
1つは最適化結果であり、これはアルゴリズムが反復毎に目的を減少させることを示す降下補題である。
第2の誤差は近似誤差であり、最適有限混合と対象分布の上限となる。
関連論文リスト
- Straightness of Rectified Flow: A Theoretical Insight into Wasserstein Convergence [54.580605276017096]
拡散モデルは画像生成とデノナイズのための強力なツールとして登場した。
最近、Liuらは新しい代替生成モデル Rectified Flow (RF) を設計した。
RFは,一連の凸最適化問題を用いて,ノイズからデータへの直流軌跡の学習を目的としている。
論文 参考訳（メタデータ） (2024-10-19T02:36:11Z) - Variance-Reducing Couplings for Random Features [57.73648780299374]
ランダム機能(RF)は、機械学習においてカーネルメソッドをスケールアップする一般的なテクニックである。
ユークリッド空間と離散入力空間の両方で定義されるRFを改善するための結合を求める。
パラダイムとしての分散還元の利点と限界について、驚くほどの結論に達した。
論文 参考訳（メタデータ） (2024-05-26T12:25:09Z) - Batch and match: black-box variational inference with a score-based divergence [26.873037094654826]
スコアに基づく発散に基づくブラックボックス変分推論(BBVI)の代替手法としてバッチ・アンド・マッチ(BaM)を提案する。
ELBO に基づく BBVI の先行実装よりもBaM の収束度が低いことを示す。
論文 参考訳（メタデータ） (2024-02-22T18:20:22Z) - Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。
本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
論文 参考訳（メタデータ） (2023-06-27T08:15:28Z) - Forward-backward Gaussian variational inference via JKO in the
Bures-Wasserstein Space [19.19325201882727]
変分推論 (VI) は、ターゲット分布の$pi$を、抽出可能な分布の族の元によって近似しようとする。
本研究では,フォワード・バック・ガウス変分推論(FB-GVI)アルゴリズムを開発し,ガウスVIを解く。
提案アルゴリズムでは,$pi$ が log-smooth かつ log-concave である場合に,最先端の収束保証が得られる。
論文 参考訳（メタデータ） (2023-04-10T19:49:50Z) - Riemannian optimization for non-centered mixture of scaled Gaussian
distributions [17.855338784378]
本稿では,スケールしたガウス分布(NC-MSG)の非中心混合の統計モデルについて検討する。
この分布に付随するフィッシャー・ラオ情報幾何を用いて、リーマン勾配降下アルゴリズムを導出する。
近距離セントロイド分類器は、KLの発散とその関連する質量中心を利用して実装される。
論文 参考訳（メタデータ） (2022-09-07T17:22:20Z) - How Good are Low-Rank Approximations in Gaussian Process Regression? [28.392890577684657]
2つの共通低ランクカーネル近似による近似ガウス過程(GP)回帰の保証を提供する。
理論境界の有効性を評価するため,シミュレーションデータと標準ベンチマークの両方について実験を行った。
論文 参考訳（メタデータ） (2021-12-13T04:04:08Z) - Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。
我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。
MRP のサブクラスに対する minimax の下位境界を証明する。
論文 参考訳（メタデータ） (2021-09-24T14:48:20Z) - Spectral clustering under degree heterogeneity: a case for the random
walk Laplacian [83.79286663107845]
本稿では,ランダムウォークラプラシアンを用いたグラフスペクトル埋め込みが,ノード次数に対して完全に補正されたベクトル表現を生成することを示す。
次数補正ブロックモデルの特別な場合、埋め込みはK個の異なる点に集中し、コミュニティを表す。
論文 参考訳（メタデータ） (2021-05-03T16:36:27Z) - Variational Transport: A Convergent Particle-BasedAlgorithm for Distributional Optimization [106.70006655990176]
分散最適化問題は機械学習や統計学で広く発生する。
本稿では,変分輸送と呼ばれる粒子に基づく新しいアルゴリズムを提案する。
目的関数がpolyak-Lojasiewicz (PL) (Polyak, 1963) の機能バージョンと滑らかな条件を満たすとき、変分輸送は線形に収束することを示す。
論文 参考訳（メタデータ） (2020-12-21T18:33:13Z) - How Good are Low-Rank Approximations in Gaussian Process Regression? [24.09582049403961]
2つの共通低ランクカーネル近似による近似ガウス過程(GP)回帰の保証を提供する。
理論境界の有効性を評価するため,シミュレーションデータと標準ベンチマークの両方について実験を行った。
論文 参考訳（メタデータ） (2020-04-03T14:15:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。