論文の概要: Mean field Variational Inference via Wasserstein Gradient Flow

• arxiv url: http://arxiv.org/abs/2207.08074v1
• Date: Sun, 17 Jul 2022 04:05:32 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-19 18:40:39.809008
• Title: Mean field Variational Inference via Wasserstein Gradient Flow
• Title（参考訳）: ワッサースタイン勾配流による平均場変動推定
• Authors: Rentian Yao, Yun Yang
• Abstract要約: 変分推論 (VI) はベイズ推論の実装に伝統的なサンプリングベースのアプローチに代わる魅力的な代替手段を提供する。 平均場(MF)近似のような一般的な変分近似スキームは、効率的な計算を容易にするために特定の共役構造を必要とする。 我々は,確率測度空間上の勾配流であるWGF(Wasserstein gradient flow)を用いて,MF-VIを実装するための一般計算フレームワークを開発した。
• 参考スコア（独自算出の注目度）: 4.943102630104881
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Variational inference (VI) provides an appealing alternative to traditional sampling-based approaches for implementing Bayesian inference due to its conceptual simplicity, statistical accuracy and computational scalability. However, common variational approximation schemes, such as the mean-field (MF) approximation, require certain conjugacy structure to facilitate efficient computation, which may add unnecessary restrictions to the viable prior distribution family and impose further constraints on the variational approximation family. In this work, we develop a general computational framework for implementing MF-VI via Wasserstein gradient flow (WGF), a gradient flow over the space of probability measures. When specialized to Bayesian latent variable models, we analyze the algorithmic convergence of an alternating minimization scheme based on a time-discretized WGF for implementing the MF approximation. In particular, the proposed algorithm resembles a distributional version of EM algorithm, consisting of an E-step of updating the latent variable variational distribution and an M-step of conducting steepest descent over the variational distribution of parameters. Our theoretical analysis relies on optimal transport theory and subdifferential calculus in the space of probability measures. We prove the exponential convergence of the time-discretized WGF for minimizing a generic objective functional given strict convexity along generalized geodesics. We also provide a new proof of the exponential contraction of the variational distribution obtained from the MF approximation by using the fixed-point equation of the time-discretized WGF. We apply our method and theory to two classic Bayesian latent variable models, the Gaussian mixture model and the mixture of regression model. Numerical experiments are also conducted to compliment the theoretical findings under these two models.
• Abstract（参考訳）: 変分推論(VI)は、その概念的単純さ、統計的精度、および計算スケーラビリティのためにベイズ推論を実装するための従来のサンプリングベースのアプローチに代わる魅力的な代替手段を提供する。 しかし、平均場(MF)近似のような一般的な変分近似スキームは、効率的な計算を容易にするためにある種の共役構造を必要とするため、有効前の分布族に不要な制約を加え、変分近似族にさらなる制約を課す可能性がある。 本研究では,確率測度空間上の勾配流であるワッサーシュタイン勾配流(WGF)を用いて,MF-VIを実装するための一般計算フレームワークを開発する。 ベイジアン潜在変数モデルに特化すると、MF近似を実装するための時間分散WGFに基づいて、交代最小化スキームのアルゴリズム収束を解析する。 特に, 提案手法は, 潜在変数変動分布を更新可能なeステップと, パラメータの変動分布上で最も急な降下を行うmステップからなるemアルゴリズムの分布バージョンに似ている。 我々の理論解析は、確率測度の空間における最適輸送理論と部分微分計算に依存する。 一般化測地線に沿って厳密な凸性を与える汎用目的関数を最小化するための時間離散化wgfの指数収束を証明した。 また、時間離散化wgfの固定点方程式を用いて、mf近似から得られる変分分布の指数的縮小の新たな証明を提供する。 本手法と理論を,ガウス混合モデルと回帰モデルの混合モデルという2つの古典的なベイズ潜在変数モデルに適用する。 この2つのモデルに基づく理論的知見を補完する数値実験も行った。

関連論文リスト

• Moreau Envelope ADMM for Decentralized Weakly Convex Optimization [55.2289666758254]
  本稿では,分散最適化のための乗算器の交互方向法(ADMM)の近位変種を提案する。 数値実験の結果,本手法は広く用いられている手法よりも高速かつ堅牢であることが示された。
  論文  参考訳（メタデータ） (2023-08-31T14:16:30Z)
• Particle Mean Field Variational Bayes [3.4355075318742165]
  平均場変分ベイズ (MFVB) はベイズ推論の最も効率的な手法の1つである。 本稿では,MFVB法の適用性を大幅に拡大する新しい粒子ベースMFVB法を提案する。
  論文  参考訳（メタデータ） (2023-03-24T11:38:35Z)
• Interacting Particle Langevin Algorithm for Maximum Marginal Likelihood Estimation [2.53740603524637]
  我々は,最大限界推定法を実装するための相互作用粒子系のクラスを開発する。 特に、この拡散の定常測度のパラメータ境界がギブス測度の形式であることを示す。 特定の再スケーリングを用いて、このシステムの幾何学的エルゴディディティを証明し、離散化誤差を限定する。 時間的に一様で、粒子の数で増加しない方法で。
  論文  参考訳（メタデータ） (2023-03-23T16:50:08Z)
• D4FT: A Deep Learning Approach to Kohn-Sham Density Functional Theory [79.50644650795012]
  コーンシャム密度汎関数論(KS-DFT)を解くための深層学習手法を提案する。 このような手法はSCF法と同じ表現性を持つが,計算複雑性は低下する。 さらに,本手法により,より複雑なニューラルベース波動関数の探索が可能となった。
  論文  参考訳（メタデータ） (2023-03-01T10:38:10Z)
• Gradient Flows for Sampling: Mean-Field Models, Gaussian Approximations and Affine Invariance [10.153270126742369]
  確率密度空間とガウス空間の両方における勾配流について検討する。 ガウス空間のフローは、フローのガウス近似として理解することができる。
  論文  参考訳（メタデータ） (2023-02-21T21:44:08Z)
• Aspects of scaling and scalability for flow-based sampling of lattice QCD [137.23107300589385]
  格子場理論におけるサンプリングへの機械学習正規化流れの最近の応用は、そのような手法が臨界減速と位相凍結を緩和できる可能性を示唆している。 最先端の格子量子色力学計算に適用できるかどうかはまだ定かではない。
  論文  参考訳（メタデータ） (2022-11-14T17:07:37Z)
• Sampling with Mollified Interaction Energy Descent [57.00583139477843]
  モーフィファイド相互作用エネルギー降下(MIED)と呼ばれる新しい最適化に基づくサンプリング手法を提案する。 MIEDは、モル化相互作用エネルギー(MIE)と呼ばれる確率測度に関する新しいクラスのエネルギーを最小化する 我々は,制約のないサンプリング問題に対して,我々のアルゴリズムがSVGDのような既存の粒子ベースアルゴリズムと同等に動作することを示す。
  論文  参考訳（メタデータ） (2022-10-24T16:54:18Z)
• On Representations of Mean-Field Variational Inference [2.4316550366482357]
  平均場変動推論(MFVI)アルゴリズムを解析するためのフレームワークを提案する。 提案手法により,MFVI問題を3つの異なる方法で表現できる。 厳密な保証は、座標の漸進的変分推論アルゴリズムの時分割的な実装が限界の勾配フローをもたらすことを示すために確立される。
  論文  参考訳（メタデータ） (2022-10-20T16:26:22Z)
• Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
  正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。 一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
  論文  参考訳（メタデータ） (2022-02-23T06:11:49Z)
• An application of the splitting-up method for the computation of a neural network representation for the solution for the filtering equations [68.8204255655161]
  フィルタ方程式は、数値天気予報、金融、工学など、多くの現実の応用において中心的な役割を果たす。 フィルタリング方程式の解を近似する古典的なアプローチの1つは、分割法と呼ばれるPDEにインスパイアされた方法を使うことである。 我々はこの手法をニューラルネットワーク表現と組み合わせて、信号プロセスの非正規化条件分布の近似を生成する。
  論文  参考訳（メタデータ） (2022-01-10T11:01:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。