論文の概要: Mean-field Variational Inference via Wasserstein Gradient Flow

• arxiv url: http://arxiv.org/abs/2207.08074v2
• Date: Fri, 8 Sep 2023 04:43:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-11 18:58:31.355126
• Title: Mean-field Variational Inference via Wasserstein Gradient Flow
• Title（参考訳）: ワッサーシュタイン勾配流による平均場変動推定
• Authors: Rentian Yao, Yun Yang
• Abstract要約: 平均場(MF)近似のような変分推論は、効率的な計算のためにある種の共役構造を必要とする。 We introduced a general computer framework to implement MFal inference for Bayesian model with or without latent variables, using the Wasserstein gradient flow (WGF)。 本稿では,ニューラルネットワークを用いた制約のない関数近似手法を提案する。
• 参考スコア（独自算出の注目度）: 8.05603983337769
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Variational inference, such as the mean-field (MF) approximation, requires certain conjugacy structures for efficient computation. These can impose unnecessary restrictions on the viable prior distribution family and further constraints on the variational approximation family. In this work, we introduce a general computational framework to implement MF variational inference for Bayesian models, with or without latent variables, using the Wasserstein gradient flow (WGF), a modern mathematical technique for realizing a gradient flow over the space of probability measures. Theoretically, we analyze the algorithmic convergence of the proposed approaches, providing an explicit expression for the contraction factor. We also strengthen existing results on MF variational posterior concentration from a polynomial to an exponential contraction, by utilizing the fixed point equation of the time-discretized WGF. Computationally, we propose a new constraint-free function approximation method using neural networks to numerically realize our algorithm. This method is shown to be more precise and efficient than traditional particle approximation methods based on Langevin dynamics.
• Abstract（参考訳）: 平均場(MF)近似のような変分推論は、効率的な計算のためにある種の共役構造を必要とする。 これらは、有効な事前分布ファミリーに不要な制限を課し、さらに変動近似ファミリーに制限を加えることができる。 本研究では,確率測度の空間上の勾配流を実現する現代的な数学的手法であるwasserstein gradient flow(wgf)を用いて,潜在変数の有無にかかわらずベイズモデルのmf変分推論を実装するための汎用計算フレームワークを提案する。 理論的には,提案手法のアルゴリズム収束を解析し,収縮係数の明示的な表現を提供する。 また, 時間分解WGFの固定点方程式を用いて, 多項式から指数収縮へのMF変動後部濃度の既存の結果も強化する。 本稿では,ニューラルネットワークを用いた制約のない関数近似手法を提案する。 この方法はランゲヴィン力学に基づく従来の粒子近似法よりも正確で効率的であることが示されている。

関連論文リスト

• Moreau Envelope ADMM for Decentralized Weakly Convex Optimization [55.2289666758254]
  本稿では,分散最適化のための乗算器の交互方向法(ADMM)の近位変種を提案する。 数値実験の結果,本手法は広く用いられている手法よりも高速かつ堅牢であることが示された。
  論文  参考訳（メタデータ） (2023-08-31T14:16:30Z)
• Particle Mean Field Variational Bayes [3.4355075318742165]
  平均場変分ベイズ (MFVB) はベイズ推論の最も効率的な手法の1つである。 本稿では,MFVB法の適用性を大幅に拡大する新しい粒子ベースMFVB法を提案する。
  論文  参考訳（メタデータ） (2023-03-24T11:38:35Z)
• Interacting Particle Langevin Algorithm for Maximum Marginal Likelihood Estimation [2.53740603524637]
  我々は,最大限界推定法を実装するための相互作用粒子系のクラスを開発する。 特に、この拡散の定常測度のパラメータ境界がギブス測度の形式であることを示す。 特定の再スケーリングを用いて、このシステムの幾何学的エルゴディディティを証明し、離散化誤差を限定する。 時間的に一様で、粒子の数で増加しない方法で。
  論文  参考訳（メタデータ） (2023-03-23T16:50:08Z)
• D4FT: A Deep Learning Approach to Kohn-Sham Density Functional Theory [79.50644650795012]
  コーンシャム密度汎関数論(KS-DFT)を解くための深層学習手法を提案する。 このような手法はSCF法と同じ表現性を持つが,計算複雑性は低下する。 さらに,本手法により,より複雑なニューラルベース波動関数の探索が可能となった。
  論文  参考訳（メタデータ） (2023-03-01T10:38:10Z)
• Gradient Flows for Sampling: Mean-Field Models, Gaussian Approximations and Affine Invariance [10.153270126742369]
  確率密度空間とガウス空間の両方における勾配流について検討する。 ガウス空間のフローは、フローのガウス近似として理解することができる。
  論文  参考訳（メタデータ） (2023-02-21T21:44:08Z)
• Aspects of scaling and scalability for flow-based sampling of lattice QCD [137.23107300589385]
  格子場理論におけるサンプリングへの機械学習正規化流れの最近の応用は、そのような手法が臨界減速と位相凍結を緩和できる可能性を示唆している。 最先端の格子量子色力学計算に適用できるかどうかはまだ定かではない。
  論文  参考訳（メタデータ） (2022-11-14T17:07:37Z)
• Sampling with Mollified Interaction Energy Descent [57.00583139477843]
  モーフィファイド相互作用エネルギー降下(MIED)と呼ばれる新しい最適化に基づくサンプリング手法を提案する。 MIEDは、モル化相互作用エネルギー(MIE)と呼ばれる確率測度に関する新しいクラスのエネルギーを最小化する 我々は,制約のないサンプリング問題に対して,我々のアルゴリズムがSVGDのような既存の粒子ベースアルゴリズムと同等に動作することを示す。
  論文  参考訳（メタデータ） (2022-10-24T16:54:18Z)
• On Representations of Mean-Field Variational Inference [2.4316550366482357]
  平均場変動推論(MFVI)アルゴリズムを解析するためのフレームワークを提案する。 提案手法により,MFVI問題を3つの異なる方法で表現できる。 厳密な保証は、座標の漸進的変分推論アルゴリズムの時分割的な実装が限界の勾配フローをもたらすことを示すために確立される。
  論文  参考訳（メタデータ） (2022-10-20T16:26:22Z)
• Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
  正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。 一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
  論文  参考訳（メタデータ） (2022-02-23T06:11:49Z)
• An application of the splitting-up method for the computation of a neural network representation for the solution for the filtering equations [68.8204255655161]
  フィルタ方程式は、数値天気予報、金融、工学など、多くの現実の応用において中心的な役割を果たす。 フィルタリング方程式の解を近似する古典的なアプローチの1つは、分割法と呼ばれるPDEにインスパイアされた方法を使うことである。 我々はこの手法をニューラルネットワーク表現と組み合わせて、信号プロセスの非正規化条件分布の近似を生成する。
  論文  参考訳（メタデータ） (2022-01-10T11:01:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。