論文の概要: Stability of Mean-Field Variational Inference

• arxiv url: http://arxiv.org/abs/2506.07856v1
• Date: Mon, 09 Jun 2025 15:21:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 16:33:11.020694
• Title: Stability of Mean-Field Variational Inference
• Title（参考訳）: 平均場変分推論の安定性
• Authors: Shunan Sheng, Bohan Wu, Alberto González-Sanz, Marcel Nutz,
• Abstract要約: 平均場推論(英: Mean-field Inference, MFVI)は、積測度による高次元確率分布の近似法として広く用いられている手法である。 MFVI は対象電位によって微分可能であり、偏微分方程式により微分を特徴づけることを示す。
• 参考スコア（独自算出の注目度）: 3.5729687931166136
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mean-field variational inference (MFVI) is a widely used method for approximating high-dimensional probability distributions by product measures. This paper studies the stability properties of the mean-field approximation when the target distribution varies within the class of strongly log-concave measures. We establish dimension-free Lipschitz continuity of the MFVI optimizer with respect to the target distribution, measured in the 2-Wasserstein distance, with Lipschitz constant inversely proportional to the log-concavity parameter. Under additional regularity conditions, we further show that the MFVI optimizer depends differentiably on the target potential and characterize the derivative by a partial differential equation. Methodologically, we follow a novel approach to MFVI via linearized optimal transport: the non-convex MFVI problem is lifted to a convex optimization over transport maps with a fixed base measure, enabling the use of calculus of variations and functional analysis. We discuss several applications of our results to robust Bayesian inference and empirical Bayes, including a quantitative Bernstein--von Mises theorem for MFVI, as well as to distributed stochastic control.
• Abstract（参考訳）: MFVI(Mean-field variational Inference)は、積測度による高次元確率分布の近似法として広く用いられている手法である。 本稿では, 対数対数測度のクラス内で目標分布が変化する場合の平均場近似の安定性について検討する。 我々は、2-ワッサーシュタイン距離で測定されたMFVIオプティマイザの次元自由リプシッツ連続性を、対数共振パラメータに逆比例して確立する。 さらなる正則性条件の下では、MFVIオプティマイザが対象電位に微分依存し、偏微分方程式によって微分を特徴づけることも示している。 線形化された最適輸送によるMFVIへの新しいアプローチに従う:非凸MFVI問題は、固定基底測度を持つ輸送地図上の凸最適化に持ち上げられ、変動計算と機能解析の活用を可能にする。 我々は、MFVIに対するベルンシュタイン-ヴォン・ミセスの定量的定理や分散確率制御など、ロバストなベイズ予想や経験的ベイズに対する我々の結果のいくつかの応用について論じる。

関連論文リスト

• Variational Inference for Latent Variable Models in High Dimensions [4.3012765978447565]
  後部近似のための平均場変動LDA(MFVI)の統計的精度を定量化するための一般的な枠組みを提案する。 我々は、有名なディリクレ割当(モデル)について「MFVIが機能する正確な体制」をつかむ。 このモデルに対して部分的にグループ化されたVIアルゴリズムを提案し,その動作を示し,その正確な性能を導出する。
  論文  参考訳（メタデータ） (2025-06-02T17:19:58Z)
• Learning over von Mises-Fisher Distributions via a Wasserstein-like Geometry [0.0]
  我々は、フォン・ミセス・フィッシャー(vMF)分布の族に対する幾何対応距離計量を導入する。 最適輸送の理論により、2つの vMF 分布間の相違を2つの解釈可能な成分に分解するワッサーシュタインのような距離を提案する。
  論文  参考訳（メタデータ） (2025-04-19T03:38:15Z)
• Flow matching achieves almost minimax optimal convergence [50.38891696297888]
  フローマッチング (FM) は, シミュレーションのない生成モデルとして注目されている。 本稿では,大試料径のFMの収束特性を$p$-Wasserstein 距離で論じる。 我々は、FMが1leq p leq 2$でほぼ最小の収束率を達成できることを確立し、FMが拡散モデルに匹敵する収束率に達するという最初の理論的証拠を示す。
  論文  参考訳（メタデータ） (2024-05-31T14:54:51Z)
• Bayesian Model Selection via Mean-Field Variational Approximation [10.433170683584994]
  平均場(MF)推論の非漸近特性をベイズ的枠組みの下で検討する。 BvM(Bernstein von-Mises)定理は、MF からの変分分布をモデル的不特定性(英語版)の下で表す。
  論文  参考訳（メタデータ） (2023-12-17T04:48:25Z)
• Moreau Envelope ADMM for Decentralized Weakly Convex Optimization [55.2289666758254]
  本稿では,分散最適化のための乗算器の交互方向法(ADMM)の近位変種を提案する。 数値実験の結果,本手法は広く用いられている手法よりも高速かつ堅牢であることが示された。
  論文  参考訳（メタデータ） (2023-08-31T14:16:30Z)
• Mean-field Variational Inference via Wasserstein Gradient Flow [8.05603983337769]
  平均場(MF)近似のような変分推論は、効率的な計算のためにある種の共役構造を必要とする。 We introduced a general computer framework to implement MFal inference for Bayesian model with or without latent variables, using the Wasserstein gradient flow (WGF)。 本稿では,ニューラルネットワークを用いた制約のない関数近似手法を提案する。
  論文  参考訳（メタデータ） (2022-07-17T04:05:32Z)
• Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
  正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。 一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
  論文  参考訳（メタデータ） (2022-02-23T06:11:49Z)
• Variational Refinement for Importance Sampling Using the Forward Kullback-Leibler Divergence [77.06203118175335]
  変分推論(VI)はベイズ推論における正確なサンプリングの代替として人気がある。 重要度サンプリング(IS)は、ベイズ近似推論手順の推定を微調整し、偏りを逸脱するためにしばしば用いられる。 近似ベイズ推論のための最適化手法とサンプリング手法の新たな組み合わせを提案する。
  論文  参考訳（メタデータ） (2021-06-30T11:00:24Z)
• Stochastic Normalizing Flows [52.92110730286403]
  微分方程式(SDE)を用いた最大推定と変分推論のための正規化フロー(VI)を導入する。 粗い経路の理論を用いて、基礎となるブラウン運動は潜在変数として扱われ、近似され、神経SDEの効率的な訓練を可能にする。 これらのSDEは、与えられたデータセットの基盤となる分布からサンプリングする効率的なチェーンを構築するために使用することができる。
  論文  参考訳（メタデータ） (2020-02-21T20:47:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。