論文の概要: Mode Collapse of Mean-Field Variational Inference

• arxiv url: http://arxiv.org/abs/2510.17063v1
• Date: Mon, 20 Oct 2025 00:36:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 00:56:39.272751
• Title: Mode Collapse of Mean-Field Variational Inference
• Title（参考訳）: 平均場変分推論のモード崩壊
• Authors: Shunan Sheng, Bohan Wu, Alberto González-Sanz,
• Abstract要約: MFVI(Mean-field variational Inference)は、積測度によって高次元確率分布を近似する手法である。 MFVIがしばしばモード崩壊を経験的に観察されている。 この研究は、MFVIにおけるモード崩壊に関する最初の理論的説明を提供する。
• 参考スコア（独自算出の注目度）: 4.066374684981644
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mean-field variational inference (MFVI) is a widely used method for approximating high-dimensional probability distributions by product measures. It has been empirically observed that MFVI optimizers often suffer from mode collapse. Specifically, when the target measure $\pi$ is a mixture $\pi = w P_0 + (1 - w) P_1$, the MFVI optimizer tends to place most of its mass near a single component of the mixture. This work provides the first theoretical explanation of mode collapse in MFVI. We introduce the notion to capture the separatedness of the two mixture components -- called $\varepsilon$-separateness -- and derive explicit bounds on the fraction of mass that any MFVI optimizer assigns to each component when $P_0$ and $P_1$ are $\varepsilon$-separated for sufficiently small $\varepsilon$. Our results suggest that the occurrence of mode collapse crucially depends on the relative position of the components. To address this issue, we propose the rotational variational inference (RoVI), which augments MFVI with a rotation matrix. The numerical studies support our theoretical findings and demonstrate the benefits of RoVI.
• Abstract（参考訳）: MFVI(Mean-field variational Inference)は、積測度による高次元確率分布の近似法として広く用いられている手法である。 MFVIオプティマイザがしばしばモード崩壊に悩まされることが実証されている。 具体的には、ターゲット測度 $\pi$ が混合 $\pi = w P_0 + (1 - w) P_1$ であるとき、MFVIオプティマイザはその質量の大部分を混合物の1つの成分の近くに配置する傾向にある。 この研究は、MFVIにおけるモード崩壊に関する最初の理論的説明を提供する。 P_0$と$P_1$が$\varepsilon$-separated for enough small $\varepsilon$であるとき、MFVIオプティマイザが各コンポーネントに割り当てる質量の分数に対する明示的な境界を導出する。 以上の結果から,モード崩壊の発生は成分の相対的な位置に依存することが示唆された。 この問題を解決するために、回転行列でMFVIを増大させる回転変分推論(RoVI)を提案する。 本研究は,RoVIの利点を実証し,理論的知見を裏付けるものである。

関連論文リスト

• Provable Benefit of Annealed Langevin Monte Carlo for Non-log-concave Sampling [28.931489333515618]
  簡単なアンニール型Langevin Monte Carloアルゴリズムに対して$widetildeOleft(fracdbeta2cal A2varepsilon6right)のオラクル複雑性を確立する。 例えば、$cal A$ は対象分布 $pi$ と容易にサンプリング可能な分布を補間する確率測度の曲線の作用を表す。
  論文  参考訳（メタデータ） (2024-07-24T02:15:48Z)
• Statistical Learning under Heterogeneous Distribution Shift [71.8393170225794]
  ground-truth predictor is additive $mathbbE[mathbfz mid mathbfx,mathbfy] = f_star(mathbfx) +g_star(mathbfy)$.
  論文  参考訳（メタデータ） (2023-02-27T16:34:21Z)
• The Shrinkage-Delinkage Trade-off: An Analysis of Factorized Gaussian Approximations for Variational Inference [3.167685495996986]
  変分推論の不確かさを測る2つの一般的な方法を考える(VI) 我々は、$q$は常に成分的分散と$p$のエントロピーの両方を過小評価していることを証明している。 特に,問題の大きさが大きくなるにつれて,各成分のエントロピーギャップは消滅する。
  論文  参考訳（メタデータ） (2023-02-17T22:21:47Z)
• Condition-number-independent Convergence Rate of Riemannian Hamiltonian Monte Carlo with Numerical Integrators [22.49731518828916]
  我々は、$m制約のあるポリトープ上の$e-alphatopx$の形式での分布に対して、一般的に使用される$の族の収束率は、$leftVert alpharightVert$とポリトープの幾何学とは独立であることを示す。 これらの保証は、多様体と積分子のパラメータの項で$e-f(x)$という形の密度の収束率の一般境界に基づいている。
  論文  参考訳（メタデータ） (2022-10-13T17:46:51Z)
• Log-based Sparse Nonnegative Matrix Factorization for Data Representation [55.72494900138061]
  非負の行列因子化(NMF)は、非負のデータを部品ベースの表現で表すことの有効性から、近年広く研究されている。 そこで本研究では,係数行列に対数ノルムを課した新しいNMF法を提案する。 提案手法のロバスト性を高めるために,$ell_2,log$-(pseudo) ノルムを新たに提案した。
  論文  参考訳（メタデータ） (2022-04-22T11:38:10Z)
• A Random Matrix Analysis of Random Fourier Features: Beyond the Gaussian Kernel, a Precise Phase Transition, and the Corresponding Double Descent [85.77233010209368]
  本稿では、データサンプルの数が$n$である現実的な環境で、ランダムフーリエ(RFF)回帰の正確さを特徴付けます。 この分析はまた、大きな$n,p,N$のトレーニングとテスト回帰エラーの正確な推定も提供する。
  論文  参考訳（メタデータ） (2020-06-09T02:05:40Z)
• Robustly Learning any Clusterable Mixture of Gaussians [55.41573600814391]
  本研究では,高次元ガウス混合系の対向ロバスト条件下での効率的な学習性について検討する。 理論的に最適に近い誤り証明である$tildeO(epsilon)$の情報を、$epsilon$-corrupted $k$-mixtureで学習するアルゴリズムを提供する。 我々の主な技術的貢献は、ガウス混合系からの新しい頑健な識別可能性証明クラスターであり、これは正方形の定度証明システムによって捉えることができる。
  論文  参考訳（メタデータ） (2020-05-13T16:44:12Z)
• Curse of Dimensionality on Randomized Smoothing for Certifiable Robustness [151.67113334248464]
  我々は、他の攻撃モデルに対してスムースな手法を拡張することは困難であることを示す。 我々はCIFARに関する実験結果を示し,その理論を検証した。
  論文  参考訳（メタデータ） (2020-02-08T22:02:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。