論文の概要: Gaussian Mean Field Variational Inference can Overestimate Predictive Variance

• arxiv url: http://arxiv.org/abs/2606.25745v1
• Date: Wed, 24 Jun 2026 12:15:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 17:05:30.322853
• Title: Gaussian Mean Field Variational Inference can Overestimate Predictive Variance
• Title（参考訳）: ガウス平均場変動推定は予測変数を過大評価できる
• Authors: James Odgers, Ben Riegler, Siddharth Swaroop, Vincent Fortuin,
• Abstract要約: MFVI (Mean Field Variational Inference) は後部変分を過小評価するために広く理解されている。 MFVIはパラメータ空間の分散を過小評価するが、正確な後部よりも予測分散を過小評価できることを示す。
• 参考スコア（独自算出の注目度）: 9.544146562919792
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mean Field Variational Inference (MFVI) is widely understood to underestimate posterior variance. By analysing conjugate Bayesian Linear Regression (BLR), we show that this characterization is incomplete: while MFVI underestimates the variance in parameter space, it can overestimate the predictive variance compared to the exact posterior. We show that if the MFVI posterior underestimates predictive variances in some directions, it necessarily overestimates them in others. Crucially, this overestimation occurs in directions where the training data concentrates. This leads to the surprising result that, for a test point drawn from the training distribution, MFVI's expected predictive variance exceeds that of the exact posterior. We demonstrate a pathological case of this effect, where the MFVI posterior fails to reduce predictive variance compared to the prior on in distribution data. We connect these results to the Cold Posterior Effect, arguing that varying the temperature can correct this overestimation, yielding predictions closer to those of the exact posterior. We validate our theory on synthetic and real-world regression tasks.
• Abstract（参考訳）: MFVI (Mean Field Variational Inference) は後部変分を過小評価するために広く理解されている。 共役Bayesian Linear Regression (BLR) の解析により、この特徴は不完全であることを示す: MFVI はパラメータ空間の分散を過小評価するが、正確な後部よりも予測分散を過小評価する。 MFVI後部が何らかの方向の予測的変動を過小評価している場合、必ずしも他の方向の予測を過小評価していることを示す。 この過大評価は、トレーニングデータが集中する方向で行われる。 これは、トレーニング分布から引き出されたテストポイントに対して、MFVIの予測された予測分散が正確な後部よりも大きいという驚くべき結果をもたらす。 本研究は,MFVI後部が分布データよりも予測分散を低減できないという,この効果の病態事例を示す。 これらの結果は冷後効果と結びついており、温度の変化によってこの過大評価を補正でき、正確な後部の温度に近い予測が得られると主張している。 合成および実世界の回帰タスクに関する我々の理論を検証する。

関連論文リスト

• Variational predictive resampling [2.756584457554517]
  本研究では,VI の予測強度を利用した拡張性のある後方サンプリング手法を提案する。 VPRは後方不確実性の定量化を著しく改善し,MF-VIで欠落した後方依存を回復することを示した。
  論文  参考訳（メタデータ） (2026-05-11T19:26:54Z)
• Diffusion-Based Posterior Sampling: A Feynman-Kac Analysis of Bias and Stability [13.640937605089865]
  拡散に基づく後部サンプリングは、測定または報酬条件後部からのサンプリングに事前訓練された拡散を利用する。 本稿では,真の後部を標準ガウスに接続し,サンプルパスと比較するトラクタブルサロゲートパスを提案する。 ファインマン・カックの表現は、ラドン・ニコディムの補正を明示的な経路予測として表現し、どの後部領域がオーバーサンプリングかアンダーサンプリングされているかを特定する。
  論文  参考訳（メタデータ） (2026-05-07T16:37:29Z)
• Nearly Optimal Bayesian Inference for Structural Missingness [23.988531482641307]
  ベイズ的な見方では、後続の予測分布による予測は、完全なモデル後続の不確実性の上に統合される。 このフレームワークは、(II)ラベル予測からモデル内の欠損値後部を学習し、予測後部分布を最適化する。 43の分類と15の計算ベンチマークでSOTAを達成し、ベイズ最適性保証の近くに有限サンプルを持つ。
  論文  参考訳（メタデータ） (2026-01-26T14:03:11Z)
• Causal vs. Anticausal merging of predictors [57.26526031579287]
  同じデータを用いて、因果方向と反因果方向の融合予測器から生じる差について検討した。 帰納的バイアスとしてCausal Maximum Entropy (CMAXENT) を用いて予測器をマージする。
  論文  参考訳（メタデータ） (2025-01-14T20:38:15Z)
• Risk and cross validation in ridge regression with correlated samples [72.59731158970894]
  我々は,データポイントが任意の相関関係を持つ場合,リッジ回帰のイン・オブ・サンプルリスクのトレーニング例を提供する。 この設定では、一般化されたクロスバリデーション推定器(GCV)がサンプル外リスクを正確に予測できないことを示す。 さらに、テストポイントがトレーニングセットと非自明な相関を持つ場合、時系列予測でしばしば発生する設定にまで分析を拡張します。
  論文  参考訳（メタデータ） (2024-08-08T17:27:29Z)
• TIC-TAC: A Framework for Improved Covariance Estimation in Deep Heteroscedastic Regression [109.69084997173196]
  奥行き回帰は、予測分布の平均と共分散を負の対数類似度を用いて共同最適化する。 近年の研究では, 共分散推定に伴う課題により, 準最適収束が生じる可能性が示唆されている。 1)予測共分散は予測平均のランダム性を真に捉えているか? その結果, TICは共分散を正確に学習するだけでなく, 負の対数類似性の収束性の向上も促進することがわかった。
  論文  参考訳（メタデータ） (2023-10-29T09:54:03Z)
• Quantifying predictive uncertainty of aphasia severity in stroke patients with sparse heteroscedastic Bayesian high-dimensional regression [47.1405366895538]
  高次元データに対する疎線型回帰法は、通常、残留物が一定の分散を持つと仮定するが、これは実際には破ることができる。 本稿では,ヘテロセダスティック分割経験的ベイズ期待条件最大化アルゴリズムを用いて,高次元ヘテロセダスティック線形回帰モデルを推定する。
  論文  参考訳（メタデータ） (2023-09-15T22:06:29Z)
• Variational Prediction [95.00085314353436]
  本稿では,変動境界を用いた後部予測分布に対する変動近似の学習手法を提案する。 このアプローチは、テスト時間の限界化コストを伴わずに、優れた予測分布を提供することができる。
  論文  参考訳（メタデータ） (2023-07-14T18:19:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。