論文の概要: Variational predictive resampling
- arxiv url: http://arxiv.org/abs/2605.11168v2
- Date: Wed, 13 May 2026 02:00:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-14 17:13:58.873929
- Title: Variational predictive resampling
- Title(参考訳): 変分予測再サンプリング
- Authors: Laura Battaglia, Stefano Cortinovis, Chris Holmes, David T. Frazier, Jack Jewson,
- Abstract要約: 本研究では,VI の予測強度を利用した拡張性のある後方サンプリング手法を提案する。
VPRは後方不確実性の定量化を著しく改善し,MF-VIで欠落した後方依存を回復することを示した。
- 参考スコア(独自算出の注目度): 2.756584457554517
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Bayesian inference provides principled uncertainty quantification, but accurate posterior sampling with MCMC can be computationally prohibitive for modern applications. Variational inference (VI) offers a scalable alternative and often yields accurate predictive distributions, but cheap variational families such as mean-field (MF) can produce over-concentrated approximations that miss posterior dependence. We propose variational predictive resampling (VPR), a scalable posterior sampling method that exploits VI's predictive strength within a predictive-resampling framework to better approximate the Bayesian posterior. Given a prior-likelihood pair, VPR repeatedly imputes future observations from the current variational predictive, updates the variational approximation after each imputation, and records the parameter value implied by the completed sample. We establish conditions under which the law of the parameter returned by VPR is well defined and show that its finite-horizon approximation converges to this limit. In a tractable Gaussian location model, we show that VPR with MF variational predictives converges to the exact Bayesian posterior, whereas the optimal MF-VI approximation retains a non-vanishing asymptotic gap. Experiments on linear regression, logistic regression, and hierarchical linear mixed-effects models demonstrate that VPR substantially improves posterior uncertainty quantification and recovers posterior dependence missed by MF-VI, while remaining computationally competitive with, and often more efficient than, MCMC.
- Abstract(参考訳): ベイズ推論は原理的な不確実性定量化を提供するが、MCMCによる正確な後方サンプリングは現代の応用では計算が禁止される。
変分推論(VI)は、スケーラブルな代替手段を提供し、しばしば正確な予測分布をもたらすが、平均場(MF)のような安価な変分族は、後方依存を欠いた過集中近似を生成することができる。
本研究では, ベイズ後部を精度良く近似するために, VI の予測強度を利用する拡張性のある後部サンプリング手法である変分予測再サンプリング (VPR) を提案する。
先行的なペアが与えられた場合、VPRは、現在の変動予測から将来の観測を繰り返し示唆し、各計算後の変動近似を更新し、完了したサンプルによって入力されたパラメータ値を記録する。
VPRによって返されるパラメータの法則がよく定義される条件を確立し、その有限水平近似がこの極限に収束することを示す。
トラクタブルなガウス位置モデルでは、MF変動予測を伴うVPRが正確なベイズ後方に収束するのに対し、最適のMF-VI近似は消滅しない漸近的ギャップを保っていることを示す。
線形回帰、ロジスティック回帰、階層線形混合効果モデルの実験により、VPRは後続の不確かさの定量化を著しく改善し、MF-VIで欠落した後続の依存を回復する一方で、計算的に競合し、MCMCよりも効率的であることが示されている。
関連論文リスト
- Predictively Oriented Posteriors [4.135680181585462]
我々はパラメータ推定と密度推定の両方の最も望ましい側面を組み合わせた新しい統計原理を提唱する。
PrO後部は予測最適モデル平均に$n-1/2$で収束する。
平均場ランゲヴィン動力学に基づく進化粒子からPrO後部を採取できることが示される。
論文 参考訳(メタデータ) (2025-10-02T11:33:26Z) - Stability of Mean-Field Variational Inference [3.5729687931166136]
平均場推論(英: Mean-field Inference, MFVI)は、積測度による高次元確率分布の近似法として広く用いられている手法である。
MFVI は対象電位によって微分可能であり、偏微分方程式により微分を特徴づけることを示す。
論文 参考訳(メタデータ) (2025-06-09T15:21:37Z) - In-Context Parametric Inference: Point or Distribution Estimators? [66.22308335324239]
償却点推定器は一般に後部推論より優れているが、後者は低次元問題では競争力がある。
実験の結果, 償却点推定器は一般に後部推定より優れているが, 後者は低次元問題では競争力があることがわかった。
論文 参考訳(メタデータ) (2025-02-17T10:00:24Z) - Quantifying predictive uncertainty of aphasia severity in stroke patients with sparse heteroscedastic Bayesian high-dimensional regression [47.1405366895538]
高次元データに対する疎線型回帰法は、通常、残留物が一定の分散を持つと仮定するが、これは実際には破ることができる。
本稿では,ヘテロセダスティック分割経験的ベイズ期待条件最大化アルゴリズムを用いて,高次元ヘテロセダスティック線形回帰モデルを推定する。
論文 参考訳(メタデータ) (2023-09-15T22:06:29Z) - Variational Inference with Coverage Guarantees in Simulation-Based Inference [18.818573945984873]
コンフォーマル化補正ニューラル変分推論(CANVI)を提案する。
CANVIは各候補に基づいて共形予測器を構築し、予測効率と呼ばれる計量を用いて予測器を比較し、最も効率的な予測器を返す。
我々は,CANVIが生成する領域の予測効率の低い境界を証明し,その近似に基づいて,後部近似の品質と予測領域の予測効率の関係について検討する。
論文 参考訳(メタデータ) (2023-05-23T17:24:04Z) - Variational Laplace Autoencoders [53.08170674326728]
変分オートエンコーダは、遅延変数の後部を近似するために、償却推論モデルを用いる。
完全分解ガウス仮定の限定的後部表現性に対処する新しい手法を提案する。
また、深部生成モデルのトレーニングのための変分ラプラスオートエンコーダ(VLAE)という一般的なフレームワークも提示する。
論文 参考訳(メタデータ) (2022-11-30T18:59:27Z) - Sparse high-dimensional linear regression with a partitioned empirical
Bayes ECM algorithm [62.997667081978825]
疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。
パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。
提案手法はRパッケージプローブに実装されている。
論文 参考訳(メタデータ) (2022-09-16T19:15:50Z) - Variational Refinement for Importance Sampling Using the Forward
Kullback-Leibler Divergence [77.06203118175335]
変分推論(VI)はベイズ推論における正確なサンプリングの代替として人気がある。
重要度サンプリング(IS)は、ベイズ近似推論手順の推定を微調整し、偏りを逸脱するためにしばしば用いられる。
近似ベイズ推論のための最適化手法とサンプリング手法の新たな組み合わせを提案する。
論文 参考訳(メタデータ) (2021-06-30T11:00:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。