論文の概要: Statistical and Computational Trade-offs in Variational Inference: A
Case Study in Inferential Model Selection
- arxiv url: http://arxiv.org/abs/2207.11208v1
- Date: Fri, 22 Jul 2022 17:16:05 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-25 12:45:55.190459
- Title: Statistical and Computational Trade-offs in Variational Inference: A
Case Study in Inferential Model Selection
- Title（参考訳）: 変分推論における統計的および計算的トレードオフ--推論モデル選択を事例として
- Authors: Kush Bhatia, Nikki Lijing Kuang, Yi-An Ma, Yixin Wang
- Abstract要約: 変分推論は、最近、古典的マルコフ連鎖モンテカルロの代替として人気がある。
変分推論におけるこの統計的および計算的トレードオフを、推論モデル選択におけるケーススタディにより検討する。
計算予算が固定された場合、低階推論モデルは、より高い統計的近似誤差を持つ変分後部を生成するが、より低い計算誤差を生じることを証明した。
- 参考スコア（独自算出の注目度）: 27.817156428797567
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Variational inference has recently emerged as a popular alternative to the
classical Markov chain Monte Carlo (MCMC) in large-scale Bayesian inference.
The core idea of variational inference is to trade statistical accuracy for
computational efficiency. It aims to approximate the posterior, reducing
computation costs but potentially compromising its statistical accuracy. In
this work, we study this statistical and computational trade-off in variational
inference via a case study in inferential model selection. Focusing on Gaussian
inferential models (a.k.a. variational approximating families) with diagonal
plus low-rank precision matrices, we initiate a theoretical study of the
trade-offs in two aspects, Bayesian posterior inference error and frequentist
uncertainty quantification error. From the Bayesian posterior inference
perspective, we characterize the error of the variational posterior relative to
the exact posterior. We prove that, given a fixed computation budget, a
lower-rank inferential model produces variational posteriors with a higher
statistical approximation error, but a lower computational error; it reduces
variances in stochastic optimization and, in turn, accelerates convergence.
From the frequentist uncertainty quantification perspective, we consider the
precision matrix of the variational posterior as an uncertainty estimate. We
find that, relative to the true asymptotic precision, the variational
approximation suffers from an additional statistical error originating from the
sampling uncertainty of the data. Moreover, this statistical error becomes the
dominant factor as the computation budget increases. As a consequence, for
small datasets, the inferential model need not be full-rank to achieve optimal
estimation error. We finally demonstrate these statistical and computational
trade-offs inference across empirical studies, corroborating the theoretical
findings.
- Abstract（参考訳）: 変分推論は、最近、大規模なベイズ推定において古典的マルコフ連鎖モンテカルロ(MCMC)の代替として人気である。
変分推論の基本的な考え方は、計算効率の統計的精度を交換することである。
計算コストを削減しつつも、統計的精度を損なう可能性がある。
本研究では,変分推論におけるこの統計的および計算的トレードオフを,推論モデル選択におけるケーススタディを通じて検討する。
対角線と低ランクの精度行列を持つガウス不変量モデル(すなわち変分近似族)に着目し,ベイズ後方推定誤差と頻繁な不確実性定量誤差の2つの側面におけるトレードオフの理論研究を開始する。
ベイズ後後方推定の観点からは、正確な後後方に対する変動後後方の誤差を特徴付ける。
一定の計算予算が与えられると、より低いランクの推論モデルがより高い統計近似誤差を持つ変分後部を生成するが、計算誤差は低く、確率的最適化における分散を減少させ、さらに収束を加速する。
頻繁な不確実性定量化の観点から、変分後部の精度行列を不確実性推定とする。
真の漸近的精度と比較して、変動近似はデータのサンプリングの不確実性に起因する追加の統計的誤差に悩まされる。
さらに、計算予算が増加するにつれて、この統計誤差が支配的要因となる。
その結果、小さなデータセットでは、最適推定誤差を達成するために推論モデルがフルランクである必要はない。
我々は、これらの統計的および計算的トレードオフを経験的研究で証明し、理論的な発見を裏付ける。
関連論文リスト
- Variational Bayesian surrogate modelling with application to robust design optimisation [0.9626666671366836]
サロゲートモデルは複雑な計算モデルに対して素早く評価できる近似を提供する。
入力の不確かさと次元減少を伴う統計的代理を構築するためのベイズ推定について考察する。
コスト関数がモデル出力の平均および標準偏差の重み付け和に依存するような本質的で頑健な構造最適化問題を示す。
論文 参考訳（メタデータ） (2024-04-23T09:22:35Z) - Scalable Bayesian inference for the generalized linear mixed model [2.45365913654612]
本稿では,AIとベイズ推論の交点に統計的推論アルゴリズムを導入する。
我々のアルゴリズムは、相関データの処理に対処する新しい貢献を伴う勾配MCMCの拡張である。
我々はこのアルゴリズムを大規模な電子健康記録データベースに適用する。
論文 参考訳（メタデータ） (2024-03-05T14:35:34Z) - Calibrating Neural Simulation-Based Inference with Differentiable
Coverage Probability [50.44439018155837]
ニューラルモデルのトレーニング目的に直接キャリブレーション項を含めることを提案する。
古典的なキャリブレーション誤差の定式化を緩和することにより、エンドツーエンドのバックプロパゲーションを可能にする。
既存の計算パイプラインに直接適用でき、信頼性の高いブラックボックス後部推論が可能である。
論文 参考訳（メタデータ） (2023-10-20T10:20:45Z) - Selective Nonparametric Regression via Testing [54.20569354303575]
本研究では,所定の点における条件分散の値に関する仮説を検証し,留置手順を開発する。
既存の手法とは異なり、提案手法は分散自体の値だけでなく、対応する分散予測器の不確実性についても考慮することができる。
論文 参考訳（メタデータ） (2023-09-28T13:04:11Z) - The Implicit Delta Method [61.36121543728134]
本稿では,不確実性のトレーニング損失を無限に正規化することで機能する,暗黙のデルタ法を提案する。
有限差分により無限小変化が近似された場合でも, 正則化による評価の変化は評価推定器の分散に一定であることを示す。
論文 参考訳（メタデータ） (2022-11-11T19:34:17Z) - Theoretical characterization of uncertainty in high-dimensional linear
classification [24.073221004661427]
本研究では,高次元入力データとラベルの限られたサンプル数から学習する不確実性が,近似メッセージパッシングアルゴリズムによって得られることを示す。
我々は,信頼度を適切に正則化することで緩和する方法について論じるとともに,損失に対するクロスバリデーションが0/1誤差よりもキャリブレーションが優れていることを示す。
論文 参考訳（メタデータ） (2022-02-07T15:32:07Z) - Aleatoric uncertainty for Errors-in-Variables models in deep regression [0.48733623015338234]
Errors-in-Variablesの概念がベイズ的深部回帰においてどのように利用できるかを示す。
様々なシミュレートされた実例に沿ったアプローチについて論じる。
論文 参考訳（メタデータ） (2021-05-19T12:37:02Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳（メタデータ） (2020-06-26T13:50:19Z) - Balance-Subsampled Stable Prediction [55.13512328954456]
本稿では, 分数分解設計理論に基づく新しいバランスサブサンプル安定予測法を提案する。
設計理論解析により,提案手法は分布シフトによって誘導される予測器間の共起効果を低減できることを示した。
合成および実世界の両方のデータセットに関する数値実験により、BSSPアルゴリズムは未知のテストデータ間で安定した予測を行うためのベースライン法を著しく上回っていることが示された。
論文 参考訳（メタデータ） (2020-06-08T07:01:38Z) - Instability, Computational Efficiency and Statistical Accuracy [101.32305022521024]
我々は,人口レベルでのアルゴリズムの決定論的収束率と,$n$サンプルに基づく経験的対象に適用した場合の(不安定性)の間の相互作用に基づいて,統計的精度を得るフレームワークを開発する。
本稿では,ガウス混合推定,非線形回帰モデル,情報的非応答モデルなど,いくつかの具体的なモデルに対する一般結果の応用について述べる。
論文 参考訳（メタデータ） (2020-05-22T22:30:52Z) - Maximum likelihood estimation and uncertainty quantification for
Gaussian process approximation of deterministic functions [10.319367855067476]
本稿は、ガウス過程の回帰の文脈において、ノイズのないデータセットを用いた最初の理論的分析の1つを提供する。
本稿では,スケールパラメータのみの最大推定がガウス過程モデルの不特定に対する顕著な適応をもたらすことを示す。
論文 参考訳（メタデータ） (2020-01-29T17:20:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。