論文の概要: Variational Inference for Uncertainty Quantification: an Analysis of Trade-offs
- arxiv url: http://arxiv.org/abs/2403.13748v2
- Date: Fri, 7 Jun 2024 14:43:56 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-10 19:37:58.002657
- Title: Variational Inference for Uncertainty Quantification: an Analysis of Trade-offs
- Title（参考訳）: 不確かさの定量化のための変分推論:トレードオフの分析
- Authors: Charles C. Margossian, Loucas Pillaud-Vivien, Lawrence K. Saul,
- Abstract要約: p$ が分解されない場合、任意の分解された近似 $qin Q$ は以下の3つの不確実性尺度のうちの1つを正確に推定できることを示す。
古典的なKulback-Leiblerの発散、より一般的なR'enyiの発散、および$nabla log p$ と $nabla log q$ を比較するスコアベースの発散を考える。
- 参考スコア（独自算出の注目度）: 10.075911116030621
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Given an intractable distribution $p$, the problem of variational inference (VI) is to find the best approximation from some more tractable family $Q$. Commonly, one chooses $Q$ to be a family of factorized distributions (i.e., the mean-field assumption), even though~$p$ itself does not factorize. We show that this mismatch leads to an impossibility theorem: if $p$ does not factorize, then any factorized approximation $q\in Q$ can correctly estimate at most one of the following three measures of uncertainty: (i) the marginal variances, (ii) the marginal precisions, or (iii) the generalized variance (which can be related to the entropy). In practice, the best variational approximation in $Q$ is found by minimizing some divergence $D(q,p)$ between distributions, and so we ask: how does the choice of divergence determine which measure of uncertainty, if any, is correctly estimated by VI? We consider the classic Kullback-Leibler divergences, the more general R\'enyi divergences, and a score-based divergence which compares $\nabla \log p$ and $\nabla \log q$. We provide a thorough theoretical analysis in the setting where $p$ is a Gaussian and $q$ is a (factorized) Gaussian. We show that all the considered divergences can be \textit{ordered} based on the estimates of uncertainty they yield as objective functions for~VI. Finally, we empirically evaluate the validity of this ordering when the target distribution $p$ is not Gaussian.
- Abstract（参考訳）: 難解分布$p$が与えられたとき、変分推論(VI)の問題は、より難解な族$Q$から最高の近似を求めることである。
一般的には、$Q$ を分解された分布の族 (すなわち平均場仮定) を選ぶが、~$p$ 自身は分解しない。
p$ が分解されないなら、任意の分解近似 $q\in Q$ は以下の3つの不確実性尺度のうちの1つを正確に見積もることができる。
(i)限界分散
(二)限界精度、又は
(三)一般化分散(エントロピーに関連付けられる)
実際には、$Q$の最良の変分近似は、分布間の発散を最小化することによって得られるので、ここで、発散の選択は、もしある場合、不確かさのどの測度を正確にVIによって推定するかを、どのように決定するかを問う。
古典的なクルバック・リーブルの発散、より一般的な R'enyi 発散、および $\nabla \log p$ と $\nabla \log q$ を比較するスコアベースの発散を考える。
p$ がガウス群であり、$q$ が(分解された)ガウス群であるような環境では、徹底した理論的解析を提供する。
対象関数として得られる不確実性の推定値に基づいて, 考慮された発散は, すべて textit{ordered} で表せることを示す。
最後に、ターゲット分布$p$がガウス的でない場合、この順序の妥当性を実証的に評価する。
関連論文リスト
- Variance Reduction for the Independent Metropolis Sampler [11.074080383657453]
我々は、$pi$がKL分散の下で別の密度$q$に十分近い場合、$pi$からサンプルを得る独立したサンプリング器は、$pi$からサンプリングするi.d.よりも小さな分散を達成することを証明した。
提案手法は,KLの目標との偏差が低減されるように,提案密度に適応する適応型独立メトロポリスアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-06-25T16:38:53Z) - Mind the Gap: A Causal Perspective on Bias Amplification in Prediction & Decision-Making [58.06306331390586]
本稿では,閾値演算による予測値がS$変化の程度を測るマージン補数の概念を導入する。
適切な因果仮定の下では、予測スコア$S$に対する$X$の影響は、真の結果$Y$に対する$X$の影響に等しいことを示す。
論文 参考訳（メタデータ） (2024-05-24T11:22:19Z) - Near-Optimal Mean Estimation with Unknown, Heteroskedastic Variances [15.990720051907864]
Subset-of-Signalsモデルはヘテロスケダティック平均推定のベンチマークとして機能する。
我々のアルゴリズムは、このオープンな問題を対数的要因に分解する。
たとえ$d=2$であっても、我々の手法は各サンプルのばらつきを知るのに匹敵するレートを可能にします。
論文 参考訳（メタデータ） (2023-12-05T01:13:10Z) - $L^1$ Estimation: On the Optimality of Linear Estimators [64.76492306585168]
この研究は、条件中央値の線型性を誘導する$X$上の唯一の先行分布がガウス分布であることを示している。
特に、条件分布 $P_X|Y=y$ がすべての$y$に対して対称であるなら、$X$ はガウス分布に従う必要がある。
論文 参考訳（メタデータ） (2023-09-17T01:45:13Z) - Statistical Learning under Heterogeneous Distribution Shift [71.8393170225794]
ground-truth predictor is additive $mathbbE[mathbfz mid mathbfx,mathbfy] = f_star(mathbfx) +g_star(mathbfy)$.
論文 参考訳（メタデータ） (2023-02-27T16:34:21Z) - The Shrinkage-Delinkage Trade-off: An Analysis of Factorized Gaussian
Approximations for Variational Inference [3.167685495996986]
変分推論の不確かさを測る2つの一般的な方法を考える(VI)
我々は、$q$は常に成分的分散と$p$のエントロピーの両方を過小評価していることを証明している。
特に,問題の大きさが大きくなるにつれて,各成分のエントロピーギャップは消滅する。
論文 参考訳（メタデータ） (2023-02-17T22:21:47Z) - High Probability Bounds for a Class of Nonconvex Algorithms with AdaGrad
Stepsize [55.0090961425708]
本研究では,AdaGradのスムーズな非確率問題に対する簡易な高確率解析法を提案する。
我々はモジュラーな方法で解析を行い、決定論的設定において相補的な$mathcal O (1 / TT)$収束率を得る。
我々の知る限りでは、これは真に適応的なスキームを持つAdaGradにとって初めての高い確率である。
論文 参考訳（メタデータ） (2022-04-06T13:50:33Z) - Non-Gaussian Component Analysis via Lattice Basis Reduction [56.98280399449707]
非ガウス成分分析(NGCA)は分布学習問題である。
我々は,NGCA に対して,$A$ が離散的あるいはほぼ離散的であるような効率的なアルゴリズムを提供する。
論文 参考訳（メタデータ） (2021-12-16T18:38:02Z) - On the Robustness to Misspecification of $\alpha$-Posteriors and Their
Variational Approximations [12.52149409594807]
$alpha$-posteriorとその変分近似は、確率を下げ、変分近似エラーを導入することで標準後部推論を歪ませる。
このような歪みが適切に調整されると、潜在的なパラメトリックモデルの誤仕様がある場合、Kulback-Leibler (KL) の真の分散が、おそらく実現不可能な、後方分布が減少することを示した。
論文 参考訳（メタデータ） (2021-04-16T19:11:53Z) - The Sample Complexity of Robust Covariance Testing [56.98280399449707]
i. i. d.
形式 $Z = (1-epsilon) X + epsilon B$ の分布からのサンプル。ここで $X$ はゼロ平均で未知の共分散である Gaussian $mathcalN(0, Sigma)$ である。
汚染がない場合、事前の研究は、$O(d)$サンプルを使用するこの仮説テストタスクの単純なテスターを与えた。
サンプル複雑性の上限が $omega(d2)$ for $epsilon$ an arbitrarily small constant and $gamma であることを証明します。
論文 参考訳（メタデータ） (2020-12-31T18:24:41Z) - Optimal Sub-Gaussian Mean Estimation in $\mathbb{R}$ [5.457150493905064]
ガウス下収束を考慮した新しい推定器を提案する。
我々の推定器はその分散に関する事前の知識を必要としない。
我々の推定器の構成と分析は、他の問題に一般化可能なフレームワークを提供する。
論文 参考訳（メタデータ） (2020-11-17T02:47:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。