Fugu-MT 論文翻訳(概要): An Ordering of Divergences for Variational Inference with Factorized Gaussian Approximations

論文の概要: An Ordering of Divergences for Variational Inference with Factorized Gaussian Approximations

arxiv url: http://arxiv.org/abs/2403.13748v1
Date: Wed, 20 Mar 2024 16:56:08 GMT
ステータス: 処理完了
システム内更新日: 2024-03-21 16:08:57.390971
Title: An Ordering of Divergences for Variational Inference with Factorized Gaussian Approximations
Title（参考訳）: 因子化ガウス近似を用いた変分推論のためのダイバージェンスの順序付け
Authors: Charles C. Margossian, Loucas Pillaud-Vivien, Lawrence K. Saul,
Abstract要約: 異なる発散は、その変動近似が不確実性の様々な尺度を誤って推定する量によってテクスチュアできることを示す。また、これらの測度のうちの2つが分解近似によって同時に一致できないことを示す不合理性定理を導出する。我々の分析では、KL の発散、R'enyi の発散、および $nablalog p$ と $nablalog q$ を比較したスコアベースの発散をカバーしている。
参考スコア（独自算出の注目度）: 10.075911116030621
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Given an intractable distribution $p$, the problem of variational inference (VI) is to compute the best approximation $q$ from some more tractable family $\mathcal{Q}$. Most commonly the approximation is found by minimizing a Kullback-Leibler (KL) divergence. However, there exist other valid choices of divergences, and when $\mathcal{Q}$ does not contain~$p$, each divergence champions a different solution. We analyze how the choice of divergence affects the outcome of VI when a Gaussian with a dense covariance matrix is approximated by a Gaussian with a diagonal covariance matrix. In this setting we show that different divergences can be \textit{ordered} by the amount that their variational approximations misestimate various measures of uncertainty, such as the variance, precision, and entropy. We also derive an impossibility theorem showing that no two of these measures can be simultaneously matched by a factorized approximation; hence, the choice of divergence informs which measure, if any, is correctly estimated. Our analysis covers the KL divergence, the R\'enyi divergences, and a score-based divergence that compares $\nabla\log p$ and $\nabla\log q$. We empirically evaluate whether these orderings hold when VI is used to approximate non-Gaussian distributions.
Abstract（参考訳）: 抽出可能な分布$p$が与えられたとき、変動推論(VI)の問題は、より抽出可能な族$\mathcal{Q}$から最高の近似$q$を計算することである。最も一般的な近似は、KL(Kullback-Leibler)の発散を最小限にすることで得られる。しかし、発散の有効な選択肢は他にも存在し、$\mathcal{Q}$ が ~$p$ を含まない場合には、それぞれの発散は異なる解をチャンピオンする。密度共分散行列を持つガウス行列が対角共分散行列を持つガウス行列によって近似されるとき、分散の選択が VI の結果にどのように影響するかを分析する。この設定では、分散、精度、エントロピーなどの様々な不確実性の測度を、それらの変動近似が誤って推定する量によって、異なる発散を \textit{ordered} で表すことができることを示す。また、これらの測度のうちの2つが分解近似によって同時に一致できないことを示す不合理性定理を導出するので、発散の選択は、どの測度が正しく推定されたとしても、どの測度を正確に判断するかを知らせる。我々の分析は、KL の発散、R'enyi の発散、および $\nabla\log p$ と $\nabla\log q$ を比較するスコアベースの発散をカバーしている。我々は、これらの順序が VI を用いて非ガウス分布を近似するときに成立するかどうかを経験的に評価する。

関連論文リスト

Variance Reduction for the Independent Metropolis Sampler [11.074080383657453]
我々は、$pi$がKL分散の下で別の密度$q$に十分近い場合、$pi$からサンプルを得る独立したサンプリング器は、$pi$からサンプリングするi.d.よりも小さな分散を達成することを証明した。提案手法は,KLの目標との偏差が低減されるように,提案密度に適応する適応型独立メトロポリスアルゴリズムを提案する。
論文参考訳（メタデータ） (2024-06-25T16:38:53Z)
Mind the Gap: A Causal Perspective on Bias Amplification in Prediction & Decision-Making [58.06306331390586]
本稿では,閾値演算による予測値がS$変化の程度を測るマージン補数の概念を導入する。適切な因果仮定の下では、予測スコア$S$に対する$X$の影響は、真の結果$Y$に対する$X$の影響に等しいことを示す。
論文参考訳（メタデータ） (2024-05-24T11:22:19Z)
Near-Optimal Mean Estimation with Unknown, Heteroskedastic Variances [15.990720051907864]
Subset-of-Signalsモデルはヘテロスケダティック平均推定のベンチマークとして機能する。我々のアルゴリズムは、このオープンな問題を対数的要因に分解する。たとえ$d=2$であっても、我々の手法は各サンプルのばらつきを知るのに匹敵するレートを可能にします。
論文参考訳（メタデータ） (2023-12-05T01:13:10Z)
$L^1$ Estimation: On the Optimality of Linear Estimators [64.76492306585168]
この研究は、条件中央値の線型性を誘導する$X$上の唯一の先行分布がガウス分布であることを示している。特に、条件分布 $P_X|Y=y$ がすべての$y$に対して対称であるなら、$X$ はガウス分布に従う必要がある。
論文参考訳（メタデータ） (2023-09-17T01:45:13Z)
Statistical Learning under Heterogeneous Distribution Shift [71.8393170225794]
ground-truth predictor is additive $mathbbE[mathbfz mid mathbfx,mathbfy] = f_star(mathbfx) +g_star(mathbfy)$.
論文参考訳（メタデータ） (2023-02-27T16:34:21Z)
The Shrinkage-Delinkage Trade-off: An Analysis of Factorized Gaussian Approximations for Variational Inference [3.167685495996986]
変分推論の不確かさを測る2つの一般的な方法を考える(VI) 我々は、$q$は常に成分的分散と$p$のエントロピーの両方を過小評価していることを証明している。特に,問題の大きさが大きくなるにつれて,各成分のエントロピーギャップは消滅する。
論文参考訳（メタデータ） (2023-02-17T22:21:47Z)
High Probability Bounds for a Class of Nonconvex Algorithms with AdaGrad Stepsize [55.0090961425708]
本研究では,AdaGradのスムーズな非確率問題に対する簡易な高確率解析法を提案する。我々はモジュラーな方法で解析を行い、決定論的設定において相補的な$mathcal O (1 / TT)$収束率を得る。我々の知る限りでは、これは真に適応的なスキームを持つAdaGradにとって初めての高い確率である。
論文参考訳（メタデータ） (2022-04-06T13:50:33Z)
Non-Gaussian Component Analysis via Lattice Basis Reduction [56.98280399449707]
非ガウス成分分析(NGCA)は分布学習問題である。我々は,NGCA に対して,$A$ が離散的あるいはほぼ離散的であるような効率的なアルゴリズムを提供する。
論文参考訳（メタデータ） (2021-12-16T18:38:02Z)
On the Robustness to Misspecification of $\alpha$-Posteriors and Their Variational Approximations [12.52149409594807]
$alpha$-posteriorとその変分近似は、確率を下げ、変分近似エラーを導入することで標準後部推論を歪ませる。このような歪みが適切に調整されると、潜在的なパラメトリックモデルの誤仕様がある場合、Kulback-Leibler (KL) の真の分散が、おそらく実現不可能な、後方分布が減少することを示した。
論文参考訳（メタデータ） (2021-04-16T19:11:53Z)
The Sample Complexity of Robust Covariance Testing [56.98280399449707]
i. i. d. 形式 $Z = (1-epsilon) X + epsilon B$ の分布からのサンプル。ここで $X$ はゼロ平均で未知の共分散である Gaussian $mathcalN(0, Sigma)$ である。汚染がない場合、事前の研究は、$O(d)$サンプルを使用するこの仮説テストタスクの単純なテスターを与えた。サンプル複雑性の上限が $omega(d2)$ for $epsilon$ an arbitrarily small constant and $gamma であることを証明します。
論文参考訳（メタデータ） (2020-12-31T18:24:41Z)
Optimal Sub-Gaussian Mean Estimation in $\mathbb{R}$ [5.457150493905064]
ガウス下収束を考慮した新しい推定器を提案する。我々の推定器はその分散に関する事前の知識を必要としない。我々の推定器の構成と分析は、他の問題に一般化可能なフレームワークを提供する。
論文参考訳（メタデータ） (2020-11-17T02:47:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。