論文の概要: An Ordering of Divergences for Variational Inference with Factorized Gaussian Approximations
- arxiv url: http://arxiv.org/abs/2403.13748v1
- Date: Wed, 20 Mar 2024 16:56:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-21 16:08:57.390971
- Title: An Ordering of Divergences for Variational Inference with Factorized Gaussian Approximations
- Title(参考訳): 因子化ガウス近似を用いた変分推論のためのダイバージェンスの順序付け
- Authors: Charles C. Margossian, Loucas Pillaud-Vivien, Lawrence K. Saul,
- Abstract要約: 異なる発散は、その変動近似が不確実性の様々な尺度を誤って推定する量によってテクスチュアできることを示す。
また、これらの測度のうちの2つが分解近似によって同時に一致できないことを示す不合理性定理を導出する。
我々の分析では、KL の発散、R'enyi の発散、および $nablalog p$ と $nablalog q$ を比較したスコアベースの発散をカバーしている。
- 参考スコア(独自算出の注目度): 10.075911116030621
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Given an intractable distribution $p$, the problem of variational inference (VI) is to compute the best approximation $q$ from some more tractable family $\mathcal{Q}$. Most commonly the approximation is found by minimizing a Kullback-Leibler (KL) divergence. However, there exist other valid choices of divergences, and when $\mathcal{Q}$ does not contain~$p$, each divergence champions a different solution. We analyze how the choice of divergence affects the outcome of VI when a Gaussian with a dense covariance matrix is approximated by a Gaussian with a diagonal covariance matrix. In this setting we show that different divergences can be \textit{ordered} by the amount that their variational approximations misestimate various measures of uncertainty, such as the variance, precision, and entropy. We also derive an impossibility theorem showing that no two of these measures can be simultaneously matched by a factorized approximation; hence, the choice of divergence informs which measure, if any, is correctly estimated. Our analysis covers the KL divergence, the R\'enyi divergences, and a score-based divergence that compares $\nabla\log p$ and $\nabla\log q$. We empirically evaluate whether these orderings hold when VI is used to approximate non-Gaussian distributions.
- Abstract(参考訳): 抽出可能な分布$p$が与えられたとき、変動推論(VI)の問題は、より抽出可能な族$\mathcal{Q}$から最高の近似$q$を計算することである。
最も一般的な近似は、KL(Kullback-Leibler)の発散を最小限にすることで得られる。
しかし、発散の有効な選択肢は他にも存在し、$\mathcal{Q}$ が ~$p$ を含まない場合には、それぞれの発散は異なる解をチャンピオンする。
密度共分散行列を持つガウス行列が対角共分散行列を持つガウス行列によって近似されるとき、分散の選択が VI の結果にどのように影響するかを分析する。
この設定では、分散、精度、エントロピーなどの様々な不確実性の測度を、それらの変動近似が誤って推定する量によって、異なる発散を \textit{ordered} で表すことができることを示す。
また、これらの測度のうちの2つが分解近似によって同時に一致できないことを示す不合理性定理を導出するので、発散の選択は、どの測度が正しく推定されたとしても、どの測度を正確に判断するかを知らせる。
我々の分析は、KL の発散、R'enyi の発散、および $\nabla\log p$ と $\nabla\log q$ を比較するスコアベースの発散をカバーしている。
我々は、これらの順序が VI を用いて非ガウス分布を近似するときに成立するかどうかを経験的に評価する。
関連論文リスト
- TIC-TAC: A Framework To Learn And Evaluate Your Covariance [119.82937345718378]
State-of-the-art method predict the mean $f_theta(x)$ and covariance $textrmCov(f_theta(x))$ of the target distribution through the two neural network using the negative log-likelihood。
1)予測共分散は予測平均のランダム性を真に捉えているのか?
論文 参考訳(メタデータ) (2023-10-29T09:54:03Z) - Variance-Dependent Regret Bounds for Linear Bandits and Reinforcement
Learning: Adaptivity and Computational Efficiency [90.40062452292091]
本稿では,不整合雑音を持つ線形帯域に対する計算効率のよい最初のアルゴリズムを提案する。
我々のアルゴリズムは未知のノイズの分散に適応し、$tildeO(d sqrtsum_k = 1K sigma_k2 + d)$ regretを達成する。
また、強化学習において、線形混合マルコフ決定過程(MDP)に対する分散適応アルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-02-21T00:17:24Z) - The Shrinkage-Delinkage Trade-off: An Analysis of Factorized Gaussian
Approximations for Variational Inference [3.167685495996986]
変分推論の不確かさを測る2つの一般的な方法を考える(VI)
我々は、$q$は常に成分的分散と$p$のエントロピーの両方を過小評価していることを証明している。
特に,問題の大きさが大きくなるにつれて,各成分のエントロピーギャップは消滅する。
論文 参考訳(メタデータ) (2023-02-17T22:21:47Z) - Equivariance Discovery by Learned Parameter-Sharing [153.41877129746223]
データから解釈可能な等価性を発見する方法について検討する。
具体的には、モデルのパラメータ共有方式に対する最適化問題として、この発見プロセスを定式化する。
また,ガウスデータの手法を理論的に解析し,研究された発見スキームとオラクルスキームの間の平均2乗ギャップを限定する。
論文 参考訳(メタデータ) (2022-04-07T17:59:19Z) - Non-Gaussian Component Analysis via Lattice Basis Reduction [56.98280399449707]
非ガウス成分分析(NGCA)は分布学習問題である。
我々は,NGCA に対して,$A$ が離散的あるいはほぼ離散的であるような効率的なアルゴリズムを提供する。
論文 参考訳(メタデータ) (2021-12-16T18:38:02Z) - On the Robustness to Misspecification of $\alpha$-Posteriors and Their
Variational Approximations [12.52149409594807]
$alpha$-posteriorとその変分近似は、確率を下げ、変分近似エラーを導入することで標準後部推論を歪ませる。
このような歪みが適切に調整されると、潜在的なパラメトリックモデルの誤仕様がある場合、Kulback-Leibler (KL) の真の分散が、おそらく実現不可能な、後方分布が減少することを示した。
論文 参考訳(メタデータ) (2021-04-16T19:11:53Z) - $\alpha$-Geodesical Skew Divergence [5.3556221126231085]
非対称スキュー発散は、パラメータ$lambda$によって決定される程度に、他の分布と混合することによって、分布の1つを滑らかにする。
このような発散は、KL発散の近似であり、ターゲット分布がソース分布に関して絶対連続である必要はない。
論文 参考訳(メタデータ) (2021-03-31T13:27:58Z) - Optimal Sub-Gaussian Mean Estimation in $\mathbb{R}$ [5.457150493905064]
ガウス下収束を考慮した新しい推定器を提案する。
我々の推定器はその分散に関する事前の知識を必要としない。
我々の推定器の構成と分析は、他の問題に一般化可能なフレームワークを提供する。
論文 参考訳(メタデータ) (2020-11-17T02:47:24Z) - $(f,\Gamma)$-Divergences: Interpolating between $f$-Divergences and
Integral Probability Metrics [6.221019624345409]
我々は、$f$-divergences と積分確率メトリクス(IPMs)の両方を仮定する情報理論の分岐を構築するためのフレームワークを開発する。
2段階の質量再分配/物質輸送プロセスとして表現できることが示される。
統計的学習を例として,重み付き,絶対連続的なサンプル分布に対するGAN(generative adversarial network)の訓練において,その優位性を示す。
論文 参考訳(メタデータ) (2020-11-11T18:17:09Z) - Robustly Learning any Clusterable Mixture of Gaussians [55.41573600814391]
本研究では,高次元ガウス混合系の対向ロバスト条件下での効率的な学習性について検討する。
理論的に最適に近い誤り証明である$tildeO(epsilon)$の情報を、$epsilon$-corrupted $k$-mixtureで学習するアルゴリズムを提供する。
我々の主な技術的貢献は、ガウス混合系からの新しい頑健な識別可能性証明クラスターであり、これは正方形の定度証明システムによって捉えることができる。
論文 参考訳(メタデータ) (2020-05-13T16:44:12Z) - On Linear Stochastic Approximation: Fine-grained Polyak-Ruppert and
Non-Asymptotic Concentration [115.1954841020189]
The inequality and non-asymptotic properties of approximation procedure with Polyak-Ruppert averaging。
一定のステップサイズと無限大となる反復数を持つ平均的反復数に対する中心極限定理(CLT)を証明する。
論文 参考訳(メタデータ) (2020-04-09T17:54:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。