論文の概要: The Shrinkage-Delinkage Trade-off: An Analysis of Factorized Gaussian
Approximations for Variational Inference
- arxiv url: http://arxiv.org/abs/2302.09163v2
- Date: Thu, 23 Mar 2023 11:06:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-24 17:24:37.600513
- Title: The Shrinkage-Delinkage Trade-off: An Analysis of Factorized Gaussian
Approximations for Variational Inference
- Title（参考訳）: 縮約-連結トレードオフ--変分推論のための因子化ガウス近似の解析
- Authors: Charles C. Margossian and Lawrence K. Saul
- Abstract要約: 変分推論の不確かさを測る2つの一般的な方法を考える(VI)
我々は、$q$は常に成分的分散と$p$のエントロピーの両方を過小評価していることを証明している。
特に,問題の大きさが大きくなるにつれて,各成分のエントロピーギャップは消滅する。
- 参考スコア（独自算出の注目度）: 3.167685495996986
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: When factorized approximations are used for variational inference (VI), they
tend to underestimate the uncertainty -- as measured in various ways -- of the
distributions they are meant to approximate. We consider two popular ways to
measure the uncertainty deficit of VI: (i) the degree to which it
underestimates the componentwise variance, and (ii) the degree to which it
underestimates the entropy. To better understand these effects, and the
relationship between them, we examine an informative setting where they can be
explicitly (and elegantly) analyzed: the approximation of a Gaussian,~$p$, with
a dense covariance matrix, by a Gaussian,~$q$, with a diagonal covariance
matrix. We prove that $q$ always underestimates both the componentwise variance
and the entropy of $p$, \textit{though not necessarily to the same degree}.
Moreover we demonstrate that the entropy of $q$ is determined by the trade-off
of two competing forces: it is decreased by the shrinkage of its componentwise
variances (our first measure of uncertainty) but it is increased by the
factorized approximation which delinks the nodes in the graphical model of $p$.
We study various manifestations of this trade-off, notably one where, as the
dimension of the problem grows, the per-component entropy gap between $p$ and
$q$ becomes vanishingly small even though $q$ underestimates every
componentwise variance by a constant multiplicative factor. We also use the
shrinkage-delinkage trade-off to bound the entropy gap in terms of the problem
dimension and the condition number of the correlation matrix of $p$. Finally we
present empirical results on both Gaussian and non-Gaussian targets, the former
to validate our analysis and the latter to explore its limitations.
- Abstract（参考訳）: 因子化近似が変分推論(vi)に使用されるとき、それらは近似する分布の不確実性(様々な方法で測定される)を過小評価する傾向がある。
我々は、VIの不確実性を測る2つの一般的な方法を考える。
(i)成分的なばらつきを過小評価する程度
(二)エントロピーを過小評価する程度
これらの効果、およびそれらの関係をよりよく理解するために、これらを明示的に(かつエレガントに)分析できる情報的設定について検討する: 密度共分散行列を持つガウス行列の近似は、対角共分散行列を持つガウス行列(英語版)(gaussian,~$q$)である。
q$は常にコンポーネントごとの分散と$p$, \textit{ but not always to the same degree}のエントロピーの両方を過小評価していることを証明する。
さらに、$q$のエントロピーは、2つの競合する力のトレードオフによって決定され、その成分的分散(我々の最初の不確実性の尺度)の縮小によって減少するが、これはグラフィカルモデルのノードを$p$で切り離す分解近似によって増加する。
特に、問題の次元が大きくなるにつれて、成分ごとのエントロピーギャップが、一定の乗算係数によってすべての成分ごとの分散を過小評価しているにもかかわらず、$p$ と $q$ の間の減少する。
また,問題次元と相関行列の条件数でエントロピーギャップを拘束するために,縮小-デリンジトレードオフを用いる。
最後に、ガウス的目標と非ガウス的目標の両方について実験結果を示し、前者は分析を検証し、後者は限界を探索する。
関連論文リスト
- A Unified Analysis for Finite Weight Averaging [50.75116992029417]
Gradient Descent(SGD)の平均イテレーションは、SWA(Weight Averaging)、EMA(Exponential moving Average)、LAWA(Latest Weight Averaging)といったディープラーニングモデルのトレーニングにおいて、経験的な成功を収めている。
本稿では、LAWAを有限重み平均化(FWA)として一般化し、最適化と一般化の観点からSGDと比較して、それらの利点を説明する。
論文 参考訳（メタデータ） (2024-11-20T10:08:22Z) - Convergence of Unadjusted Langevin in High Dimensions: Delocalization of Bias [13.642712817536072]
問題の次元が$d$になるにつれて、所望の誤差内で収束を保証するのに必要なイテレーションの数が増加することを示す。
私たちが取り組んだ重要な技術的課題は、収束を測定するための$W_2,ellinfty$メートル法に一段階の縮約性がないことである。
論文 参考訳（メタデータ） (2024-08-20T01:24:54Z) - Theoretical Guarantees for Variational Inference with Fixed-Variance Mixture of Gaussians [27.20127082606962]
変分推論(VI)はベイズ推定において一般的なアプローチである。
この研究は、非ガウスの場合のVIの理論研究に寄与することを目的としている。
論文 参考訳（メタデータ） (2024-06-06T12:38:59Z) - Variational Inference for Uncertainty Quantification: an Analysis of Trade-offs [10.075911116030621]
p$ が分解されない場合、任意の分解された近似 $qin Q$ は以下の3つの不確実性尺度のうちの1つを正確に推定できることを示す。
古典的なKulback-Leiblerの発散、より一般的なR'enyiの発散、および$nabla log p$ と $nabla log q$ を比較するスコアベースの発散を考える。
論文 参考訳（メタデータ） (2024-03-20T16:56:08Z) - TIC-TAC: A Framework for Improved Covariance Estimation in Deep Heteroscedastic Regression [109.69084997173196]
奥行き回帰は、予測分布の平均と共分散を負の対数類似度を用いて共同最適化する。
近年の研究では, 共分散推定に伴う課題により, 準最適収束が生じる可能性が示唆されている。
1)予測共分散は予測平均のランダム性を真に捉えているか?
その結果, TICは共分散を正確に学習するだけでなく, 負の対数類似性の収束性の向上も促進することがわかった。
論文 参考訳（メタデータ） (2023-10-29T09:54:03Z) - Compressed and distributed least-squares regression: convergence rates
with applications to Federated Learning [9.31522898261934]
機械学習の勾配アルゴリズムに対する圧縮の影響について検討する。
いくつかの非バイアス圧縮演算子間の収束率の差を強調した。
我々はその結果を連合学習の事例にまで拡張する。
論文 参考訳（メタデータ） (2023-08-02T18:02:00Z) - Equivariance Discovery by Learned Parameter-Sharing [153.41877129746223]
データから解釈可能な等価性を発見する方法について検討する。
具体的には、モデルのパラメータ共有方式に対する最適化問題として、この発見プロセスを定式化する。
また,ガウスデータの手法を理論的に解析し,研究された発見スキームとオラクルスキームの間の平均2乗ギャップを限定する。
論文 参考訳（メタデータ） (2022-04-07T17:59:19Z) - Theoretical Error Analysis of Entropy Approximation for Gaussian Mixture [0.7499722271664147]
本稿では,真のエントロピーと近似値との近似誤差を分析し,この近似が有効に動作するかどうかを明らかにする。
我々の結果は、この近似が高次元問題でうまく機能することを保証している。
論文 参考訳（メタデータ） (2022-02-26T04:49:01Z) - Fundamental Limits and Tradeoffs in Invariant Representation Learning [99.2368462915979]
多くの機械学習アプリケーションは、2つの競合する目標を達成する表現を学習する。
ミニマックスゲーム理論の定式化は、精度と不変性の基本的なトレードオフを表す。
分類と回帰の双方において,この一般的かつ重要な問題を情報論的に解析する。
論文 参考訳（メタデータ） (2020-12-19T15:24:04Z) - Robustly Learning any Clusterable Mixture of Gaussians [55.41573600814391]
本研究では,高次元ガウス混合系の対向ロバスト条件下での効率的な学習性について検討する。
理論的に最適に近い誤り証明である$tildeO(epsilon)$の情報を、$epsilon$-corrupted $k$-mixtureで学習するアルゴリズムを提供する。
我々の主な技術的貢献は、ガウス混合系からの新しい頑健な識別可能性証明クラスターであり、これは正方形の定度証明システムによって捉えることができる。
論文 参考訳（メタデータ） (2020-05-13T16:44:12Z) - Revisiting SGD with Increasingly Weighted Averaging: Optimization and
Generalization Perspectives [50.12802772165797]
平均化手法は、全ての反復解を一つの解に結合する。
実験は、他の平均化方式と比較して、トレードオフと平均化の有効性を示した。
論文 参考訳（メタデータ） (2020-03-09T18:14:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。