論文の概要: Variational Inference in Location-Scale Families: Exact Recovery of the Mean and Correlation Matrix
- arxiv url: http://arxiv.org/abs/2410.11067v1
- Date: Mon, 14 Oct 2024 20:25:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-16 14:03:26.570035
- Title: Variational Inference in Location-Scale Families: Exact Recovery of the Mean and Correlation Matrix
- Title（参考訳）: 地域規模家庭における変分推論:平均と相関行列の厳密な回復
- Authors: Charles C. Margossian, Lawrence K. Saul,
- Abstract要約: 抽出可能なターゲット密度$p$が与えられたとき、変動推論(VI)は、抽出可能なファミリー$Q$から最高の近似$q$を見つけようとする。
実際、$Q$ は$p$ を含ませるほど豊かではないし、その近似は $textKL(q||p)$ のユニークな大域最小化器である場合でも誤特定される。
軽度な規則性条件だけでなく,過度な不特定に直面した場合にも,VIの強い保証が証明される。
- 参考スコア（独自算出の注目度）: 5.009155983220515
- License:
- Abstract: Given an intractable target density $p$, variational inference (VI) attempts to find the best approximation $q$ from a tractable family $Q$. This is typically done by minimizing the exclusive Kullback-Leibler divergence, $\text{KL}(q||p)$. In practice, $Q$ is not rich enough to contain $p$, and the approximation is misspecified even when it is a unique global minimizer of $\text{KL}(q||p)$. In this paper, we analyze the robustness of VI to these misspecifications when $p$ exhibits certain symmetries and $Q$ is a location-scale family that shares these symmetries. We prove strong guarantees for VI not only under mild regularity conditions but also in the face of severe misspecifications. Namely, we show that (i) VI recovers the mean of $p$ when $p$ exhibits an \textit{even} symmetry, and (ii) it recovers the correlation matrix of $p$ when in addition~$p$ exhibits an \textit{elliptical} symmetry. These guarantees hold for the mean even when $q$ is factorized and $p$ is not, and for the correlation matrix even when~$q$ and~$p$ behave differently in their tails. We analyze various regimes of Bayesian inference where these symmetries are useful idealizations, and we also investigate experimentally how VI behaves in their absence.
- Abstract（参考訳）: 抽出可能なターゲット密度$p$が与えられたとき、変動推論(VI)は、抽出可能なファミリー$Q$から最高の近似$q$を見つけようとする。
これは典型的には排他的クルバック・リーブラ発散を最小化する$\text{KL}(q||p)$である。
実際、$Q$ は$p$ を含ませるほど豊かではないし、その近似は $\text{KL}(q||p)$ の唯一の大域最小化器である場合でも誤特定される。
本稿では、ある対称性を示す$p$と、これらの対称性を共有する位置スケールファミリーである$Q$の場合に、VIのロバストさをこれらの不特定性に分析する。
軽度な規則性条件だけでなく,過度な不特定に直面した場合にも,VIの強い保証が証明される。
つまり、私たちはそれを示します。
(i)VI は、$p$ が \textit{even} 対称性を示すとき、$p$ の平均を回復し、
(ii)加法により$p$の相関行列を復元し、$$p$ は \textit{elliptical} 対称性を示す。
これらの保証は、$q$が分解され$p$がそうでない場合でも平均を保ち、–$q$と~$p$が尾で異なる振る舞いをする場合でも相関行列に対して成り立つ。
我々は、これらの対称性が理想的な理想化であるベイズ的推論の様々な状態を分析し、また、VIが不在時にどのように振る舞うかを実験的に調査する。
関連論文リスト
- Optimal level set estimation for non-parametric tournament and crowdsourcing problems [49.75262185577198]
クラウドソーシングによって動機づけられた我々は、$d$の質問に対する$n$の専門家の回答の正しさを部分的に観察する問題を考える。
本稿では、専門家$i$が疑問に答える確率を含む行列$M$が、行と列の置換までの双等方性であることを仮定する。
我々は,この分類問題に対して最小限のアルゴリズムを最適に構築する。
論文 参考訳（メタデータ） (2024-08-27T18:28:31Z) - Joint Learning of Linear Dynamical Systems under Smoothness Constraints [5.2395896768723045]
複数の線形力学系の連立学習の問題点を考察する。
特に,平均二乗誤差が平均二乗誤差(MSE)に収束する条件を示す。
論文 参考訳（メタデータ） (2024-06-03T08:29:42Z) - How Over-Parameterization Slows Down Gradient Descent in Matrix Sensing:
The Curses of Symmetry and Initialization [46.55524654398093]
過パラメータ化が降下の収束挙動をどのように変化させるかを示す。
目的は、ほぼ等方的線形測定から未知の低ランクの地上構造行列を復元することである。
本稿では,GDの一段階だけを修飾し,$alpha$に依存しない収束率を求める手法を提案する。
論文 参考訳（メタデータ） (2023-10-03T03:34:22Z) - Learning linear dynamical systems under convex constraints [4.4351901934764975]
線形力学系を単一軌道の$T$サンプルから同定する問題を考察する。
A*$は、制約のない設定に必要な値よりも$T$小さい値を確実に見積もることができる。
論文 参考訳（メタデータ） (2023-03-27T11:49:40Z) - Sparse Signal Detection in Heteroscedastic Gaussian Sequence Models:
Sharp Minimax Rates [1.0309387309011746]
スパースな代替品に対する信号検出問題を、既知のスパシティ$s$に対して検討する。
ミニマックス分離半径$epsilon*$の上の上限と下限を見つけ、それらが常に一致することを証明する。
以上の結果から,epsilon*$の挙動に関する新たな位相遷移が,Sigma$の疎度レベル,$Lt$メトリック,およびヘテロスセダサシティプロファイル(herescedasticity profile)に現れる。
論文 参考訳（メタデータ） (2022-11-15T23:53:39Z) - Low-Rank Approximation with $1/\epsilon^{1/3}$ Matrix-Vector Products [58.05771390012827]
我々は、任意のSchatten-$p$ノルムの下で、低ランク近似のためのクリロフ部分空間に基づく反復法について研究する。
我々の主な成果は、$tildeO(k/sqrtepsilon)$ matrix-vector productのみを使用するアルゴリズムである。
論文 参考訳（メタデータ） (2022-02-10T16:10:41Z) - Random matrices in service of ML footprint: ternary random features with
no performance loss [55.30329197651178]
我々は、$bf K$ の固有スペクトルが$bf w$ の i.d. 成分の分布とは独立であることを示す。
3次ランダム特徴(TRF)と呼ばれる新しいランダム手法を提案する。
提案したランダムな特徴の計算には乗算が不要であり、古典的なランダムな特徴に比べてストレージに$b$のコストがかかる。
論文 参考訳（メタデータ） (2021-10-05T09:33:49Z) - Spectral properties of sample covariance matrices arising from random
matrices with independent non identically distributed columns [50.053491972003656]
関数 $texttr(AR(z))$, for $R(z) = (frac1nXXT- zI_p)-1$ and $Ain mathcal M_p$ deterministic, have a standard deviation of order $O(|A|_* / sqrt n)$.
ここでは、$|mathbb E[R(z)] - tilde R(z)|_F を示す。
論文 参考訳（メタデータ） (2021-09-06T14:21:43Z) - Simplest non-additive measures of quantum resources [77.34726150561087]
我々は $cal E(rhootimes N) = E(e;N) ne Ne$ で説明できる測度について研究する。
論文 参考訳（メタデータ） (2021-06-23T20:27:04Z) - Sparse sketches with small inversion bias [79.77110958547695]
逆バイアスは、逆の共分散に依存する量の推定を平均化するときに生じる。
本研究では、確率行列に対する$(epsilon,delta)$-unbiased estimatorという概念に基づいて、逆バイアスを解析するためのフレームワークを開発する。
スケッチ行列 $S$ が密度が高く、すなわちサブガウスのエントリを持つとき、$(epsilon,delta)$-unbiased for $(Atop A)-1$ は $m=O(d+sqrt d/ のスケッチを持つ。
論文 参考訳（メタデータ） (2020-11-21T01:33:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。