論文の概要: TIC-TAC: A Framework To Learn And Evaluate Your Covariance
- arxiv url: http://arxiv.org/abs/2310.18953v1
- Date: Sun, 29 Oct 2023 09:54:03 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-31 15:15:17.677812
- Title: TIC-TAC: A Framework To Learn And Evaluate Your Covariance
- Title(参考訳): TIC-TAC: 共分散を学習し、評価するフレームワーク
- Authors: Megh Shukla, Mathieu Salzmann, Alexandre Alahi
- Abstract要約: State-of-the-art method predict the mean $f_theta(x)$ and covariance $textrmCov(f_theta(x))$ of the target distribution through the two neural network using the negative log-likelihood。
1)予測共分散は予測平均のランダム性を真に捉えているのか?
- 参考スコア(独自算出の注目度): 119.82937345718378
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: We study the problem of unsupervised heteroscedastic covariance estimation,
where the goal is to learn the multivariate target distribution $\mathcal{N}(y,
\Sigma_y | x )$ given an observation $x$. This problem is particularly
challenging as $\Sigma_{y}$ varies for different samples (heteroscedastic) and
no annotation for the covariance is available (unsupervised). Typically,
state-of-the-art methods predict the mean $f_{\theta}(x)$ and covariance
$\textrm{Cov}(f_{\theta}(x))$ of the target distribution through two neural
networks trained using the negative log-likelihood. This raises two questions:
(1) Does the predicted covariance truly capture the randomness of the predicted
mean? (2) In the absence of ground-truth annotation, how can we quantify the
performance of covariance estimation? We address (1) by deriving TIC: Taylor
Induced Covariance, which captures the randomness of the multivariate
$f_{\theta}(x)$ by incorporating its gradient and curvature around $x$ through
the second order Taylor polynomial. Furthermore, we tackle (2) by introducing
TAC: Task Agnostic Correlations, a metric which leverages conditioning of the
normal distribution to evaluate the covariance. We verify the effectiveness of
TIC through multiple experiments spanning synthetic (univariate, multivariate)
and real-world datasets (UCI Regression, LSP, and MPII Human Pose Estimation).
Our experiments show that TIC outperforms state-of-the-art in accurately
learning the covariance, as quantified through TAC.
- Abstract(参考訳): 本研究では,多変量対象分布 $\mathcal{n}(y, \sigma_y | x )$ を観測値 $x$ で学習することを目的とした,教師なしヘテロシデスティック共分散推定の問題を考察する。
この問題は、異なるサンプル(ヘテロセダスティック)に対して$\Sigma_{y}$が変化するため特に困難であり、共分散のアノテーションは利用できない(教師なし)。
一般に、最先端の手法は、負のログ類似性を用いて訓練された2つのニューラルネットワークを通してターゲット分布の平均$f_{\theta}(x)$と共分散$\textrm{cov}(f_{\theta}(x))$を予測する。
これは2つの疑問を提起する:(1)予測共分散は予測平均のランダム性を真に捉えているか?
2) 接地アノテーションが存在しない場合, 共分散推定の性能を定量化するにはどうすればよいか?
tic: taylor induced covariance を導出することで (1) に対処し、多変量 $f_{\theta}(x)$ のランダム性を取り込む。
さらに, 正規分布の条件付けを利用して共分散を評価する指標 tac: task agnostic correlations を導入することで (2) に取り組む。
合成(単変量,多変量,多変量)および実世界のデータセット(UCI回帰,LSP,MPII人文推定)にまたがる複数の実験によるTICの有効性を検証する。
実験の結果,共分散をTACで定量化することにより,共分散を正確に学習する上で,TICは最先端技術よりも優れていることがわかった。
関連論文リスト
- Near-Optimal Mean Estimation with Unknown, Heteroskedastic Variances [15.990720051907864]
Subset-of-Signalsモデルはヘテロスケダティック平均推定のベンチマークとして機能する。
我々のアルゴリズムは、このオープンな問題を対数的要因に分解する。
たとえ$d=2$であっても、我々の手法は各サンプルのばらつきを知るのに匹敵するレートを可能にします。
論文 参考訳(メタデータ) (2023-12-05T01:13:10Z) - Compressed and distributed least-squares regression: convergence rates
with applications to Federated Learning [9.31522898261934]
機械学習の勾配アルゴリズムに対する圧縮の影響について検討する。
いくつかの非バイアス圧縮演算子間の収束率の差を強調した。
我々はその結果を連合学習の事例にまで拡張する。
論文 参考訳(メタデータ) (2023-08-02T18:02:00Z) - Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative
Models [49.81937966106691]
我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。
従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
論文 参考訳(メタデータ) (2023-06-15T16:30:08Z) - Covariance Estimators for the ROOT-SGD Algorithm in Online Learning [7.00422423634143]
ROOT-SGDのアルゴリズム共分散に対する2つの推定器を開発した。
最初の推定器はプラグインの考え方を採用し, 共分散公式の未知の要素ごとに, 経験的手法で置き換える。
2つ目の推定器は、制限を克服するヘッセン自由推定器である。
論文 参考訳(メタデータ) (2022-12-02T15:55:52Z) - Treatment Effect Estimation with Unobserved and Heterogeneous
Confounding Variables [5.804885199795758]
治療効果の見積もりは、観測されていない共役変数の存在によってしばしばバイアスを受ける。
本稿では,観測不能な共役変数の効果を除去するために,SVDによる新しい偏り推定手法を提案する。
論文 参考訳(メタデータ) (2022-07-29T02:29:32Z) - Equivariance Discovery by Learned Parameter-Sharing [153.41877129746223]
データから解釈可能な等価性を発見する方法について検討する。
具体的には、モデルのパラメータ共有方式に対する最適化問題として、この発見プロセスを定式化する。
また,ガウスデータの手法を理論的に解析し,研究された発見スキームとオラクルスキームの間の平均2乗ギャップを限定する。
論文 参考訳(メタデータ) (2022-04-07T17:59:19Z) - A Unified Framework for Multi-distribution Density Ratio Estimation [101.67420298343512]
バイナリ密度比推定(DRE)は多くの最先端の機械学習アルゴリズムの基礎を提供する。
ブレグマン最小化の発散の観点から一般的な枠組みを開発する。
我々のフレームワークはバイナリDREでそれらのフレームワークを厳格に一般化する手法に導かれることを示す。
論文 参考訳(メタデータ) (2021-12-07T01:23:20Z) - Understanding the Under-Coverage Bias in Uncertainty Estimation [58.03725169462616]
量子レグレッションは、現実の望ましいカバレッジレベルよりもアンファンダーカバー(enmphunder-cover)する傾向がある。
我々は、量子レグレッションが固有のアンダーカバーバイアスに悩まされていることを証明している。
我々の理論は、この過大被覆バイアスが特定の高次元パラメータ推定誤差に起因することを明らかにしている。
論文 参考訳(メタデータ) (2021-06-10T06:11:55Z) - The Sample Complexity of Robust Covariance Testing [56.98280399449707]
i. i. d.
形式 $Z = (1-epsilon) X + epsilon B$ の分布からのサンプル。ここで $X$ はゼロ平均で未知の共分散である Gaussian $mathcalN(0, Sigma)$ である。
汚染がない場合、事前の研究は、$O(d)$サンプルを使用するこの仮説テストタスクの単純なテスターを与えた。
サンプル複雑性の上限が $omega(d2)$ for $epsilon$ an arbitrarily small constant and $gamma であることを証明します。
論文 参考訳(メタデータ) (2020-12-31T18:24:41Z) - Optimal Sub-Gaussian Mean Estimation in $\mathbb{R}$ [5.457150493905064]
ガウス下収束を考慮した新しい推定器を提案する。
我々の推定器はその分散に関する事前の知識を必要としない。
我々の推定器の構成と分析は、他の問題に一般化可能なフレームワークを提供する。
論文 参考訳(メタデータ) (2020-11-17T02:47:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。