論文の概要: TIC-TAC: A Framework To Learn And Evaluate Your Covariance
- arxiv url: http://arxiv.org/abs/2310.18953v1
- Date: Sun, 29 Oct 2023 09:54:03 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-31 15:15:17.677812
- Title: TIC-TAC: A Framework To Learn And Evaluate Your Covariance
- Title（参考訳）: TIC-TAC: 共分散を学習し、評価するフレームワーク
- Authors: Megh Shukla, Mathieu Salzmann, Alexandre Alahi
- Abstract要約: State-of-the-art method predict the mean $f_theta(x)$ and covariance $textrmCov(f_theta(x))$ of the target distribution through the two neural network using the negative log-likelihood。
1)予測共分散は予測平均のランダム性を真に捉えているのか?
- 参考スコア（独自算出の注目度）: 119.82937345718378
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: We study the problem of unsupervised heteroscedastic covariance estimation,
where the goal is to learn the multivariate target distribution $\mathcal{N}(y,
\Sigma_y | x )$ given an observation $x$. This problem is particularly
challenging as $\Sigma_{y}$ varies for different samples (heteroscedastic) and
no annotation for the covariance is available (unsupervised). Typically,
state-of-the-art methods predict the mean $f_{\theta}(x)$ and covariance
$\textrm{Cov}(f_{\theta}(x))$ of the target distribution through two neural
networks trained using the negative log-likelihood. This raises two questions:
(1) Does the predicted covariance truly capture the randomness of the predicted
mean? (2) In the absence of ground-truth annotation, how can we quantify the
performance of covariance estimation? We address (1) by deriving TIC: Taylor
Induced Covariance, which captures the randomness of the multivariate
$f_{\theta}(x)$ by incorporating its gradient and curvature around $x$ through
the second order Taylor polynomial. Furthermore, we tackle (2) by introducing
TAC: Task Agnostic Correlations, a metric which leverages conditioning of the
normal distribution to evaluate the covariance. We verify the effectiveness of
TIC through multiple experiments spanning synthetic (univariate, multivariate)
and real-world datasets (UCI Regression, LSP, and MPII Human Pose Estimation).
Our experiments show that TIC outperforms state-of-the-art in accurately
learning the covariance, as quantified through TAC.
- Abstract（参考訳）: 本研究では,多変量対象分布 $\mathcal{n}(y, \sigma_y | x )$ を観測値 $x$ で学習することを目的とした,教師なしヘテロシデスティック共分散推定の問題を考察する。
この問題は、異なるサンプル(ヘテロセダスティック)に対して$\Sigma_{y}$が変化するため特に困難であり、共分散のアノテーションは利用できない(教師なし)。
一般に、最先端の手法は、負のログ類似性を用いて訓練された2つのニューラルネットワークを通してターゲット分布の平均$f_{\theta}(x)$と共分散$\textrm{cov}(f_{\theta}(x))$を予測する。
これは2つの疑問を提起する:(1)予測共分散は予測平均のランダム性を真に捉えているか?
2) 接地アノテーションが存在しない場合, 共分散推定の性能を定量化するにはどうすればよいか?
tic: taylor induced covariance を導出することで (1) に対処し、多変量 $f_{\theta}(x)$ のランダム性を取り込む。
さらに, 正規分布の条件付けを利用して共分散を評価する指標 tac: task agnostic correlations を導入することで (2) に取り組む。
合成(単変量,多変量,多変量)および実世界のデータセット(UCI回帰,LSP,MPII人文推定)にまたがる複数の実験によるTICの有効性を検証する。
実験の結果,共分散をTACで定量化することにより,共分散を正確に学習する上で,TICは最先端技術よりも優れていることがわかった。
関連論文リスト
- Semiparametric conformal prediction [79.6147286161434]
リスクに敏感なアプリケーションは、複数の、潜在的に相関したターゲット変数に対して、よく校正された予測セットを必要とする。
スコアをランダムなベクトルとして扱い、それらの連接関係構造を考慮した予測セットを構築することを目的とする。
実世界のレグレッション問題に対して,所望のカバレッジと競争効率について報告する。
論文 参考訳（メタデータ） (2024-11-04T14:29:02Z) - A Geometric Unification of Distributionally Robust Covariance Estimators: Shrinking the Spectrum by Inflating the Ambiguity Set [20.166217494056916]
制約的な仮定を課さずに共分散推定器を構築するための原理的手法を提案する。
頑健な推定器は効率的に計算可能で一貫したものであることを示す。
合成および実データに基づく数値実験により、我々の頑健な推定器は最先端の推定器と競合していることが示された。
論文 参考訳（メタデータ） (2024-05-30T15:01:18Z) - Collaborative Heterogeneous Causal Inference Beyond Meta-analysis [68.4474531911361]
異種データを用いた因果推論のための協調的逆確率スコア推定器を提案する。
異質性の増加に伴うメタアナリシスに基づく手法に対して,本手法は有意な改善を示した。
論文 参考訳（メタデータ） (2024-04-24T09:04:36Z) - Nearest Neighbor Sampling for Covariate Shift Adaptation [7.940293148084844]
重みを推定しない新しい共変量シフト適応法を提案する。
基本的な考え方は、ソースデータセットの$k$-nearestの隣人によってラベル付けされたラベル付けされていないターゲットデータを直接扱うことだ。
実験の結果, 走行時間を大幅に短縮できることがわかった。
論文 参考訳（メタデータ） (2023-12-15T17:28:09Z) - Covariance Estimators for the ROOT-SGD Algorithm in Online Learning [7.00422423634143]
ROOT-SGDのアルゴリズム共分散に対する2つの推定器を開発した。
最初の推定器はプラグインの考え方を採用し, 共分散公式の未知の要素ごとに, 経験的手法で置き換える。
2つ目の推定器は、制限を克服するヘッセン自由推定器である。
論文 参考訳（メタデータ） (2022-12-02T15:55:52Z) - On the Strong Correlation Between Model Invariance and Generalization [54.812786542023325]
一般化は、見えないデータを分類するモデルの能力をキャプチャする。
不変性はデータの変換におけるモデル予測の一貫性を測定する。
データセット中心の視点から、あるモデルの精度と不変性は異なるテストセット上で線形に相関している。
論文 参考訳（メタデータ） (2022-07-14T17:08:25Z) - A New Central Limit Theorem for the Augmented IPW Estimator: Variance
Inflation, Cross-Fit Covariance and Beyond [0.9172870611255595]
クロスフィッティングを用いたクロスフィッティング逆確率重み付け(AIPW)は、実際は一般的な選択肢である。
本研究では, 高次元状態における結果回帰モデルと確率スコアモデルを用いて, クロスフィット型AIPW推定器について検討する。
本研究は, メッセージパッシング理論, 決定論的等価性理論, 離脱一元的アプローチの3つの異なるツール間の新たな相互作用を利用する。
論文 参考訳（メタデータ） (2022-05-20T14:17:53Z) - Benign-Overfitting in Conditional Average Treatment Effect Prediction
with Linear Regression [14.493176427999028]
線形回帰モデルを用いて条件平均処理効果(CATE)の予測における良性過剰適合理論について検討した。
一方,IPW-learnerは確率スコアが分かっていればリスクをゼロに収束させるが,T-learnerはランダムな割り当て以外の一貫性を達成できないことを示す。
論文 参考訳（メタデータ） (2022-02-10T18:51:52Z) - Multivariate Probabilistic Regression with Natural Gradient Boosting [63.58097881421937]
多変量予測分布の条件パラメータを非パラメトリックにモデル化したNatural Gradient Boosting (NGBoost) 手法を提案する。
提案手法は頑健で, 広範囲なチューニングを伴わず, 推定対象分布に対してモジュール構造であり, 既存の手法と比較して競争力がある。
論文 参考訳（メタデータ） (2021-06-07T17:44:49Z) - Comparing Probability Distributions with Conditional Transport [63.11403041984197]
新しい発散として条件輸送(CT)を提案し、償却されたCT(ACT)コストと近似します。
ACTは条件付き輸送計画の計算を補正し、計算が容易な非バイアスのサンプル勾配を持つ。
さまざまなベンチマークデータセットのジェネレーティブモデリングでは、既存のジェネレーティブ敵対ネットワークのデフォルトの統計距離をACTに置き換えることで、一貫してパフォーマンスを向上させることが示されています。
論文 参考訳（メタデータ） (2020-12-28T05:14:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。