論文の概要: TIC-TAC: A Framework for Improved Covariance Estimation in Deep Heteroscedastic Regression
- arxiv url: http://arxiv.org/abs/2310.18953v2
- Date: Fri, 31 May 2024 14:51:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-03 20:31:38.652681
- Title: TIC-TAC: A Framework for Improved Covariance Estimation in Deep Heteroscedastic Regression
- Title（参考訳）: TIC-TAC:Deep Heteroscedastic Regressionにおける共分散推定のためのフレームワーク
- Authors: Megh Shukla, Mathieu Salzmann, Alexandre Alahi,
- Abstract要約: 奥行き回帰は、予測分布の平均と共分散を負の対数類似度を用いて共同最適化する。
近年の研究では, 共分散推定に伴う課題により, 準最適収束が生じる可能性が示唆されている。
1)予測共分散は予測平均のランダム性を真に捉えているか?
その結果, TICは共分散を正確に学習するだけでなく, 負の対数類似性の収束性の向上も促進することがわかった。
- 参考スコア（独自算出の注目度）: 109.69084997173196
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Deep heteroscedastic regression involves jointly optimizing the mean and covariance of the predicted distribution using the negative log-likelihood. However, recent works show that this may result in sub-optimal convergence due to the challenges associated with covariance estimation. While the literature addresses this by proposing alternate formulations to mitigate the impact of the predicted covariance, we focus on improving the predicted covariance itself. We study two questions: (1) Does the predicted covariance truly capture the randomness of the predicted mean? (2) In the absence of supervision, how can we quantify the accuracy of covariance estimation? We address (1) with a Taylor Induced Covariance (TIC), which captures the randomness of the predicted mean by incorporating its gradient and curvature through the second order Taylor polynomial. Furthermore, we tackle (2) by introducing a Task Agnostic Correlations (TAC) metric, which combines the notion of correlations and absolute error to evaluate the covariance. We evaluate TIC-TAC across multiple experiments spanning synthetic and real-world datasets. Our results show that not only does TIC accurately learn the covariance, it additionally facilitates an improved convergence of the negative log-likelihood. Our code is available at https://github.com/vita-epfl/TIC-TAC
- Abstract（参考訳）: 深い異方性回帰は、予測分布の平均と共分散を負の対数類似度を用いて共同最適化する。
しかし、近年の研究では、共分散推定に関わる問題により、この結果が準最適収束をもたらす可能性が示されている。
文献は、予測された共分散の影響を軽減するために、別の定式化を提案することでこの問題に対処するが、予測共分散自体を改善することに焦点をあてる。
1)予測共分散は予測平均のランダム性を真に捉えているか?
2) 監督がない場合、共分散推定の精度を定量化するにはどうすればよいか。
1 はテイラー誘導共分散(TIC)を用いて、その勾配と曲率を第2次テイラー多項式に組み込むことで予測平均のランダム性を捉える。
さらに、相関の概念と絶対誤差を組み合わせたタスク非依存相関(TAC)メトリクスを導入して、共分散を評価する。
合成および実世界のデータセットにまたがる複数の実験におけるTIC-TACの評価を行った。
その結果, TICは共分散を正確に学習するだけでなく, 負の対数類似性の収束性の向上も促進することがわかった。
私たちのコードはhttps://github.com/vita-epfl/TIC-TACで利用可能です。
関連論文リスト
- Semiparametric conformal prediction [79.6147286161434]
リスクに敏感なアプリケーションは、複数の、潜在的に相関したターゲット変数に対して、よく校正された予測セットを必要とする。
スコアをランダムなベクトルとして扱い、それらの連接関係構造を考慮した予測セットを構築することを目的とする。
実世界のレグレッション問題に対して,所望のカバレッジと競争効率について報告する。
論文 参考訳（メタデータ） (2024-11-04T14:29:02Z) - A Geometric Unification of Distributionally Robust Covariance Estimators: Shrinking the Spectrum by Inflating the Ambiguity Set [20.166217494056916]
制約的な仮定を課さずに共分散推定器を構築するための原理的手法を提案する。
頑健な推定器は効率的に計算可能で一貫したものであることを示す。
合成および実データに基づく数値実験により、我々の頑健な推定器は最先端の推定器と競合していることが示された。
論文 参考訳（メタデータ） (2024-05-30T15:01:18Z) - Collaborative Heterogeneous Causal Inference Beyond Meta-analysis [68.4474531911361]
異種データを用いた因果推論のための協調的逆確率スコア推定器を提案する。
異質性の増加に伴うメタアナリシスに基づく手法に対して,本手法は有意な改善を示した。
論文 参考訳（メタデータ） (2024-04-24T09:04:36Z) - Nearest Neighbor Sampling for Covariate Shift Adaptation [7.940293148084844]
重みを推定しない新しい共変量シフト適応法を提案する。
基本的な考え方は、ソースデータセットの$k$-nearestの隣人によってラベル付けされたラベル付けされていないターゲットデータを直接扱うことだ。
実験の結果, 走行時間を大幅に短縮できることがわかった。
論文 参考訳（メタデータ） (2023-12-15T17:28:09Z) - Covariance Estimators for the ROOT-SGD Algorithm in Online Learning [7.00422423634143]
ROOT-SGDのアルゴリズム共分散に対する2つの推定器を開発した。
最初の推定器はプラグインの考え方を採用し, 共分散公式の未知の要素ごとに, 経験的手法で置き換える。
2つ目の推定器は、制限を克服するヘッセン自由推定器である。
論文 参考訳（メタデータ） (2022-12-02T15:55:52Z) - On the Strong Correlation Between Model Invariance and Generalization [54.812786542023325]
一般化は、見えないデータを分類するモデルの能力をキャプチャする。
不変性はデータの変換におけるモデル予測の一貫性を測定する。
データセット中心の視点から、あるモデルの精度と不変性は異なるテストセット上で線形に相関している。
論文 参考訳（メタデータ） (2022-07-14T17:08:25Z) - A New Central Limit Theorem for the Augmented IPW Estimator: Variance
Inflation, Cross-Fit Covariance and Beyond [0.9172870611255595]
クロスフィッティングを用いたクロスフィッティング逆確率重み付け(AIPW)は、実際は一般的な選択肢である。
本研究では, 高次元状態における結果回帰モデルと確率スコアモデルを用いて, クロスフィット型AIPW推定器について検討する。
本研究は, メッセージパッシング理論, 決定論的等価性理論, 離脱一元的アプローチの3つの異なるツール間の新たな相互作用を利用する。
論文 参考訳（メタデータ） (2022-05-20T14:17:53Z) - Benign-Overfitting in Conditional Average Treatment Effect Prediction
with Linear Regression [14.493176427999028]
線形回帰モデルを用いて条件平均処理効果(CATE)の予測における良性過剰適合理論について検討した。
一方,IPW-learnerは確率スコアが分かっていればリスクをゼロに収束させるが,T-learnerはランダムな割り当て以外の一貫性を達成できないことを示す。
論文 参考訳（メタデータ） (2022-02-10T18:51:52Z) - Multivariate Probabilistic Regression with Natural Gradient Boosting [63.58097881421937]
多変量予測分布の条件パラメータを非パラメトリックにモデル化したNatural Gradient Boosting (NGBoost) 手法を提案する。
提案手法は頑健で, 広範囲なチューニングを伴わず, 推定対象分布に対してモジュール構造であり, 既存の手法と比較して競争力がある。
論文 参考訳（メタデータ） (2021-06-07T17:44:49Z) - Comparing Probability Distributions with Conditional Transport [63.11403041984197]
新しい発散として条件輸送(CT)を提案し、償却されたCT(ACT)コストと近似します。
ACTは条件付き輸送計画の計算を補正し、計算が容易な非バイアスのサンプル勾配を持つ。
さまざまなベンチマークデータセットのジェネレーティブモデリングでは、既存のジェネレーティブ敵対ネットワークのデフォルトの統計距離をACTに置き換えることで、一貫してパフォーマンスを向上させることが示されています。
論文 参考訳（メタデータ） (2020-12-28T05:14:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。