論文の概要: Towards Self-Supervised Covariance Estimation in Deep Heteroscedastic Regression

• arxiv url: http://arxiv.org/abs/2502.10587v1
• Date: Fri, 14 Feb 2025 22:37:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:17:10.603808
• Title: Towards Self-Supervised Covariance Estimation in Deep Heteroscedastic Regression
• Title（参考訳）: 深部ヘテロセダス性回帰における自己教師付き共分散推定に向けて
• Authors: Megh Shukla, Aziz Shameem, Mathieu Salzmann, Alexandre Alahi,
• Abstract要約: 深部異方性回帰における自己教師付き共分散推定について検討する。 正規分布の間の2-ワッサーシュタイン距離の上界を導出する。 幅広い合成データセットと実データセットに対する実験により、提案された2-ワッサーシュタインと擬似ラベルアノテーションが結合した結果、計算的に安価で正確な深部ヘテロ代用回帰が導かれることが示された。
• 参考スコア（独自算出の注目度）: 102.24287051757469
• License:
• Abstract: Deep heteroscedastic regression models the mean and covariance of the target distribution through neural networks. The challenge arises from heteroscedasticity, which implies that the covariance is sample dependent and is often unknown. Consequently, recent methods learn the covariance through unsupervised frameworks, which unfortunately yield a trade-off between computational complexity and accuracy. While this trade-off could be alleviated through supervision, obtaining labels for the covariance is non-trivial. Here, we study self-supervised covariance estimation in deep heteroscedastic regression. We address two questions: (1) How should we supervise the covariance assuming ground truth is available? (2) How can we obtain pseudo labels in the absence of the ground-truth? We address (1) by analysing two popular measures: the KL Divergence and the 2-Wasserstein distance. Subsequently, we derive an upper bound on the 2-Wasserstein distance between normal distributions with non-commutative covariances that is stable to optimize. We address (2) through a simple neighborhood based heuristic algorithm which results in surprisingly effective pseudo labels for the covariance. Our experiments over a wide range of synthetic and real datasets demonstrate that the proposed 2-Wasserstein bound coupled with pseudo label annotations results in a computationally cheaper yet accurate deep heteroscedastic regression.
• Abstract（参考訳）: ディープヘテロシダスティック回帰は、ニューラルネットワークによるターゲット分布の平均と共分散をモデル化する。 この課題は、共分散が標本依存であり、しばしば未知であることを意味するヘテロスセダスティック性から生じる。 その結果、最近の手法は教師なしのフレームワークを通じて共分散を学習し、残念ながら計算複雑性と精度のトレードオフをもたらす。 このトレードオフは監督によって緩和される可能性があるが、共分散のラベルを取得することは簡単ではない。 本稿では, 深部ヘテロセダスティック回帰における自己教師付き共分散推定について検討する。 1) 真理が得られれば、どのように共分散を監督すべきか? 2) 地下構造がない場合、どうやって擬似ラベルを得られるか。 1 は KL 分割と 2-ワッサーシュタイン距離という 2 つの一般的な測度を解析することによって解決する。 その後、最適化に安定な非可換共分散を持つ正規分布の間の2-ワッサーシュタイン距離の上界を導出する。 我々は、(2)を単純な近傍に基づくヒューリスティックアルゴリズムで処理し、その共分散に対して驚くほど効果的な擬似ラベルを導出する。 提案した2-ワッサーシュタインと擬似ラベルアノテーションを結合させることにより,より安価かつ高精度な深部異方性回帰を導出することを示す。

関連論文リスト

• Collaborative Heterogeneous Causal Inference Beyond Meta-analysis [68.4474531911361]
  異種データを用いた因果推論のための協調的逆確率スコア推定器を提案する。 異質性の増加に伴うメタアナリシスに基づく手法に対して,本手法は有意な改善を示した。
  論文  参考訳（メタデータ） (2024-04-24T09:04:36Z)
• Generating Unbiased Pseudo-labels via a Theoretically Guaranteed Chebyshev Constraint to Unify Semi-supervised Classification and Regression [57.17120203327993]
  分類におけるしきい値と擬似ラベルプロセス(T2L)は、ラベルの品質を決定するために信頼性を使用する。 本質的には、レグレッションは高品質なラベルを生成するためにバイアスのない方法も必要である。 チェビシェフの不等式に基づく不偏ラベルを生成するための理論的に保証された制約を提案する。
  論文  参考訳（メタデータ） (2023-11-03T08:39:35Z)
• TIC-TAC: A Framework for Improved Covariance Estimation in Deep Heteroscedastic Regression [109.69084997173196]
  奥行き回帰は、予測分布の平均と共分散を負の対数類似度を用いて共同最適化する。 近年の研究では, 共分散推定に伴う課題により, 準最適収束が生じる可能性が示唆されている。 1)予測共分散は予測平均のランダム性を真に捉えているか? その結果, TICは共分散を正確に学習するだけでなく, 負の対数類似性の収束性の向上も促進することがわかった。
  論文  参考訳（メタデータ） (2023-10-29T09:54:03Z)
• Out-Of-Domain Unlabeled Data Improves Generalization [0.7589678255312519]
  本稿では,ラベルなしデータを半教師付き分類問題に組み込む新しい枠組みを提案する。 ラベルのないサンプルは一般化ギャップを狭めるために利用できることを示す。 我々は、さまざまな合成および実世界のデータセットで実施された実験を通じて、我々の主張を検証する。
  論文  参考訳（メタデータ） (2023-09-29T02:00:03Z)
• Pseudo-Labeling for Kernel Ridge Regression under Covariate Shift [1.3597551064547502]
  対象分布に対する平均2乗誤差が小さい回帰関数を,ラベルなしデータと異なる特徴分布を持つラベル付きデータに基づいて学習する。 ラベル付きデータを2つのサブセットに分割し、カーネルリッジの回帰処理を行い、候補モデルの集合と計算モデルを得る。 モデル選択に擬似ラベルを用いることで性能を著しく損なうことはないことが判明した。
  論文  参考訳（メタデータ） (2023-02-20T18:46:12Z)
• Equivariance Discovery by Learned Parameter-Sharing [153.41877129746223]
  データから解釈可能な等価性を発見する方法について検討する。 具体的には、モデルのパラメータ共有方式に対する最適化問題として、この発見プロセスを定式化する。 また,ガウスデータの手法を理論的に解析し,研究された発見スキームとオラクルスキームの間の平均2乗ギャップを限定する。
  論文  参考訳（メタデータ） (2022-04-07T17:59:19Z)
• X-model: Improving Data Efficiency in Deep Learning with A Minimax Model [78.55482897452417]
  ディープラーニングにおける分類と回帰設定の両面でのデータ効率の向上を目標とする。 両世界の力を生かすために,我々は新しいX-モデルを提案する。 X-モデルは、特徴抽出器とタスク固有のヘッドの間でミニマックスゲームを行う。
  論文  参考訳（メタデータ） (2021-10-09T13:56:48Z)
• DEMI: Discriminative Estimator of Mutual Information [5.248805627195347]
  連続確率変数間の相互情報を推定することは、高次元データにとってしばしば難解で困難である。 近年の進歩は、相互情報の変動的下界を最適化するためにニューラルネットワークを活用している。 提案手法は,データサンプルペアが結合分布から引き出される確率を提供する分類器の訓練に基づく。
  論文  参考訳（メタデータ） (2020-10-05T04:19:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。