論文の概要: Covariate Shift Adaptation Robust to Density-Ratio Estimation

• arxiv url: http://arxiv.org/abs/2310.16638v1
• Date: Wed, 25 Oct 2023 13:38:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-26 14:32:55.323057
• Title: Covariate Shift Adaptation Robust to Density-Ratio Estimation
• Title（参考訳）: 密度比推定にロバストな共変量シフト適応
• Authors: Masahiro Kato
• Abstract要約: 重み付けによる共変量シフト適応のための二重頑健な推定器を提案する。 我々の推定器は密度比推定誤差から生じるバイアスを低減する。 特に、密度比推定器または回帰関数が整合である場合、我々の推定器は整合性を保つ。
• 参考スコア（独自算出の注目度）: 10.470114319701576
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Consider a scenario where we have access to train data with both covariates and outcomes while test data only contains covariates. In this scenario, our primary aim is to predict the missing outcomes of the test data. With this objective in mind, we train parametric regression models under a covariate shift, where covariate distributions are different between the train and test data. For this problem, existing studies have proposed covariate shift adaptation via importance weighting using the density ratio. This approach averages the train data losses, each weighted by an estimated ratio of the covariate densities between the train and test data, to approximate the test-data risk. Although it allows us to obtain a test-data risk minimizer, its performance heavily relies on the accuracy of the density ratio estimation. Moreover, even if the density ratio can be consistently estimated, the estimation errors of the density ratio also yield bias in the estimators of the regression model's parameters of interest. To mitigate these challenges, we introduce a doubly robust estimator for covariate shift adaptation via importance weighting, which incorporates an additional estimator for the regression function. Leveraging double machine learning techniques, our estimator reduces the bias arising from the density ratio estimation errors. We demonstrate the asymptotic distribution of the regression parameter estimator. Notably, our estimator remains consistent if either the density ratio estimator or the regression function is consistent, showcasing its robustness against potential errors in density ratio estimation. Finally, we confirm the soundness of our proposed method via simulation studies.
• Abstract（参考訳）: テストデータは共変量のみを含むが、共変量と結果の両方でトレーニングデータにアクセスできるシナリオを考えてみましょう。 このシナリオでは、テストデータの欠落結果を予測することが第一目的です。 この目的を念頭において、共変量分布が異なる共変量シフトの下でパラメトリック回帰モデルを訓練する。 そこで本研究では,密度比を用いた重み付けによる共変量変化適応法を提案する。 このアプローチは、列車データ損失を平均し、列車と試験データの間の共変量密度の推定比率で重み付けし、テストデータリスクを近似する。 テストデータのリスクを最小化できるが、その性能は密度比推定の精度に大きく依存している。 さらに, 密度比を一定に推定できるとしても, 密度比の推定誤差は, 回帰モデルの興味パラメータの推定値に偏りを生じさせる。 これらの課題を緩和するため,重み付けによる共変量シフト適応のための二重ロバスト推定器を導入し,回帰関数に付加的な推定器を組み込む。 この2重機械学習手法を活用し,密度比推定誤差から生じるバイアスを低減した。 回帰パラメータ推定器の漸近分布を示す。 特に、密度比推定器または回帰関数が整合である場合、我々の推定器は、密度比推定における潜在的な誤差に対する頑健性を示す。 最後に,提案手法の音質をシミュレーション研究により確認する。

関連論文リスト

• Risk and cross validation in ridge regression with correlated samples [72.59731158970894]
  我々は,データポイントが任意の相関関係を持つ場合,リッジ回帰のイン・オブ・サンプルリスクのトレーニング例を提供する。 さらに、テストポイントがトレーニングセットと非自明な相関を持ち、時系列予測で頻繁に発生するような場合まで分析を拡張します。 我々は多種多様な高次元データにまたがって理論を検証する。
  論文  参考訳（メタデータ） (2024-08-08T17:27:29Z)
• Multivariate root-n-consistent smoothing parameter free matching estimators and estimators of inverse density weighted expectations [51.000851088730684]
  我々は、パラメトリックな$sqrt n $-rateで収束する、最も近い隣人の新しい修正とマッチング推定器を開発する。 我々は,非パラメトリック関数推定器は含まないこと,特に標本サイズ依存パラメータの平滑化には依存していないことを強調する。
  論文  参考訳（メタデータ） (2024-07-11T13:28:34Z)
• High-dimensional analysis of ridge regression for non-identically distributed data with a variance profile [0.0]
  線形回帰に対する尾根推定器の予測リスクを分散プロファイルを用いて検討した。 ある種の分散プロファイルについては、よく知られた二重降下現象の出現に注目した。 また、独立分散データと同一分散データの標準設定で存在する類似点と相違点についても検討する。
  論文  参考訳（メタデータ） (2024-03-29T14:24:49Z)
• Nearest Neighbor Sampling for Covariate Shift Adaptation [7.940293148084844]
  重みを推定しない新しい共変量シフト適応法を提案する。 基本的な考え方は、ソースデータセットの$k$-nearestの隣人によってラベル付けされたラベル付けされていないターゲットデータを直接扱うことだ。 実験の結果, 走行時間を大幅に短縮できることがわかった。
  論文  参考訳（メタデータ） (2023-12-15T17:28:09Z)
• TIC-TAC: A Framework for Improved Covariance Estimation in Deep Heteroscedastic Regression [109.69084997173196]
  奥行き回帰は、予測分布の平均と共分散を負の対数類似度を用いて共同最適化する。 近年の研究では, 共分散推定に伴う課題により, 準最適収束が生じる可能性が示唆されている。 1)予測共分散は予測平均のランダム性を真に捉えているか? その結果, TICは共分散を正確に学習するだけでなく, 負の対数類似性の収束性の向上も促進することがわかった。
  論文  参考訳（メタデータ） (2023-10-29T09:54:03Z)
• Adaptive learning of density ratios in RKHS [3.047411947074805]
  有限個の観測から2つの確率密度の比を推定することは、機械学習と統計学における中心的な問題である。 我々は、再生カーネルヒルベルト空間における真の密度比とモデルの間の正規化ブレグマン偏差を最小化する大規模な密度比推定法を分析する。
  論文  参考訳（メタデータ） (2023-07-30T08:18:39Z)
• Adapting to Continuous Covariate Shift via Online Density Ratio Estimation [64.8027122329609]
  分散シフトへの対処は、現代の機械学習における中心的な課題の1つだ。 歴史的情報を適切に再利用するオンライン手法を提案する。 我々の密度比推定法は, ダイナミックなリセットバウンドを楽しむことにより, 良好に動作できることが証明された。
  論文  参考訳（メタデータ） (2023-02-06T04:03:33Z)
• Increasing the efficiency of randomized trial estimates via linear adjustment for a prognostic score [59.75318183140857]
  ランダム化実験による因果効果の推定は臨床研究の中心である。 歴史的借用法のほとんどは、厳格なタイプiエラー率制御を犠牲にして分散の削減を達成する。
  論文  参考訳（メタデータ） (2020-12-17T21:10:10Z)
• Improving Nonparametric Density Estimation with Tensor Decompositions [14.917420021212912]
  非パラメトリック密度推定器は、しばしば低次元データに対してよく機能するが、高次元データに適用すると苦しむ。 本稿では、これらの改善が他の単純化された依存前提にまで拡張できるかどうかを考察する。 多次元ヒストグラムにおける低ランク非負のPARAFACやTucker分解に対する推定の制限は、ビン幅速度の次元指数を除去することを示す。
  論文  参考訳（メタデータ） (2020-10-06T01:39:09Z)
• TraDE: Transformers for Density Estimation [101.20137732920718]
  TraDEは自己回帰密度推定のための自己アテンションに基づくアーキテクチャである。 本稿では, 生成したサンプルを用いた回帰, 分布外検出, トレーニングデータにおける雑音に対する頑健性などのタスクについて述べる。
  論文  参考訳（メタデータ） (2020-04-06T07:32:51Z)
• Posterior Ratio Estimation of Latent Variables [14.619879849533662]
  いくつかのアプリケーションでは、観測から無視される確率変数の分布を比較したい。 潜在変数の2つの後続確率密度関数の比を推定する問題について検討する。
  論文  参考訳（メタデータ） (2020-02-15T16:46:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。