論文の概要: Robust Covariate Shift Adaptation for Density-Ratio Estimation
- arxiv url: http://arxiv.org/abs/2310.16638v2
- Date: Thu, 26 Oct 2023 02:53:20 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-28 00:26:36.488361
- Title: Robust Covariate Shift Adaptation for Density-Ratio Estimation
- Title(参考訳): 密度比推定のためのロバスト共変量シフト適応
- Authors: Masahiro Kato
- Abstract要約: 重み付けによる共変量シフト適応のための二重頑健な推定器を提案する。
我々の推定器は密度比推定誤差から生じるバイアスを低減する。
特に、密度比推定器または回帰関数が整合である場合、我々の推定器は整合性を保つ。
- 参考スコア(独自算出の注目度): 10.470114319701576
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Consider a scenario where we have access to train data with both covariates
and outcomes while test data only contains covariates. In this scenario, our
primary aim is to predict the missing outcomes of the test data. With this
objective in mind, we train parametric regression models under a covariate
shift, where covariate distributions are different between the train and test
data. For this problem, existing studies have proposed covariate shift
adaptation via importance weighting using the density ratio. This approach
averages the train data losses, each weighted by an estimated ratio of the
covariate densities between the train and test data, to approximate the
test-data risk. Although it allows us to obtain a test-data risk minimizer, its
performance heavily relies on the accuracy of the density ratio estimation.
Moreover, even if the density ratio can be consistently estimated, the
estimation errors of the density ratio also yield bias in the estimators of the
regression model's parameters of interest. To mitigate these challenges, we
introduce a doubly robust estimator for covariate shift adaptation via
importance weighting, which incorporates an additional estimator for the
regression function. Leveraging double machine learning techniques, our
estimator reduces the bias arising from the density ratio estimation errors. We
demonstrate the asymptotic distribution of the regression parameter estimator.
Notably, our estimator remains consistent if either the density ratio estimator
or the regression function is consistent, showcasing its robustness against
potential errors in density ratio estimation. Finally, we confirm the soundness
of our proposed method via simulation studies.
- Abstract(参考訳): テストデータは共変量のみを含むが、共変量と結果の両方でトレーニングデータにアクセスできるシナリオを考えてみましょう。
このシナリオでは、テストデータの欠落結果を予測することが第一目的です。
この目的を念頭において、共変量分布が異なる共変量シフトの下でパラメトリック回帰モデルを訓練する。
そこで本研究では,密度比を用いた重み付けによる共変量変化適応法を提案する。
このアプローチは、列車データ損失を平均し、列車と試験データの間の共変量密度の推定比率で重み付けし、テストデータリスクを近似する。
テストデータのリスクを最小化できるが、その性能は密度比推定の精度に大きく依存している。
さらに, 密度比を一定に推定できるとしても, 密度比の推定誤差は, 回帰モデルの興味パラメータの推定値に偏りを生じさせる。
これらの課題を緩和するため,重み付けによる共変量シフト適応のための二重ロバスト推定器を導入し,回帰関数に付加的な推定器を組み込む。
この2重機械学習手法を活用し,密度比推定誤差から生じるバイアスを低減した。
回帰パラメータ推定器の漸近分布を示す。
特に、密度比推定器または回帰関数が整合である場合、我々の推定器は、密度比推定における潜在的な誤差に対する頑健性を示す。
最後に,提案手法の音質をシミュレーション研究により確認する。
関連論文リスト
- Scalable and hyper-parameter-free non-parametric covariate shift
adaptation with conditional sampling [2.969582361376132]
共変量シフト適応に対する新しい非パラメトリックアプローチを提案する。
私たちの基本的な考え方は、ソースデータセットにある$k$-nearestの隣人によってラベル付けされていないターゲットデータをラベル付けすることにあります。
その結果,対象データの結合確率分布を推定するための収束速度が急上昇することがわかった。
論文 参考訳(メタデータ) (2023-12-15T17:28:09Z) - Adaptive learning of density ratios in RKHS [3.047411947074805]
有限個の観測から2つの確率密度の比を推定することは、機械学習と統計学における中心的な問題である。
我々は、再生カーネルヒルベルト空間における真の密度比とモデルの間の正規化ブレグマン偏差を最小化する大規模な密度比推定法を分析する。
論文 参考訳(メタデータ) (2023-07-30T08:18:39Z) - Adapting to Continuous Covariate Shift via Online Density Ratio
Estimation [90.62832273403077]
分散シフトへの対処は、現代の機械学習における中心的な課題の1つだ。
我々の目標は、予測者が時間とともに蓄積される予測リスクを最小限に抑えるように、適応的に予測者を訓練することである。
論文 参考訳(メタデータ) (2023-02-06T04:03:33Z) - The Implicit Delta Method [61.36121543728134]
本稿では,不確実性のトレーニング損失を無限に正規化することで機能する,暗黙のデルタ法を提案する。
有限差分により無限小変化が近似された場合でも, 正則化による評価の変化は評価推定器の分散に一定であることを示す。
論文 参考訳(メタデータ) (2022-11-11T19:34:17Z) - Nonparametric Probabilistic Regression with Coarse Learners [1.8275108630751844]
我々は, 密度の形状や形状について最小限の仮定で, 正確な条件密度を計算することができることを示す。
このアプローチをさまざまなデータセットで実証し、特に大きなデータセットで競合性能を示す。
論文 参考訳(メタデータ) (2022-10-28T16:25:26Z) - Statistical Efficiency of Score Matching: The View from Isoperimetry [96.65637602827942]
本研究では, スコアマッチングの統計的効率と推定される分布の等尺性との間に, 密接な関係を示す。
これらの結果はサンプル状態と有限状態の両方で定式化する。
論文 参考訳(メタデータ) (2022-10-03T06:09:01Z) - Heavy-tailed Streaming Statistical Estimation [58.70341336199497]
ストリーミング$p$のサンプルから重み付き統計推定の課題を考察する。
そこで我々は,傾きの雑音に対して,よりニュアンスな条件下での傾きの傾きの低下を設計し,より詳細な解析を行う。
論文 参考訳(メタデータ) (2021-08-25T21:30:27Z) - Increasing the efficiency of randomized trial estimates via linear
adjustment for a prognostic score [59.75318183140857]
ランダム化実験による因果効果の推定は臨床研究の中心である。
歴史的借用法のほとんどは、厳格なタイプiエラー率制御を犠牲にして分散の削減を達成する。
論文 参考訳(メタデータ) (2020-12-17T21:10:10Z) - Improving Nonparametric Density Estimation with Tensor Decompositions [14.917420021212912]
非パラメトリック密度推定器は、しばしば低次元データに対してよく機能するが、高次元データに適用すると苦しむ。
本稿では、これらの改善が他の単純化された依存前提にまで拡張できるかどうかを考察する。
多次元ヒストグラムにおける低ランク非負のPARAFACやTucker分解に対する推定の制限は、ビン幅速度の次元指数を除去することを示す。
論文 参考訳(メタデータ) (2020-10-06T01:39:09Z) - TraDE: Transformers for Density Estimation [101.20137732920718]
TraDEは自己回帰密度推定のための自己アテンションに基づくアーキテクチャである。
本稿では, 生成したサンプルを用いた回帰, 分布外検出, トレーニングデータにおける雑音に対する頑健性などのタスクについて述べる。
論文 参考訳(メタデータ) (2020-04-06T07:32:51Z) - Posterior Ratio Estimation of Latent Variables [14.619879849533662]
いくつかのアプリケーションでは、観測から無視される確率変数の分布を比較したい。
潜在変数の2つの後続確率密度関数の比を推定する問題について検討する。
論文 参考訳(メタデータ) (2020-02-15T16:46:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。