論文の概要: Nearest Neighbor Sampling for Covariate Shift Adaptation

• arxiv url: http://arxiv.org/abs/2312.09969v2
• Date: Fri, 28 Jun 2024 15:10:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-01 21:54:26.149983
• Title: Nearest Neighbor Sampling for Covariate Shift Adaptation
• Title（参考訳）: 共変量シフト適応のための最近傍サンプリング
• Authors: François Portier, Lionel Truquet, Ikko Yamane,
• Abstract要約: 重みを推定しない新しい共変量シフト適応法を提案する。 基本的な考え方は、ソースデータセットの$k$-nearestの隣人によってラベル付けされたラベル付けされていないターゲットデータを直接扱うことだ。 実験の結果, 走行時間を大幅に短縮できることがわかった。
• 参考スコア（独自算出の注目度）: 7.940293148084844
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many existing covariate shift adaptation methods estimate sample weights given to loss values to mitigate the gap between the source and the target distribution. However, estimating the optimal weights typically involves computationally expensive matrix inversion and hyper-parameter tuning. In this paper, we propose a new covariate shift adaptation method which avoids estimating the weights. The basic idea is to directly work on unlabeled target data, labeled according to the $k$-nearest neighbors in the source dataset. Our analysis reveals that setting $k = 1$ is an optimal choice. This property removes the necessity of tuning the only hyper-parameter $k$ and leads to a running time quasi-linear in the sample size. Our results include sharp rates of convergence for our estimator, with a tight control of the mean square error and explicit constants. In particular, the variance of our estimators has the same rate of convergence as for standard parametric estimation despite their non-parametric nature. The proposed estimator shares similarities with some matching-based treatment effect estimators used, e.g., in biostatistics, econometrics, and epidemiology. Our experiments show that it achieves drastic reduction in the running time with remarkable accuracy.
• Abstract（参考訳）: 多くの既存共変量シフト適応法は、ソースとターゲット分布のギャップを軽減するために損失値に与えられたサンプル重量を推定する。 しかし、最適な重みを推定するには、計算コストの高い行列逆転とハイパーパラメータチューニングが一般的である。 本稿では,重み推定を回避した新しい共変量シフト適応法を提案する。 基本的な考え方は、ソースデータセットの$k$-nearestの隣人によってラベル付けされたラベル付けされていないターゲットデータを直接扱うことだ。 分析の結果,$k = 1$が最適選択であることが判明した。 このプロパティは、ハイパーパラメータ$k$だけをチューニングする必要をなくし、サンプルサイズで実行時間準線形になる。 我々の結果は、平均二乗誤差と明示定数を厳密に制御した推定器の収束率の急激な値を含む。 特に、我々の推定器の分散は、非パラメトリックな性質にもかかわらず標準パラメトリック推定と同じ収束率を持つ。 提案手法は, 生体統計学, エコノメトリクス, 疫学において用いられる, マッチングに基づく治療効果推定器と類似性を有する。 実験の結果, 走行時間を大幅に短縮できることがわかった。

関連論文リスト

• Semiparametric conformal prediction [79.6147286161434]
  リスクに敏感なアプリケーションは、複数の、潜在的に相関したターゲット変数に対して、よく校正された予測セットを必要とする。 スコアをランダムなベクトルとして扱い、それらの連接関係構造を考慮した予測セットを構築することを目的とする。 実世界のレグレッション問題に対して,所望のカバレッジと競争効率について報告する。
  論文  参考訳（メタデータ） (2024-11-04T14:29:02Z)
• Multivariate root-n-consistent smoothing parameter free matching estimators and estimators of inverse density weighted expectations [51.000851088730684]
  我々は、パラメトリックな$sqrt n $-rateで収束する、最も近い隣人の新しい修正とマッチング推定器を開発する。 我々は,非パラメトリック関数推定器は含まないこと,特に標本サイズ依存パラメータの平滑化には依存していないことを強調する。
  論文  参考訳（メタデータ） (2024-07-11T13:28:34Z)
• Variance Reduction for the Independent Metropolis Sampler [11.074080383657453]
  我々は、$pi$がKL分散の下で別の密度$q$に十分近い場合、$pi$からサンプルを得る独立したサンプリング器は、$pi$からサンプリングするi.d.よりも小さな分散を達成することを証明した。 提案手法は,KLの目標との偏差が低減されるように,提案密度に適応する適応型独立メトロポリスアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-06-25T16:38:53Z)
• Contextual Optimization under Covariate Shift: A Robust Approach by Intersecting Wasserstein Balls [18.047245099229325]
  2つのワッサーシュタイン球の交叉によって設定されたあいまいさを利用する分布的ロバストなアプローチを提案する。 提案したモデルの強烈な経験的性能を実証する。
  論文  参考訳（メタデータ） (2024-06-04T15:46:41Z)
• TIC-TAC: A Framework for Improved Covariance Estimation in Deep Heteroscedastic Regression [109.69084997173196]
  奥行き回帰は、予測分布の平均と共分散を負の対数類似度を用いて共同最適化する。 近年の研究では, 共分散推定に伴う課題により, 準最適収束が生じる可能性が示唆されている。 1)予測共分散は予測平均のランダム性を真に捉えているか? その結果, TICは共分散を正確に学習するだけでなく, 負の対数類似性の収束性の向上も促進することがわかった。
  論文  参考訳（メタデータ） (2023-10-29T09:54:03Z)
• Double Debiased Covariate Shift Adaptation Robust to Density-Ratio Estimation [7.8856737627153874]
  重み付けによる共変量シフト適応のための二重頑健な推定器を提案する。 我々の推定器は密度比推定誤差から生じるバイアスを低減する。 特に、密度比推定器または回帰関数が整合である場合、我々の推定器は整合性を保つ。
  論文  参考訳（メタデータ） (2023-10-25T13:38:29Z)
• Multi-Fidelity Covariance Estimation in the Log-Euclidean Geometry [0.0]
  対称正定値多様体の対数ユークリッド幾何学を利用する共分散行列の多値推定器を導入する。 固定予算が与えられた推定器の平均二乗誤差を最小化する最適サンプル割り当て方式を開発した。 物理アプリケーションからのデータによるアプローチの評価は、ベンチマークと比較すると、より正確なメトリック学習と1桁以上のスピードアップを示している。
  論文  参考訳（メタデータ） (2023-01-31T16:33:46Z)
• Near-optimal inference in adaptive linear regression [60.08422051718195]
  最小二乗法のような単純な方法でさえ、データが適応的に収集されるときの非正規な振る舞いを示すことができる。 我々は,これらの分布異常を少なくとも2乗推定で補正するオンラインデバイアス推定器のファミリーを提案する。 我々は,マルチアームバンディット,自己回帰時系列推定,探索による能動的学習などの応用を通して,我々の理論の有用性を実証する。
  論文  参考訳（メタデータ） (2021-07-05T21:05:11Z)
• SUMO: Unbiased Estimation of Log Marginal Probability for Latent Variable Models [80.22609163316459]
  無限級数のランダム化トランケーションに基づく潜在変数モデルに対して、ログ境界確率の非バイアス推定器とその勾配を導入する。 推定器を用いてトレーニングしたモデルは、同じ平均計算コストに対して、標準的な重要度サンプリングに基づくアプローチよりも優れたテストセット確率を与えることを示す。
  論文  参考訳（メタデータ） (2020-04-01T11:49:30Z)
• Estimating Gradients for Discrete Random Variables by Sampling without Replacement [93.09326095997336]
  我々は、置換のないサンプリングに基づいて、離散確率変数に対する期待値の偏りのない推定器を導出する。 推定器は3つの異なる推定器のラオ・ブラックウェル化として導出可能であることを示す。
  論文  参考訳（メタデータ） (2020-02-14T14:15:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。