論文の概要: Scalable and hyper-parameter-free non-parametric covariate shift adaptation with conditional sampling

• arxiv url: http://arxiv.org/abs/2312.09969v1
• Date: Fri, 15 Dec 2023 17:28:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-18 14:41:27.742320
• Title: Scalable and hyper-parameter-free non-parametric covariate shift adaptation with conditional sampling
• Title（参考訳）: 条件付きサンプリングによる拡張性と超パラメータフリー非パラメトリック共変量シフト適応
• Authors: Fran\c{c}ois Portier, Lionel Truquet, Ikko Yamane
• Abstract要約: 共変量シフト適応に対する新しい非パラメトリックアプローチを提案する。 私たちの基本的な考え方は、ソースデータセットにある$k$-nearestの隣人によってラベル付けされていないターゲットデータをラベル付けすることにあります。 その結果,対象データの結合確率分布を推定するための収束速度が急上昇することがわかった。
• 参考スコア（独自算出の注目度）: 2.969582361376132
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many existing covariate shift adaptation methods estimate sample weights to be used in the risk estimation in order to mitigate the gap between the source and the target distribution. However, non-parametrically estimating the optimal weights typically involves computationally expensive hyper-parameter tuning that is crucial to the final performance. In this paper, we propose a new non-parametric approach to covariate shift adaptation which avoids estimating weights and has no hyper-parameter to be tuned. Our basic idea is to label unlabeled target data according to the $k$-nearest neighbors in the source dataset. Our analysis indicates that setting $k = 1$ is an optimal choice. Thanks to this property, there is no need to tune any hyper-parameters, unlike other non-parametric methods. Moreover, our method achieves a running time quasi-linear in the sample size with a theoretical guarantee, for the first time in the literature to the best of our knowledge. Our results include sharp rates of convergence for estimating the joint probability distribution of the target data. In particular, the variance of our estimators has the same rate of convergence as for standard parametric estimation despite their non-parametric nature. Our numerical experiments show that proposed method brings drastic reduction in the running time with accuracy comparable to that of the state-of-the-art methods.
• Abstract（参考訳）: 多くの既存の共変量シフト適応法では、ソースとターゲット分布のギャップを緩和するために、リスク推定に使用するサンプル重みを推定している。 しかしながら、最適重みを非パラメトリックに推定するには、通常、最終的な性能に不可欠な計算コストの高いハイパーパラメータチューニングが必要となる。 本稿では,重み推定を回避し,過度パラメータを調整できない共変量シフト適応のための新しい非パラメトリックアプローチを提案する。 私たちの基本的なアイデアは、ソースデータセット内の$k$-nearestの隣人に従って、ラベルなしのターゲットデータをラベル付けすることです。 我々の分析は、$k = 1$の設定が最適な選択であることを示している。 この性質のおかげで、他の非パラメトリックな方法とは異なり、ハイパーパラメータをチューニングする必要はない。 さらに,本手法は,文献の知識を最大限に活用する初めて,理論的な保証により,サンプルサイズで準線形な実行時間を実現する。 本研究の結果は,対象データの結合確率分布を推定するための収束の急激な速度を含む。 特に、我々の推定器の分散は、非パラメトリックな性質にもかかわらず標準パラメトリック推定と同じ収束率を持つ。 数値実験により,提案手法は最先端手法に匹敵する精度で実行時間を大幅に短縮できることを示した。

関連論文リスト

• Semiparametric conformal prediction [79.6147286161434]
  リスクに敏感なアプリケーションは、複数の、潜在的に相関したターゲット変数に対して、よく校正された予測セットを必要とする。 スコアをランダムなベクトルとして扱い、それらの連接関係構造を考慮した予測セットを構築することを目的とする。 実世界のレグレッション問題に対して,所望のカバレッジと競争効率について報告する。
  論文  参考訳（メタデータ） (2024-11-04T14:29:02Z)
• Multivariate root-n-consistent smoothing parameter free matching estimators and estimators of inverse density weighted expectations [51.000851088730684]
  我々は、パラメトリックな$sqrt n $-rateで収束する、最も近い隣人の新しい修正とマッチング推定器を開発する。 我々は,非パラメトリック関数推定器は含まないこと,特に標本サイズ依存パラメータの平滑化には依存していないことを強調する。
  論文  参考訳（メタデータ） (2024-07-11T13:28:34Z)
• Variance Reduction for the Independent Metropolis Sampler [11.074080383657453]
  我々は、$pi$がKL分散の下で別の密度$q$に十分近い場合、$pi$からサンプルを得る独立したサンプリング器は、$pi$からサンプリングするi.d.よりも小さな分散を達成することを証明した。 提案手法は,KLの目標との偏差が低減されるように,提案密度に適応する適応型独立メトロポリスアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-06-25T16:38:53Z)
• Contextual Optimization under Covariate Shift: A Robust Approach by Intersecting Wasserstein Balls [18.047245099229325]
  2つのワッサーシュタイン球の交叉によって設定されたあいまいさを利用する分布的ロバストなアプローチを提案する。 提案したモデルの強烈な経験的性能を実証する。
  論文  参考訳（メタデータ） (2024-06-04T15:46:41Z)
• TIC-TAC: A Framework for Improved Covariance Estimation in Deep Heteroscedastic Regression [109.69084997173196]
  奥行き回帰は、予測分布の平均と共分散を負の対数類似度を用いて共同最適化する。 近年の研究では, 共分散推定に伴う課題により, 準最適収束が生じる可能性が示唆されている。 1)予測共分散は予測平均のランダム性を真に捉えているか? その結果, TICは共分散を正確に学習するだけでなく, 負の対数類似性の収束性の向上も促進することがわかった。
  論文  参考訳（メタデータ） (2023-10-29T09:54:03Z)
• Double Debiased Covariate Shift Adaptation Robust to Density-Ratio Estimation [7.8856737627153874]
  重み付けによる共変量シフト適応のための二重頑健な推定器を提案する。 我々の推定器は密度比推定誤差から生じるバイアスを低減する。 特に、密度比推定器または回帰関数が整合である場合、我々の推定器は整合性を保つ。
  論文  参考訳（メタデータ） (2023-10-25T13:38:29Z)
• Multi-Fidelity Covariance Estimation in the Log-Euclidean Geometry [0.0]
  対称正定値多様体の対数ユークリッド幾何学を利用する共分散行列の多値推定器を導入する。 固定予算が与えられた推定器の平均二乗誤差を最小化する最適サンプル割り当て方式を開発した。 物理アプリケーションからのデータによるアプローチの評価は、ベンチマークと比較すると、より正確なメトリック学習と1桁以上のスピードアップを示している。
  論文  参考訳（メタデータ） (2023-01-31T16:33:46Z)
• Near-optimal inference in adaptive linear regression [60.08422051718195]
  最小二乗法のような単純な方法でさえ、データが適応的に収集されるときの非正規な振る舞いを示すことができる。 我々は,これらの分布異常を少なくとも2乗推定で補正するオンラインデバイアス推定器のファミリーを提案する。 我々は,マルチアームバンディット,自己回帰時系列推定,探索による能動的学習などの応用を通して,我々の理論の有用性を実証する。
  論文  参考訳（メタデータ） (2021-07-05T21:05:11Z)
• SUMO: Unbiased Estimation of Log Marginal Probability for Latent Variable Models [80.22609163316459]
  無限級数のランダム化トランケーションに基づく潜在変数モデルに対して、ログ境界確率の非バイアス推定器とその勾配を導入する。 推定器を用いてトレーニングしたモデルは、同じ平均計算コストに対して、標準的な重要度サンプリングに基づくアプローチよりも優れたテストセット確率を与えることを示す。
  論文  参考訳（メタデータ） (2020-04-01T11:49:30Z)
• Estimating Gradients for Discrete Random Variables by Sampling without Replacement [93.09326095997336]
  我々は、置換のないサンプリングに基づいて、離散確率変数に対する期待値の偏りのない推定器を導出する。 推定器は3つの異なる推定器のラオ・ブラックウェル化として導出可能であることを示す。
  論文  参考訳（メタデータ） (2020-02-14T14:15:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。