論文の概要: Optimally tackling covariate shift in RKHS-based nonparametric regression

• arxiv url: http://arxiv.org/abs/2205.02986v2
• Date: Tue, 6 Jun 2023 16:20:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-08 00:02:07.068162
• Title: Optimally tackling covariate shift in RKHS-based nonparametric regression
• Title（参考訳）: RKHSに基づく非パラメトリック回帰における共変量シフトの最適対応
• Authors: Cong Ma, Reese Pathak, Martin J. Wainwright
• Abstract要約: 我々は、慎重に選択された正規化パラメータを持つカーネルリッジ回帰推定器がミニマックスレート最適であることを示す。 また,関数クラスに対する経験的リスクを最小限に抑えるナイーブ推定器は,厳密に準最適であることを示す。 そこで本研究では, 再重み付きKRR推定器を提案する。
• 参考スコア（独自算出の注目度）: 43.457497490211985
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the covariate shift problem in the context of nonparametric regression over a reproducing kernel Hilbert space (RKHS). We focus on two natural families of covariate shift problems defined using the likelihood ratios between the source and target distributions. When the likelihood ratios are uniformly bounded, we prove that the kernel ridge regression (KRR) estimator with a carefully chosen regularization parameter is minimax rate-optimal (up to a log factor) for a large family of RKHSs with regular kernel eigenvalues. Interestingly, KRR does not require full knowledge of likelihood ratios apart from an upper bound on them. In striking contrast to the standard statistical setting without covariate shift, we also demonstrate that a naive estimator, which minimizes the empirical risk over the function class, is strictly sub-optimal under covariate shift as compared to KRR. We then address the larger class of covariate shift problems where the likelihood ratio is possibly unbounded yet has a finite second moment. Here, we propose a reweighted KRR estimator that weights samples based on a careful truncation of the likelihood ratios. Again, we are able to show that this estimator is minimax rate-optimal, up to logarithmic factors.
• Abstract（参考訳）: 我々は、再生核ヒルベルト空間(rkhs)上の非パラメトリック回帰の文脈における共変量シフト問題を研究する。 原点分布と対象分布の確率比を用いて定義される共変量シフト問題の2つの自然族に注目した。 確率比が一様有界であれば、慎重に選択された正則化パラメータを持つカーネルリッジ回帰(krr)推定器は、正則カーネル固有値を持つ大きなrkhss族に対して最小のレートオプティマイザ(対数係数まで)であることが証明される。 興味深いことに、krr は、それらの上界から外れる確率比の完全な知識を必要としない。 共変量シフトのない標準統計設定とは対照的に、関数クラスに対する経験的リスクを最小限に抑えるナイーブ推定器は、KRRと比較して共変量シフトの下で厳密に準最適であることを示す。 次に、可能性比が非有界でありながら有限第二モーメントを持つようなより大きな共変量シフト問題に対処する。 本稿では,試料の重み付けを行う再重み付けkrr推定器を提案する。 繰り返しますが、この推定器が最小のレート最適化であり、対数因子であることを示すことができます。

関連論文リスト

• Multivariate root-n-consistent smoothing parameter free matching estimators and estimators of inverse density weighted expectations [51.000851088730684]
  我々は、パラメトリックな$sqrt n $-rateで収束する、最も近い隣人の新しい修正とマッチング推定器を開発する。 我々は,非パラメトリック関数推定器は含まないこと,特に標本サイズ依存パラメータの平滑化には依存していないことを強調する。
  論文  参考訳（メタデータ） (2024-07-11T13:28:34Z)
• Nonparametric logistic regression with deep learning [1.2509746979383698]
  非パラメトリックロジスティック回帰では、クルバック・リーバーの発散は容易に発散できる。 余剰リスクを解析する代わりに、最大可能性推定器の一貫性を示すのに十分である。 重要な応用として、深層ニューラルネットワークによるNPMLEの収束率を導出する。
  論文  参考訳（メタデータ） (2024-01-23T04:31:49Z)
• Batches Stabilize the Minimum Norm Risk in High Dimensional Overparameterized Linear Regression [21.83136833217205]
  バッチ分割は計算効率と性能のトレードオフとして有用であることを示す。 最小ノルム推定器の自然な小バッチ版を提案し、その2次リスクの上限を導出する。 我々の境界は、新しい手法の組み合わせ、特にランダム部分空間上の雑音射影のワッサーシュタイン計量の正規近似によって導かれる。
  論文  参考訳（メタデータ） (2023-06-14T11:02:08Z)
• Benign overfitting and adaptive nonparametric regression [71.70323672531606]
  本研究では,データポイントを高い確率で補間する連続関数である推定器を構築する。 我々は未知の滑らかさに適応してH"古いクラスのスケールにおいて平均2乗リスクの下で最小値の最適速度を得る。
  論文  参考訳（メタデータ） (2022-06-27T14:50:14Z)
• A new similarity measure for covariate shift with applications to nonparametric regression [43.457497490211985]
  本研究では,ボールの半径における確率の積分比に基づいて,分布ミスマッチの新たな測定方法を提案する。 最近提案された移動指数の概念と比較すると、この尺度はより鋭い収束率をもたらす。
  論文  参考訳（メタデータ） (2022-02-06T19:14:50Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• Distribution-Free Robust Linear Regression [5.532477732693]
  共変体の分布を仮定せずにランダムな設計線形回帰を研究する。 最適部分指数尾を持つオーダー$d/n$の過大なリスクを達成する非線形推定器を構築する。 我々は、Gy"orfi, Kohler, Krzyzak, Walk が原因で、truncated least squares 推定器の古典的境界の最適版を証明した。
  論文  参考訳（メタデータ） (2021-02-25T15:10:41Z)
• Rao-Blackwellizing the Straight-Through Gumbel-Softmax Gradient Estimator [93.05919133288161]
  一般的なGumbel-Softmax推定器のストレートスルー変量の分散は、ラオ・ブラックウェル化により減少できることを示す。 これは平均二乗誤差を確実に減少させる。 これは分散の低減、収束の高速化、および2つの教師なし潜在変数モデルの性能向上につながることを実証的に実証した。
  論文  参考訳（メタデータ） (2020-10-09T22:54:38Z)
• Robust regression with covariate filtering: Heavy tails and adversarial contamination [6.939768185086755]
  より強い汚染モデルにおいて,ハマー回帰,最小トリミング正方形,最小絶対偏差推定器を同時に計算および統計的に効率的に推定する方法を示す。 この設定では、ハマー回帰推定器がほぼ最適誤差率を達成するのに対し、最小のトリミング正方形と最小の絶対偏差推定器は、後処理ステップを適用した後、ほぼ最適誤差を達成することができる。
  論文  参考訳（メタデータ） (2020-09-27T22:48:48Z)
• SUMO: Unbiased Estimation of Log Marginal Probability for Latent Variable Models [80.22609163316459]
  無限級数のランダム化トランケーションに基づく潜在変数モデルに対して、ログ境界確率の非バイアス推定器とその勾配を導入する。 推定器を用いてトレーニングしたモデルは、同じ平均計算コストに対して、標準的な重要度サンプリングに基づくアプローチよりも優れたテストセット確率を与えることを示す。
  論文  参考訳（メタデータ） (2020-04-01T11:49:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。