論文の概要: Learning bounds for doubly-robust covariate shift adaptation

• arxiv url: http://arxiv.org/abs/2511.11003v1
• Date: Fri, 14 Nov 2025 06:46:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-17 22:42:18.457623
• Title: Learning bounds for doubly-robust covariate shift adaptation
• Title（参考訳）: 二重ロバストな共変量シフト適応のための学習境界
• Authors: Jeonghwan Lee, Cong Ma,
• Abstract要約: トレーニングドメインとテストドメイン間の分散シフトは、マシンラーニングにとって重要な課題である。 Doubly-robust (DR) 推定器は、密度比推定とパイロット回帰モデルを組み合わせる。 本稿では,DR推定器の非漸近学習境界を初めて確立する。
• 参考スコア（独自算出の注目度）: 8.24901041136559
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Distribution shift between the training domain and the test domain poses a key challenge for modern machine learning. An extensively studied instance is the \emph{covariate shift}, where the marginal distribution of covariates differs across domains, while the conditional distribution of outcome remains the same. The doubly-robust (DR) estimator, recently introduced by \cite{kato2023double}, combines the density ratio estimation with a pilot regression model and demonstrates asymptotic normality and $\sqrt{n}$-consistency, even when the pilot estimates converge slowly. However, the prior arts has focused exclusively on deriving asymptotic results and has left open the question of non-asymptotic guarantees for the DR estimator. This paper establishes the first non-asymptotic learning bounds for the DR covariate shift adaptation. Our main contributions are two-fold: (\romannumeral 1) We establish \emph{structure-agnostic} high-probability upper bounds on the excess target risk of the DR estimator that depend only on the $L^2$-errors of the pilot estimates and the Rademacher complexity of the model class, without assuming specific procedures to obtain the pilot estimate, and (\romannumeral 2) under \emph{well-specified parameterized models}, we analyze the DR covariate shift adaptation based on modern techniques for non-asymptotic analysis of MLE, whose key terms governed by the Fisher information mismatch term between the source and target distributions. Together, these findings bridge asymptotic efficiency properties and a finite-sample out-of-distribution generalization bounds, providing a comprehensive theoretical underpinnings for the DR covariate shift adaptation.
• Abstract（参考訳）: トレーニングドメインとテストドメイン間の分散シフトは、現代の機械学習にとって重要な課題である。 広く研究された例は 'emph{covariate shift} であり、そこでは余変数の辺分布は領域によって異なるが、結果の条件分布は同じである。 最近 \cite{kato2023double} によって導入された2重ロバスト (DR) 推定器は、密度比推定をパイロット回帰モデルと組み合わせ、パイロット推定が緩やかに収束しても漸近正規性と$\sqrt{n}$-一貫性を示す。 しかし、先行の芸術は漸近的結果の導出にのみ焦点を合わせており、DR推定器の非漸近的保証に関する疑問を解き放っている。 本稿では、DR共変量シフト適応のための最初の非漸近学習境界を確立する。 私たちの主な貢献は2つある: (\romannumeral) 1)パイロット推定値のL^2$-errorsとモデルクラスのRademacher複雑性にのみ依存するDR推定器の過大な目標リスクに対して、パイロット推定値を得るための特定の手順を仮定することなく、高確率上限を設定する。 2) {\displaystyle \emph{well-specified parametersized model} の下で、MLEの非漸近解析のための最新の技術に基づくDR共変量シフト適応を解析する。 これらの結果とともに、漸近効率特性と有限サンプル分布の分布一般化境界を橋渡しし、DR共変量シフト適応の包括的な理論的基盤を与える。

関連論文リスト

• Revisiting Zeroth-Order Optimization: Minimum-Variance Two-Point Estimators and Directionally Aligned Perturbations [57.179679246370114]
  乱摂動の分布は, 摂動段差がゼロになる傾向にあるため, 推定子の分散を最小限に抑える。 以上の結果から, 一定の長さを維持するのではなく, 真の勾配に方向を合わせることが可能であることが示唆された。
  論文  参考訳（メタデータ） (2025-10-22T19:06:39Z)
• Minimax optimal transfer learning for high-dimensional additive regression [0.0]
  まず,局所線形平滑化を考慮したスムーズなバックフィッティング推定法を提案する。 そこで我々は,移動学習フレームワーク内に新たな2段階推定手法を開発し,人口と経験レベルの理論的保証を提供する。
  論文  参考訳（メタデータ） (2025-09-08T03:16:05Z)
• Statistical Analysis of Conditional Group Distributionally Robust Optimization with Cross-Entropy Loss [16.1456465253627]
  本研究では、複数のソースドメインからラベル付きデータを入手でき、対象ドメインからラベルなしデータのみを観測できるマルチソース非教師付きドメイン適応について検討する。 本稿では,情報源領域からの条件付き結果分布の凸結合を最小化することにより,分類器を学習するグループ分散条件最適化フレームワークを提案する。 実験的なCG-DRO推定器の高速な統計的収束速度を,理論ブリッジとして機能する2つの代理極小最適化問題を構築することにより確立する。
  論文  参考訳（メタデータ） (2025-07-14T04:21:23Z)
• TIC-TAC: A Framework for Improved Covariance Estimation in Deep Heteroscedastic Regression [109.69084997173196]
  奥行き回帰は、予測分布の平均と共分散を負の対数類似度を用いて共同最適化する。 近年の研究では, 共分散推定に伴う課題により, 準最適収束が生じる可能性が示唆されている。 1)予測共分散は予測平均のランダム性を真に捉えているか? その結果, TICは共分散を正確に学習するだけでなく, 負の対数類似性の収束性の向上も促進することがわかった。
  論文  参考訳（メタデータ） (2023-10-29T09:54:03Z)
• Online Bootstrap Inference with Nonconvex Stochastic Gradient Descent Estimator [0.0]
  本稿では,凸問題の文脈における統計的推論のための勾配降下(SGD)の理論的性質について検討する。 多重誤差最小値を含む2つの干渉手順を提案する。
  論文  参考訳（メタデータ） (2023-06-03T22:08:10Z)
• Mitigating multiple descents: A model-agnostic framework for risk monotonization [84.6382406922369]
  クロスバリデーションに基づくリスクモノトナイズのための一般的なフレームワークを開発する。 本稿では,データ駆動方式であるゼロステップとワンステップの2つの手法を提案する。
  論文  参考訳（メタデータ） (2022-05-25T17:41:40Z)
• Optimal variance-reduced stochastic approximation in Banach spaces [114.8734960258221]
  可分バナッハ空間上で定義された収縮作用素の定点を推定する問題について検討する。 演算子欠陥と推定誤差の両方に対して漸近的でない境界を確立する。
  論文  参考訳（メタデータ） (2022-01-21T02:46:57Z)
• On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
  勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。 本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。 理論的にも経験的にも二重降下現象を観察する。
  論文  参考訳（メタデータ） (2021-10-13T17:47:39Z)
• Near-optimal inference in adaptive linear regression [60.08422051718195]
  最小二乗法のような単純な方法でさえ、データが適応的に収集されるときの非正規な振る舞いを示すことができる。 我々は,これらの分布異常を少なくとも2乗推定で補正するオンラインデバイアス推定器のファミリーを提案する。 我々は,マルチアームバンディット,自己回帰時系列推定,探索による能動的学習などの応用を通して,我々の理論の有用性を実証する。
  論文  参考訳（メタデータ） (2021-07-05T21:05:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。