論文の概要: Spectral Algorithms in Misspecified Regression: Convergence under Covariate Shift

• arxiv url: http://arxiv.org/abs/2509.05106v1
• Date: Fri, 05 Sep 2025 13:42:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-08 14:27:25.603052
• Title: Spectral Algorithms in Misspecified Regression: Convergence under Covariate Shift
• Title（参考訳）: 不特定回帰におけるスペクトルアルゴリズム:共変量シフト下での収束
• Authors: Ren-Rui Liu, Zheng-Chu Guo,
• Abstract要約: スペクトルアルゴリズムは逆問題から派生した正則化手法のクラスである。 本稿では,共変量シフトの下でのスペクトルアルゴリズムの収束特性について検討する。 我々は、ターゲット関数がヒルベルト空間(RKHS)を再現するカーネルに属さない、より困難な不特定ケースの理論解析を提供する。
• 参考スコア（独自算出の注目度）: 0.2578242050187029
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper investigates the convergence properties of spectral algorithms -- a class of regularization methods originating from inverse problems -- under covariate shift. In this setting, the marginal distributions of inputs differ between source and target domains, while the conditional distribution of outputs given inputs remains unchanged. To address this distributional mismatch, we incorporate importance weights, defined as the ratio of target to source densities, into the learning framework. This leads to a weighted spectral algorithm within a nonparametric regression setting in a reproducing kernel Hilbert space (RKHS). More importantly, in contrast to prior work that largely focuses on the well-specified setting, we provide a comprehensive theoretical analysis of the more challenging misspecified case, in which the target function does not belong to the RKHS. Under the assumption of uniformly bounded density ratios, we establish minimax-optimal convergence rates when the target function lies within the RKHS. For scenarios involving unbounded importance weights, we introduce a novel truncation technique that attains near-optimal convergence rates under mild regularity conditions, and we further extend these results to the misspecified regime. By addressing the intertwined challenges of covariate shift and model misspecification, this work extends classical kernel learning theory to more practical scenarios, providing a systematic framework for understanding their interaction.
• Abstract（参考訳）: 本稿では,逆問題に基づく正則化手法であるスペクトルアルゴリズムの共変量シフト下での収束特性について検討する。 この設定では、入力の限界分布はソースとターゲットの領域によって異なるが、与えられた入力の条件分布は変わらない。 この分布的ミスマッチに対処するために、ターゲット密度とソース密度の比率として定義される重み付けを学習フレームワークに組み込む。 これにより、再生カーネルヒルベルト空間(RKHS)における非パラメトリック回帰設定内の重み付きスペクトルアルゴリズムが導かれる。 さらに重要なことは、十分に特定された設定に主に焦点をあてる以前の研究とは対照的に、ターゲット関数がRKHSに属さない、より困難な不特定ケースの包括的な理論的解析を提供する。 一様有界密度比の仮定の下で、ターゲット関数がRKHS内にあるとき、最小最大最適収束速度を確立する。 非有界重みを含むシナリオに対しては、軽度規則性条件下でほぼ最適収束率が得られる新しいトランケーション手法を導入し、これらの結果をさらに不特定体制にまで拡張する。 共変量シフトとモデルミスセグメンテーションの双対問題に対処することにより、この研究は古典的なカーネル学習理論をより実践的なシナリオに拡張し、それらの相互作用を理解するための体系的な枠組みを提供する。

関連論文リスト

• Spectral Algorithms under Covariate Shift [4.349399061959293]
  スペクトルアルゴリズムはスペクトル正則化技術を利用してデータを分析・処理する。 トレーニングデータとテストデータの分布が異なる場合のスペクトルアルゴリズムの収束挙動について検討する。 本稿では,密度比情報を学習プロセスに組み込んだ正規化重み付き新しい重み付きスペクトルアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-04-17T04:02:06Z)
• Stochastic Optimization with Optimal Importance Sampling [49.484190237840714]
  本稿では,両者の時間的分離を必要とせずに,意思決定とIS分布を共同で更新する反復型アルゴリズムを提案する。 本手法は,IS分布系に対する目的的,軽度な仮定の凸性の下で,最小の変数分散を達成し,大域収束を保証する。
  論文  参考訳（メタデータ） (2025-04-04T16:10:18Z)
• Variance-Reducing Couplings for Random Features [57.73648780299374]
  ランダム機能(RF)は、機械学習においてカーネルメソッドをスケールアップする一般的なテクニックである。 ユークリッド空間と離散入力空間の両方で定義されるRFを改善するための結合を求める。 パラダイムとしての分散還元の利点と限界について、驚くほどの結論に達した。
  論文  参考訳（メタデータ） (2024-05-26T12:25:09Z)
• Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
  Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。 本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
  論文  参考訳（メタデータ） (2023-06-27T08:15:28Z)
• Distributed Stochastic Optimization under a General Variance Condition [13.911633636387059]
  分散最適化は最近、大規模な機械学習問題の解決に効果があるとして、大きな注目を集めている。 我々は、古典的フェデレーション平均化(Avg)を再考し、滑らかな非対象関数に対して、緩やかな分散しか持たない収束結果を確立する。 ほぼ1つの定常収束点も勾配条件の下で成立する。
  論文  参考訳（メタデータ） (2023-01-30T05:48:09Z)
• Robust Estimation for Nonparametric Families via Generative Adversarial Networks [92.64483100338724]
  我々は,高次元ロバストな統計問題を解くためにGAN(Generative Adversarial Networks)を設計するためのフレームワークを提供する。 我々の研究は、これらをロバスト平均推定、第二モーメント推定、ロバスト線形回帰に拡張する。 技術面では、提案したGAN損失は、スムーズで一般化されたコルモゴロフ-スミルノフ距離と見なすことができる。
  論文  参考訳（メタデータ） (2022-02-02T20:11:33Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• Stochastic Gradient Descent-Ascent and Consensus Optimization for Smooth Games: Convergence Analysis under Expected Co-coercivity [49.66890309455787]
  本稿では,SGDA と SCO の最終的な収束保証として,期待されるコヒーレンシティ条件を導入し,その利点を説明する。 定常的なステップサイズを用いた場合、両手法の線形収束性を解の近傍に証明する。 我々の収束保証は任意のサンプリングパラダイムの下で保たれ、ミニバッチの複雑さに関する洞察を与える。
  論文  参考訳（メタデータ） (2021-06-30T18:32:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。