論文の概要: Spectral Algorithms under Covariate Shift

• arxiv url: http://arxiv.org/abs/2504.12625v2
• Date: Tue, 22 Jul 2025 13:33:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-23 15:16:11.059261
• Title: Spectral Algorithms under Covariate Shift
• Title（参考訳）: 共変量シフト下におけるスペクトルアルゴリズム
• Authors: Jun Fan, Zheng-Chu Guo, Lei Shi,
• Abstract要約: スペクトルアルゴリズムはスペクトル正則化技術を利用してデータを分析・処理する。 トレーニングデータとテストデータの分布が異なる場合のスペクトルアルゴリズムの収束挙動について検討する。 本稿では,密度比情報を学習プロセスに組み込んだ正規化重み付き新しい重み付きスペクトルアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 4.349399061959293
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spectral algorithms leverage spectral regularization techniques to analyze and process data, providing a flexible framework for addressing supervised learning problems. To deepen our understanding of their performance in real-world scenarios where the distributions of training and test data may differ, we conduct a rigorous investigation into the convergence behavior of spectral algorithms under covariate shift. In this setting, the marginal distributions of the input data differ between the training and test datasets, while the conditional distribution of the output given the input remains unchanged. Within a non-parametric regression framework over a reproducing kernel Hilbert space, we analyze the convergence rates of spectral algorithms under covariate shift and show that they achieve minimax optimality when the density ratios between the training and test distributions are uniformly bounded. However, when these density ratios are unbounded, the spectral algorithms may become suboptimal. To address this issue, we propose a novel weighted spectral algorithm with normalized weights that incorporates density ratio information into the learning process. Our theoretical analysis shows that this normalized weighted approach achieves optimal capacity-independent convergence rates, but the rates will suffer from the saturation phenomenon. Furthermore, by introducing a weight clipping technique, we demonstrate that the convergence rates of the weighted spectral algorithm with clipped weights can approach the optimal capacity-dependent convergence rates arbitrarily closely. This improvement resolves the suboptimality issue in unbounded density ratio scenarios and advances the state-of-the-art by refining existing theoretical results.
• Abstract（参考訳）: スペクトルアルゴリズムはスペクトル正規化技術を利用してデータを分析・処理し、教師付き学習問題に対処するための柔軟なフレームワークを提供する。 トレーニングデータとテストデータの分布が異なる実世界のシナリオにおけるそれらの性能の理解を深めるために,共変量シフト下でのスペクトルアルゴリズムの収束挙動について厳密な調査を行う。 この設定では、入力されたデータの残差分布はトレーニングデータセットとテストデータセットで異なり、入力された出力の条件分布は変化しない。 再生カーネルヒルベルト空間上の非パラメトリック回帰フレームワークにおいて、共変量シフトの下でのスペクトルアルゴリズムの収束速度を分析し、トレーニングとテスト分布の密度比が一様有界であるときに極大最適性が得られることを示す。 しかし、これらの密度比が非有界である場合、スペクトルアルゴリズムは準最適となる。 この問題に対処するために,密度比情報を学習プロセスに組み込んだ正規化重み付き新しい重み付きスペクトルアルゴリズムを提案する。 この正規化重み付き手法は最適キャパシティ非依存収束率を達成するが、飽和現象に悩まされる。 さらに,重み付け法を導入することにより,重み付け重み付きスペクトルアルゴリズムの収束速度が最適キャパシティ依存性の収束率に任意に接近できることを実証した。 この改良は、非有界密度比のシナリオにおける準最適問題を解決し、既存の理論結果を精査することで最先端の技術を推し進める。

関連論文リスト

• Learning Overspecified Gaussian Mixtures Exponentially Fast with the EM Algorithm [5.625796693054093]
  過特定ガウス混合モデルに適用した場合のEMアルゴリズムの収束特性について検討する。 集団EMアルゴリズムはクルバック・リーブラー距離(KL)において指数関数的に高速に収束することを示した。
  論文  参考訳（メタデータ） (2025-06-13T14:57:57Z)
• A Bias-Correction Decentralized Stochastic Gradient Algorithm with Momentum Acceleration [19.83835152405735]
  我々は運動量加速分散勾配(Exact-Diffusion with Momentum (EDM))を提案する。 EDMはデータの異質性からバイアスを緩和し、ディープラーニングでよく使われる運動量技術を取り込む。 理論的解析により,EDMアルゴリズムは局所的に近傍最適解に収束することを示した。
  論文  参考訳（メタデータ） (2025-01-31T12:15:58Z)
• Distributed Learning with Discretely Observed Functional Data [1.4583059436979549]
  本稿では,分散スペクトルアルゴリズムとソボレフカーネルを組み合わせることで,関数線形回帰問題に取り組む。 アルゴリズムの仮説関数空間は、ソボレフカーネルによって生成されるソボレフ空間である。 我々は、ソボレフノルムにおける分散スペクトルアルゴリズムの収束に対する上界と下界のマッチングを導出する。
  論文  参考訳（メタデータ） (2024-10-03T10:49:34Z)
• Collaborative Heterogeneous Causal Inference Beyond Meta-analysis [68.4474531911361]
  異種データを用いた因果推論のための協調的逆確率スコア推定器を提案する。 異質性の増加に伴うメタアナリシスに基づく手法に対して,本手法は有意な改善を示した。
  論文  参考訳（メタデータ） (2024-04-24T09:04:36Z)
• Adaptive Federated Learning Over the Air [108.62635460744109]
  オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。 解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
  論文  参考訳（メタデータ） (2024-03-11T09:10:37Z)
• Rethinking Clustered Federated Learning in NOMA Enhanced Wireless Networks [60.09912912343705]
  本研究では,新しいクラスタ化フェデレーション学習(CFL)アプローチと,非独立かつ同一に分散した(非IID)データセットを統合することのメリットについて検討する。 データ分布における非IIDの度合いを測定する一般化ギャップの詳細な理論的解析について述べる。 非IID条件によって引き起こされる課題に対処する解決策は、特性の分析によって提案される。
  論文  参考訳（メタデータ） (2024-03-05T17:49:09Z)
• Distributed Markov Chain Monte Carlo Sampling based on the Alternating Direction Method of Multipliers [143.6249073384419]
  本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。 我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。 シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
  論文  参考訳（メタデータ） (2024-01-29T02:08:40Z)
• Integral Operator Approaches for Scattered Data Fitting on Spheres [16.389581549801253]
  重み付きスペクトルフィルタアルゴリズムの近似性能について検討する。 重み付きスペクトルフィルタアルゴリズムのソボレフ型誤差推定を最適に導出する。
  論文  参考訳（メタデータ） (2024-01-27T04:42:50Z)
• Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
  Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。 本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
  論文  参考訳（メタデータ） (2023-06-27T08:15:28Z)
• Spectral Decomposition Representation for Reinforcement Learning [100.0424588013549]
  本稿では, スペクトル分解表現法(SPEDER)を提案する。この手法は, データ収集ポリシーに急激な依存を生じさせることなく, ダイナミックスから状態-作用の抽象化を抽出する。 理論的解析により、オンライン設定とオフライン設定の両方において提案アルゴリズムのサンプル効率が確立される。 実験により、いくつかのベンチマークで現在の最先端アルゴリズムよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-08-19T19:01:30Z)
• Understanding the Generalization Performance of Spectral Clustering Algorithms [11.025579607812167]
  本稿では,一般的なスペクトルクラスタリングアルゴリズムであるEmphrelaxed RatioCutとEmphrelaxed NCutの過剰なリスク境界について検討する。 本稿では,この量をペナルライズするだけでなく,サンプル全体を再固有分解することなくサンプル外のデータをクラスタリングする2つの新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-04-30T14:21:56Z)
• Amortized Implicit Differentiation for Stochastic Bilevel Optimization [53.12363770169761]
  決定論的条件と決定論的条件の両方において、二段階最適化問題を解決するアルゴリズムのクラスについて検討する。 厳密な勾配の推定を補正するために、ウォームスタート戦略を利用する。 このフレームワークを用いることで、これらのアルゴリズムは勾配の偏りのない推定値にアクセス可能な手法の計算複雑性と一致することを示す。
  論文  参考訳（メタデータ） (2021-11-29T15:10:09Z)
• Optimizing Information-theoretical Generalization Bounds via Anisotropic Noise in SGLD [73.55632827932101]
  SGLDにおけるノイズ構造を操作することにより,情報理論の一般化を最適化する。 低経験的リスクを保証するために制約を課すことで、最適なノイズ共分散が期待される勾配共分散の平方根であることを証明する。
  論文  参考訳（メタデータ） (2021-10-26T15:02:27Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• Consistency of Anchor-based Spectral Clustering [0.0]
  アンカーベースの手法は、スペクトルクラスタリングアルゴリズムの計算複雑性を低減する。 厳密な分析が可能であり,実践に有効であることを示す。 我々はChenとCaiの最先端のLCC法と競合することが判明した。
  論文  参考訳（メタデータ） (2020-06-24T18:34:41Z)
• A Distributional Analysis of Sampling-Based Reinforcement Learning Algorithms [67.67377846416106]
  定常ステップサイズに対する強化学習アルゴリズムの理論解析に対する分布的アプローチを提案する。 本稿では,TD($lambda$)や$Q$-Learningのような値ベースの手法が,関数の分布空間で制約のある更新ルールを持つことを示す。
  論文  参考訳（メタデータ） (2020-03-27T05:13:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。