論文の概要: Spectral Algorithms under Covariate Shift

• arxiv url: http://arxiv.org/abs/2504.12625v1
• Date: Thu, 17 Apr 2025 04:02:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-25 23:03:21.035109
• Title: Spectral Algorithms under Covariate Shift
• Title（参考訳）: 共変量シフト下におけるスペクトルアルゴリズム
• Authors: Jun Fan, Zheng-Chu Guo, Lei Shi,
• Abstract要約: スペクトルアルゴリズムはスペクトル正則化技術を利用してデータを分析・処理する。 分布シフト下でのスペクトルアルゴリズムの収束挙動について検討する。 本稿では,密度比情報を学習プロセスに組み込む重み付きスペクトルアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 4.349399061959293
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spectral algorithms leverage spectral regularization techniques to analyze and process data, providing a flexible framework for addressing supervised learning problems. To deepen our understanding of their performance in real-world scenarios where the distributions of training and test data may differ, we conduct a rigorous investigation into the convergence behavior of spectral algorithms under distribution shifts, specifically within the framework of reproducing kernel Hilbert spaces. Our study focuses on the case of covariate shift. In this scenario, the marginal distributions of the input data differ between the training and test datasets, while the conditional distribution of the output given the input remains unchanged. Under this setting, we analyze the generalization error of spectral algorithms and show that they achieve minimax optimality when the density ratios between the training and test distributions are uniformly bounded. However, we also identify a critical limitation: when the density ratios are unbounded, the spectral algorithms may become suboptimal. To address this limitation, we propose a weighted spectral algorithm that incorporates density ratio information into the learning process. Our theoretical analysis shows that this weighted approach achieves optimal capacity-independent convergence rates. Furthermore, by introducing a weight clipping technique, we demonstrate that the convergence rates of the weighted spectral algorithm can approach the optimal capacity-dependent convergence rates arbitrarily closely. This improvement resolves the suboptimality issue in unbounded density ratio scenarios and advances the state-of-the-art by refining existing theoretical results.
• Abstract（参考訳）: スペクトルアルゴリズムはスペクトル正規化技術を利用してデータを分析・処理し、教師付き学習問題に対処するための柔軟なフレームワークを提供する。 トレーニングデータとテストデータの分布が異なる実世界のシナリオにおけるそれらの性能の理解を深めるために、分布シフト下でのスペクトルアルゴリズムの収束挙動を厳密に調査する。 本研究は共変量シフトの事例に焦点を当てる。 このシナリオでは、入力データの限界分布はトレーニングデータセットとテストデータセットで異なり、入力された出力の条件分布は変化しない。 本研究では,スペクトルアルゴリズムの一般化誤差を解析し,トレーニングとテスト分布の密度比が一様に有界である場合に,最小限の最適性が得られることを示す。 しかし、密度比が非有界である場合、スペクトルアルゴリズムは準最適となる可能性がある。 この制限に対処するために,密度比情報を学習プロセスに組み込んだ重み付きスペクトルアルゴリズムを提案する。 この重み付け手法が最適キャパシティ非依存収束率を達成することを示す理論解析を行った。 さらに,重み付きクリッピング法を導入することにより,重み付きスペクトルアルゴリズムの収束速度が最適キャパシティ依存性の収束率に任意に接近できることを実証する。 この改良は、非有界密度比のシナリオにおける準最適問題を解決し、既存の理論結果を精査することで最先端の技術を推し進める。

関連論文リスト

• A Bias-Correction Decentralized Stochastic Gradient Algorithm with Momentum Acceleration [19.83835152405735]
  我々は運動量加速分散勾配(Exact-Diffusion with Momentum (EDM))を提案する。 EDMはデータの異質性からバイアスを緩和し、ディープラーニングでよく使われる運動量技術を取り込む。 理論的解析により,EDMアルゴリズムは局所的に近傍最適解に収束することを示した。
  論文  参考訳（メタデータ） (2025-01-31T12:15:58Z)
• Rethinking Clustered Federated Learning in NOMA Enhanced Wireless Networks [60.09912912343705]
  本研究では,新しいクラスタ化フェデレーション学習(CFL)アプローチと,非独立かつ同一に分散した(非IID)データセットを統合することのメリットについて検討する。 データ分布における非IIDの度合いを測定する一般化ギャップの詳細な理論的解析について述べる。 非IID条件によって引き起こされる課題に対処する解決策は、特性の分析によって提案される。
  論文  参考訳（メタデータ） (2024-03-05T17:49:09Z)
• Distributed Markov Chain Monte Carlo Sampling based on the Alternating Direction Method of Multipliers [143.6249073384419]
  本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。 我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。 シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
  論文  参考訳（メタデータ） (2024-01-29T02:08:40Z)
• Integral Operator Approaches for Scattered Data Fitting on Spheres [16.389581549801253]
  重み付きスペクトルフィルタアルゴリズムの近似性能について検討する。 重み付きスペクトルフィルタアルゴリズムのソボレフ型誤差推定を最適に導出する。
  論文  参考訳（メタデータ） (2024-01-27T04:42:50Z)
• Spectral Decomposition Representation for Reinforcement Learning [100.0424588013549]
  本稿では, スペクトル分解表現法(SPEDER)を提案する。この手法は, データ収集ポリシーに急激な依存を生じさせることなく, ダイナミックスから状態-作用の抽象化を抽出する。 理論的解析により、オンライン設定とオフライン設定の両方において提案アルゴリズムのサンプル効率が確立される。 実験により、いくつかのベンチマークで現在の最先端アルゴリズムよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-08-19T19:01:30Z)
• Understanding the Generalization Performance of Spectral Clustering Algorithms [11.025579607812167]
  本稿では,一般的なスペクトルクラスタリングアルゴリズムであるEmphrelaxed RatioCutとEmphrelaxed NCutの過剰なリスク境界について検討する。 本稿では,この量をペナルライズするだけでなく,サンプル全体を再固有分解することなくサンプル外のデータをクラスタリングする2つの新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-04-30T14:21:56Z)
• Amortized Implicit Differentiation for Stochastic Bilevel Optimization [53.12363770169761]
  決定論的条件と決定論的条件の両方において、二段階最適化問題を解決するアルゴリズムのクラスについて検討する。 厳密な勾配の推定を補正するために、ウォームスタート戦略を利用する。 このフレームワークを用いることで、これらのアルゴリズムは勾配の偏りのない推定値にアクセス可能な手法の計算複雑性と一致することを示す。
  論文  参考訳（メタデータ） (2021-11-29T15:10:09Z)
• Optimizing Information-theoretical Generalization Bounds via Anisotropic Noise in SGLD [73.55632827932101]
  SGLDにおけるノイズ構造を操作することにより,情報理論の一般化を最適化する。 低経験的リスクを保証するために制約を課すことで、最適なノイズ共分散が期待される勾配共分散の平方根であることを証明する。
  論文  参考訳（メタデータ） (2021-10-26T15:02:27Z)
• Consistency of Anchor-based Spectral Clustering [0.0]
  アンカーベースの手法は、スペクトルクラスタリングアルゴリズムの計算複雑性を低減する。 厳密な分析が可能であり,実践に有効であることを示す。 我々はChenとCaiの最先端のLCC法と競合することが判明した。
  論文  参考訳（メタデータ） (2020-06-24T18:34:41Z)
• A Distributional Analysis of Sampling-Based Reinforcement Learning Algorithms [67.67377846416106]
  定常ステップサイズに対する強化学習アルゴリズムの理論解析に対する分布的アプローチを提案する。 本稿では,TD($lambda$)や$Q$-Learningのような値ベースの手法が,関数の分布空間で制約のある更新ルールを持つことを示す。
  論文  参考訳（メタデータ） (2020-03-27T05:13:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。