論文の概要: High-Dimensional Kernel Methods under Covariate Shift: Data-Dependent Implicit Regularization

• arxiv url: http://arxiv.org/abs/2406.03171v1
• Date: Wed, 5 Jun 2024 12:03:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 18:40:12.668909
• Title: High-Dimensional Kernel Methods under Covariate Shift: Data-Dependent Implicit Regularization
• Title（参考訳）: 共変量シフト下の高次元カーネル法:データ依存的命令規則化
• Authors: Yihang Chen, Fanghui Liu, Taiji Suzuki, Volkan Cevher,
• Abstract要約: 本稿では,共変量シフト下での高次元におけるカーネルリッジの回帰について検討する。 バイアス分散分解により、再重み付け戦略が分散を減少させることができることを理論的に証明する。 偏見について,任意の偏見の正則化を解析し,偏見が正則化の異なる尺度で非常に異なる振る舞いをすることができることを示す。
• 参考スコア（独自算出の注目度）: 83.06112052443233
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper studies kernel ridge regression in high dimensions under covariate shifts and analyzes the role of importance re-weighting. We first derive the asymptotic expansion of high dimensional kernels under covariate shifts. By a bias-variance decomposition, we theoretically demonstrate that the re-weighting strategy allows for decreasing the variance. For bias, we analyze the regularization of the arbitrary or well-chosen scale, showing that the bias can behave very differently under different regularization scales. In our analysis, the bias and variance can be characterized by the spectral decay of a data-dependent regularized kernel: the original kernel matrix associated with an additional re-weighting matrix, and thus the re-weighting strategy can be regarded as a data-dependent regularization for better understanding. Besides, our analysis provides asymptotic expansion of kernel functions/vectors under covariate shift, which has its own interest.
• Abstract（参考訳）: 本稿では,共変量シフト下での高次元におけるカーネルリッジの回帰について検討し,重大化の役割を解析する。 まず、共変量シフトの下で高次元核の漸近展開を導出する。 バイアス分散分解により、再重み付け戦略が分散を減少させることができることを理論的に証明する。 偏見について,任意の偏見の正則化を解析し,偏見が正則化の異なる尺度で非常に異なる振る舞いをすることができることを示す。 この分析では、バイアスと分散は、データ依存正規化カーネルのスペクトル崩壊によって特徴づけられる: 元のカーネル行列は、追加の再重み付け行列に関連付けられ、したがって、再重み付け戦略は、よりよく理解するためのデータ依存正規化と見なすことができる。 さらに、我々の分析は、共変量シフトの下でのカーネル関数/ベクターの漸近的な拡張を提供する。

関連論文リスト

• Generalization Error Curves for Analytic Spectral Algorithms under Power-law Decay [13.803850290216257]
  本稿では,カーネル勾配勾配法における一般化誤差曲線の完全な特徴付けを行う。 ニューラル・タンジェント・カーネル理論により、これらの結果は広義のニューラルネットワークを訓練する際の一般化行動の理解を大幅に改善する。
  論文  参考訳（メタデータ） (2024-01-03T08:00:50Z)
• Curvature-Independent Last-Iterate Convergence for Games on Riemannian Manifolds [77.4346324549323]
  本研究では, 多様体の曲率に依存しないステップサイズが, 曲率非依存かつ直線的最終点収束率を達成することを示す。 我々の知る限りでは、曲率非依存率や/または最終点収束の可能性はこれまでに検討されていない。
  論文  参考訳（メタデータ） (2023-06-29T01:20:44Z)
• Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
  既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。 データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。 ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
  論文  参考訳（メタデータ） (2022-11-02T16:39:42Z)
• ER: Equivariance Regularizer for Knowledge Graph Completion [107.51609402963072]
  我々は、新しい正規化器、すなわち等分散正規化器(ER)を提案する。 ERは、頭と尾のエンティティ間の意味的等価性を利用することで、モデルの一般化能力を高めることができる。 実験結果から,最先端関係予測法よりも明確かつ実質的な改善が示された。
  論文  参考訳（メタデータ） (2022-06-24T08:18:05Z)
• Towards Understanding Generalization via Decomposing Excess Risk Dynamics [13.4379473119565]
  一般化力学を解析してアルゴリズム依存境界(安定性など)を導出する。 ニューラルネットは、ノイズの嵌合時に緩やかな収束率を示すという観測から着想を得て、余剰リスクダイナミクスを分解することを提案する。 分解の枠組みの下では、新しい境界は安定性に基づく境界と一様収束境界よりも理論的および経験的証拠とよく一致している。
  論文  参考訳（メタデータ） (2021-06-11T03:42:45Z)
• How rotational invariance of common kernels prevents generalization in high dimensions [8.508198765617196]
  カーネルリッジ回帰は、低次元設定で最小の最適速度を達成するためによく知られている。 最近の研究は、基底真理関数と入力データの分布を仮定して、カーネル回帰の整合性を確立する。
  論文  参考訳（メタデータ） (2021-04-09T08:27:37Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• Kernel regression in high dimensions: Refined analysis beyond double descent [21.15702374555439]
  バイアスは(ほとんど) d から独立であり、n で単調に減少するが、分散は n, d に依存し、異なる正則化スキームの下では単調または単調に減少できることを示す。 我々の洗練された解析は、データ固有値と正規化のレベルによって、核回帰リスク曲線はn の双発的、ベル型、あるいは単調な関数であることを示すことによって、二重降下理論を越えている。
  論文  参考訳（メタデータ） (2020-10-06T12:59:59Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。