論文の概要: Learning Curves and Benign Overfitting of Spectral Algorithms in Large Dimensions

• arxiv url: http://arxiv.org/abs/2604.23212v1
• Date: Sat, 25 Apr 2026 08:38:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-28 17:12:07.210554
• Title: Learning Curves and Benign Overfitting of Spectral Algorithms in Large Dimensions
• Title（参考訳）: 大規模次元におけるスペクトルアルゴリズムの学習曲線と配向オーバーフィッティング
• Authors: Weihao Lu, Qian Lin, Yingcun Xia, Dongming Huang,
• Abstract要約: 本研究では,大規模環境下でのスペクトルアルゴリズムの学習曲線と良性オーバーフィッティングについて検討する。 以上の結果から,学習曲線は単にU字型ではなく,3つの異なる規則から構成されていることが明らかとなった。
• 参考スコア（独自算出の注目度）: 7.479111923791646
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing large-dimensional theory for spectral algorithms resolves either the optimally tuned point or the interpolation limit, but leaves the under-regularized regime unexplored. We study the learning curve and benign overfitting of spectral algorithms in the large-dimensional setting where the sample size and dimension are of comparable order, i.e., $n \asymp d^γ$ for some $γ>0$. We first consider inner-product kernels on the sphere $\mathbb{S}^{d-1}$ and establish a sharp asymptotic characterization of the excess risk across the full regularization path under various source conditions $s \geq 0$, where $s$ measures the relative smoothness of the regression function. Our results reveal that the learning curve is not simply U-shaped but instead consists of three distinct regimes: over-regularized, under-regularized, and interpolation regimes. This characterization allows us to fully capture the benign overfitting phenomenon, demonstrating that benign overfitting arises consistently across both the under-regularized and interpolation regimes whenever $s$ is positive but no larger than a critical threshold. We further show that, in the sufficiently regularized regime, the kernel learning curve is recovered by an associated sequence model. Finally, we extend the learning-curve analysis to large-dimensional KRR for a class of kernels on general domains in $\mathbb{R}^d$ whose low-degree eigenspaces satisfy spectral-scaling and hyper-contractivity conditions.
• Abstract（参考訳）: 既存のスペクトルアルゴリズムの大規模理論は最適に調整された点か補間限界のどちらかを解くが、非正規化状態は未探索のままである。 サンプルサイズと寸法が等しく、例えば$n \asymp d^γ$ for some $γ>0$という大次元設定において、スペクトルアルゴリズムの学習曲線と良性オーバーフィッティングについて検討する。 まず、球面上の内積核 $\mathbb{S}^{d-1}$ について考察し、様々な元条件$s \geq 0$ の下で正則化経路全体の過剰リスクを鋭く漸近的に特徴づける。 その結果,学習曲線は単にU字型ではなく,過正規化,過正規化,不正規化,補間という3つの異なる体制から構成されていることが判明した。 このキャラクタリゼーションにより、良性過剰適合現象を完全に捉えることができ、良性過剰適合現象は、非正規化と補間の両方の体制において、s$が正だが臨界しきい値より大きいときは常に一貫して起こることを示した。 さらに、十分に正規化された状態において、カーネル学習曲線は関連するシーケンスモデルによって復元されることを示す。 最後に、学習曲線解析を、スペクトルスケーリングおよび超収縮条件を満たす低次固有空間を持つ$\mathbb{R}^d$の一般領域上のカーネルのクラスに対する大次元KRRに拡張する。

関連論文リスト

• Provably Adaptive Linear Approximation for the Shapley Value and Beyond [73.0940890296463]
  基本的で長期にわたる課題は、その効率的な近似である。 一般に用いられるすべての半値に対して$P(|hatboldsymbol-boldsymbol|_2geq)leq$を必要とする線形空間アルゴリズムを開発する。 本アルゴリズムは,各ユーティリティ関数の平均二乗誤差の明示的最小化を可能にする。
  論文  参考訳（メタデータ） (2026-04-09T16:38:14Z)
• Regularized Online RLHF with Generalized Bilinear Preferences [68.44113000390544]
  一般的な嗜好を伴う文脈的オンラインRLHFの問題を考える。 一般化された双線形選好モデルを用いて、低ランクなスキュー対称行列による選好を捉える。 グリーディポリシーの双対ギャップは推定誤差の正方形によって有界であることを示す。
  論文  参考訳（メタデータ） (2026-02-26T15:27:53Z)
• Low-degree Lower bounds for clustering in moderate dimension [53.03724383992195]
  我々は、$n$点を$K$群にクラスタリングする根本的な問題を、$mathbbRd$における等方ガウスの混合から引き出された。 我々は、$n leq dK$のクラスタリングの難しさは次元の縮小とスペクトル法によって引き起こされるが、中等次元のレジームはより微妙な現象を伴い、「非最適率」につながることを示した。 我々は、この速度にマッチする新しい非スペクトルアルゴリズムを提案し、中等次元のクラスタリング問題の計算限界に新しい光を当てる。
  論文  参考訳（メタデータ） (2026-02-26T14:03:55Z)
• Inexact subgradient methods for semialgebraic functions [18.293072574300798]
  機械学習における近似勾配の広範囲な適用を動機として, 永続的な誤差を受ける部分エクサクティヴな加算法について検討する。 我々の分析は、消滅と定常的なステップサイズ体制の両方に対処する。
  論文  参考訳（メタデータ） (2024-04-30T12:47:42Z)
• Generalization error of spectral algorithms [17.93452027304691]
  我々は、$textitspectralアルゴリズムのファミリによるカーネルのトレーニングを、プロファイル$h(lambda)$で指定する。 一般化誤差は2つのデータモデルに対する学習プロファイル$h(lambda)$の関数として導出する。
  論文  参考訳（メタデータ） (2024-03-18T11:52:33Z)
• Last-Iterate Convergence of Adaptive Riemannian Gradient Descent for Equilibrium Computation [52.73824786627612]
  本稿では,テクスト幾何学的強単調ゲームに対する新たな収束結果を確立する。 我々のキーとなる結果は、RGDがテクスト幾何学的手法で最終定位線形収束を実現することを示しています。 全体として、ユークリッド設定を超えるゲームに対して、幾何学的に非依存な最終点収束解析を初めて提示する。
  論文  参考訳（メタデータ） (2023-06-29T01:20:44Z)
• Generalization in Supervised Learning Through Riemannian Contraction [4.3604518673788135]
  教師付き学習環境では、計量 0 がアセシアンレート $lambda で収縮している場合、それは一様に$math であることを示す。 結果は、連続および安定な $-time において、勾配と決定論的損失曲面を保っている。 それらは、Descent$凸面や強い凸損失面など、ある種の線形な設定で最適であることを示すことができる。
  論文  参考訳（メタデータ） (2022-01-17T23:08:47Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• The Heavy-Tail Phenomenon in SGD [7.366405857677226]
  最小損失のHessianの構造に依存すると、SGDの反復はエンフェビーテールの定常分布に収束する。 深層学習におけるSGDの行動に関する知見に分析結果を変換する。
  論文  参考訳（メタデータ） (2020-06-08T16:43:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。