Fugu-MT 論文翻訳(概要): Learning between the peaks: sharp asymptotics for kernel ridge regression under power-law anisotropy

論文の概要: Learning between the peaks: sharp asymptotics for kernel ridge regression under power-law anisotropy

arxiv url: http://arxiv.org/abs/2608.28564v1
Date: Fri, 28 Aug 2026 17:41:53 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-31 17:16:04.422882
Title: Learning between the peaks: sharp asymptotics for kernel ridge regression under power-law anisotropy
Title（参考訳）: ピーク間の学習--パワー・ロー異方性下におけるカーネルリッジ回帰の急激な漸近-
Authors: Lorenzo Rizzi, Arie Wortsman Zurich, Bruno Loureiro,
Abstract要約: 高次元状態におけるカーネルスペクトルのシャープな表現と一般化誤差を導出する。弱い異方性に対しては、問題は事実上高次元のままであり、等方性の場合のいくつかの特徴を残している。データの主方向と強く一致したターゲットに対して、バイアスは分数サンプルの複雑さで低下する。
参考スコア（独自算出の注目度）: 9.32443940565584
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We study kernel ridge regression under anisotropic Gaussian data, where the input covariance decays as a power law with exponent $α\geq 0$ for polynomial inner-product kernels. We derive asymptotically sharp expressions for the kernel spectrum and the generalization error in the polynomial high-dimensional regime $n=Θ(d^κ)$, revealing how anisotropy reshapes the learning curves. For weak anisotropy ($0<α<1$), the problem remains effectively high-dimensional and retains some features of the isotropic case, while departing from it in others: the variance still peaks at integer sample complexities $κ\in\mathbb{N}$, but these peaks are progressively damped as $α$ grows; meanwhile, for targets strongly aligned with the data's principal directions, the bias drops at fractional sample complexities, decoupling the bias transitions from the interpolation peaks. For strong anisotropy ($α> 1$), the effective dimension of the problem is constant, and the variance stops depending on sample size altogether, plateauing under ridgeless interpolation or vanishing at an explicit rate under fixed ridge penalty. The bias undergoes a sharp transition governed by the target's decay rate: below a threshold, learning is abrupt rather than gradual; above it, the bias decays as a power law that recovers the classical source and capacity rates. We finally specialize these results to single-index targets, showing how the alignment of the index with the data's principal directions determines the effect of anisotropy on learning. Together, our results clarify how the input geometry shapes the kernel features and fundamentally impacts its generalization properties.
Abstract（参考訳）: そこで,入力共分散は多項式内積核に対して指数$α\geq 0$のパワー則として崩壊する。我々は、カーネルスペクトルに対する漸近的にシャープな表現と多項式高次元レジーム$n=n(d^κ)$における一般化誤差を導出し、非等方性が学習曲線をどのように再評価するかを明らかにする。弱い異方性 (0<α<1$) については、問題は事実上高次元のままであり、等方性の場合のいくつかの特徴を保ちながら、他の問題から逸脱している: 分散は、整数サンプル複体$κ\in\mathbb{N}$で依然としてピークとなるが、これらのピークは、$α$が成長するにつれて徐々に減衰し、一方、データの主要な方向と強く一致したターゲットに対しては、偏差は分数サンプル複体で減少し、補間ピークからバイアス遷移を分離する。強い異方性 (α> 1$) の場合, 問題の有効次元は一定であり, ばらつきは試料の大きさによって止まる。バイアスは目標の崩壊率によって支配される鋭い遷移を経る:しきい値以下では学習は徐々にではなく急激であり、その上、バイアスは古典的な源流と能力の速度を回復する権力法則として崩壊する。最終的に、これらの結果を単一インデックスターゲットに特殊化し、データの主方向とインデックスのアライメントが、学習における異方性の影響をいかに決定するかを示す。本研究では,入力幾何学がカーネルの特徴をどのように形成し,その一般化特性に根本的に影響を与えるかを明らかにする。

論文の概要: Learning between the peaks: sharp asymptotics for kernel ridge regression under power-law anisotropy

関連論文リスト