論文の概要: High-dimensional ridgeless least squares interpolation under spiked covariance structures

• arxiv url: http://arxiv.org/abs/2608.07281v1
• Date: Fri, 07 Aug 2026 14:40:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-10 16:21:25.532602
• Title: High-dimensional ridgeless least squares interpolation under spiked covariance structures
• Title（参考訳）: スパイク共分散構造下における高次元リッジレス最小二乗補間
• Authors: Zhijun Liu, Dandan Jiang,
• Abstract要約: 本稿では,高次元のリッジレス最小二乗推定器において,特徴量$p$とサンプルサイズ$n$が比例的に大きくなる場合のサンプル外予測リスクについて検討する。 遅延スパイク方向に沿って分布する信号エネルギーは、過適合が良性、誘惑的、破滅的な過適合につながるか否かを決定する。
• 参考スコア（独自算出の注目度）: 3.656751299156262
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: This paper investigates the asymptotic behavior of the out-of-sample prediction risk of the high-dimensional ridgeless least-squares estimator when the feature dimension $p$ and the sample size $n$ grow proportionally. We consider a generalized spiked population covariance model with multiple latent factors, where the number of spiked eigenvalues may remain finite or increase with $n$, and the spiked eigenvalues may be bounded or diverge at arbitrary rates. Beyond characterizing the impact of covariance spectra, we reveal a new mechanism underlying benign overfitting: the prediction behavior of ridgeless interpolation is fundamentally governed by the alignment between the regression coefficient $\boldsymbolβ$ and the spiked eigenspaces of the population covariance matrix. In particular, we show that the signal energy distributed along latent spike directions determines whether interpolation leads to benign, tempered, or catastrophic overfitting. Our theoretical framework establishes sharp prediction risk limits under minimal moment conditions, requiring only finite fourth moments rather than Gaussianity. We characterize how the number, strength, and geometric structure of the spikes jointly influence the double-descent phenomenon. These results provide a unified understanding of when latent covariance structures facilitate or hinder generalization in overparameterized regression.
• Abstract（参考訳）: 本稿では,高次元のリッジレス最小二乗推定器において,特徴次元$p$とサンプルサイズ$n$が比例的に大きくなるとき,サンプル外予測リスクの漸近挙動について検討する。 複数の潜伏因子を持つ一般化されたスパイクされた集団共分散モデルを考えると、スパイクされた固有値の数は有限のまま、あるいは$n$で増加し、スパイクされた固有値は任意の速度で有界または発散する可能性がある。 リッジレス補間の予測挙動は、回帰係数 $\boldsymbolβ$ と集団共分散行列のスパイクド固有空間のアライメントによって根本的に制御される。 特に、潜時スパイク方向に沿って分布する信号エネルギーは、補間が良性、誘惑性、または破滅的な過度適合につながるかどうかを決定する。 我々の理論的枠組みは、極小モーメント条件下で急激な予測リスク限界を確立し、ガウス性よりも有限第四モーメントしか必要としない。 スパイクの数、強度、幾何学構造が二重発光現象にどのように影響するかを特徴付ける。 これらの結果は、潜在共分散構造が過パラメータ回帰の一般化を促進したり妨げたりするときの統一的な理解を与える。

関連論文リスト

• Beyond Consistency: Inference for the Relative risk functional in Deep Nonparametric Cox Models [7.2275111013288535]
  Coxをベースとした最適化誤差が、部分的可能性の下で集団リスクにどのように伝播するかは明らかでない。 また、ポイントワイドバイアスがどのように制御できるのか、またアンサンブルに基づく不確実性が現実的な分散体制の下でどのように振る舞うのかも不明である。 これらの問題に対処するディープコックス推定器の分布理論を開発する。
  論文  参考訳（メタデータ） (2026-03-25T01:43:12Z)
• Random-Matrix-Induced Simplicity Bias in Over-parameterized Variational Quantum Circuits [72.0643009153473]
  本稿では,観測可能な期待値とパラメータ勾配の両方がシステムサイズに指数関数的に集中するHaar型普遍性クラスに,表現的変分アンサーゼが入ることを示す。 その結果、そのような回路によって誘導される仮説クラスは、近点関数の狭い族に高い確率で崩壊する。 テンソル-ネットワークベースおよびテンソル-ハイパーネットワークパラメータ化を含むテンソル構造VQCは、ハール型普遍性クラスの外にある。
  論文  参考訳（メタデータ） (2026-01-05T08:04:33Z)
• Revisiting Zeroth-Order Optimization: Minimum-Variance Two-Point Estimators and Directionally Aligned Perturbations [57.179679246370114]
  乱摂動の分布は, 摂動段差がゼロになる傾向にあるため, 推定子の分散を最小限に抑える。 以上の結果から, 一定の長さを維持するのではなく, 真の勾配に方向を合わせることが可能であることが示唆された。
  論文  参考訳（メタデータ） (2025-10-22T19:06:39Z)
• Causal vs. Anticausal merging of predictors [57.26526031579287]
  同じデータを用いて、因果方向と反因果方向の融合予測器から生じる差について検討した。 帰納的バイアスとしてCausal Maximum Entropy (CMAXENT) を用いて予測器をマージする。
  論文  参考訳（メタデータ） (2025-01-14T20:38:15Z)
• A U-turn on Double Descent: Rethinking Parameter Counting in Statistical Learning [68.76846801719095]
  二重降下がいつどこで起こるのかを正確に示し、その位置が本質的に閾値 p=n に結び付けられていないことを示す。 これは二重降下と統計的直観の間の緊張を解消する。
  論文  参考訳（メタデータ） (2023-10-29T12:05:39Z)
• Quantifying predictive uncertainty of aphasia severity in stroke patients with sparse heteroscedastic Bayesian high-dimensional regression [47.1405366895538]
  高次元データに対する疎線型回帰法は、通常、残留物が一定の分散を持つと仮定するが、これは実際には破ることができる。 本稿では,ヘテロセダスティック分割経験的ベイズ期待条件最大化アルゴリズムを用いて,高次元ヘテロセダスティック線形回帰モデルを推定する。
  論文  参考訳（メタデータ） (2023-09-15T22:06:29Z)
• The Shrinkage-Delinkage Trade-off: An Analysis of Factorized Gaussian Approximations for Variational Inference [3.167685495996986]
  変分推論の不確かさを測る2つの一般的な方法を考える(VI) 我々は、$q$は常に成分的分散と$p$のエントロピーの両方を過小評価していることを証明している。 特に,問題の大きさが大きくなるにつれて,各成分のエントロピーギャップは消滅する。
  論文  参考訳（メタデータ） (2023-02-17T22:21:47Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• Non-asymptotic Optimal Prediction Error for Growing-dimensional Partially Functional Linear Models [0.951828574518325]
  予測誤差の最大値と最大値の上限を示す。 過剰な予測リスクの正確な上限は、非漸近的な形で示される。 モデルのKulback-Leibler分散の正則性仮定の下で、非漸近ミニマックス下界を導出する。
  論文  参考訳（メタデータ） (2020-09-10T08:49:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。