論文の概要: Shrinkage to Infinity: Reducing Test Error by Inflating the Minimum Norm Interpolator in Linear Models

• arxiv url: http://arxiv.org/abs/2510.19206v1
• Date: Wed, 22 Oct 2025 03:30:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:15.026366
• Title: Shrinkage to Infinity: Reducing Test Error by Inflating the Minimum Norm Interpolator in Linear Models
• Title（参考訳）: 無限遠収縮:線形モデルにおける最小ノルム補間器の膨張による試験誤差低減
• Authors: Jake Freeman,
• Abstract要約: Hastie et al. (2022) は高次元線形回帰 $y=betaTx + epsilon$ においてリッジ正則化が必須であることを発見した。 高い異方性共分散と$d/n$の線形回帰を正確に観測する。 最小$ell$補間器を1より大きい定数でスケールアップ(または膨らませる)するだけで一般化誤差が改善できることが分かる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hastie et al. (2022) found that ridge regularization is essential in high dimensional linear regression $y=\beta^Tx + \epsilon$ with isotropic co-variates $x\in \mathbb{R}^d$ and $n$ samples at fixed $d/n$. However, Hastie et al. (2022) also notes that when the co-variates are anisotropic and $\beta$ is aligned with the top eigenvalues of population covariance, the "situation is qualitatively different." In the present article, we make precise this observation for linear regression with highly anisotropic covariances and diverging $d/n$. We find that simply scaling up (or inflating) the minimum $\ell_2$ norm interpolator by a constant greater than one can improve the generalization error. This is in sharp contrast to traditional regularization/shrinkage prescriptions. Moreover, we use a data-splitting technique to produce consistent estimators that achieve generalization error comparable to that of the optimally inflated minimum-norm interpolator. Our proof relies on apparently novel matching upper and lower bounds for expectations of Gaussian random projections for a general class of anisotropic covariance matrices when $d/n\to \infty$.
• Abstract（参考訳）: Hastie et al (2022) は、リッジ正則化が高次元線型回帰 $y=\beta^Tx + \epsilon$ において必要であることを示した。 しかし、Hastie et al (2022) は、共変種が異方性であり、$\beta$ が集団共変の最高固有値と一致している場合、「定性的に異なる」と記している。 本稿では、高異方性共分散と$d/n$のばらつきを伴う線形回帰に対するこの観測を正確に行う。 最小$\ell_2$ノルム補間器を1より大きい定数でスケールアップ(または膨らませる)するだけで一般化誤差を改善できることが分かる。 これは、従来の正規化/収縮処方薬とは対照的である。 さらに、データ分割手法を用いて、最適に膨らませた最小ノルム補間器に匹敵する一般化誤差を達成する一貫した推定器を生成する。 我々の証明は、$d/n\to \infty$ のとき、一般的な異方性共分散行列のクラスに対するガウス的ランダム射影の期待に対して、明らかに新しく一致する上界と下界に依拠する。

関連論文リスト

• Scaling Laws in Linear Regression: Compute, Parameters, and Data [86.48154162485712]
  無限次元線形回帰セットアップにおけるスケーリング法則の理論について検討する。 テストエラーの再現可能な部分は$Theta(-(a-1) + N-(a-1)/a)$であることを示す。 我々の理論は経験的ニューラルスケーリング法則と一致し、数値シミュレーションによって検証される。
  論文  参考訳（メタデータ） (2024-06-12T17:53:29Z)
• Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
  近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。 本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
  論文  参考訳（メタデータ） (2024-04-29T15:04:07Z)
• Near-Interpolators: Rapid Norm Growth and the Trade-Off between Interpolation and Generalization [28.02367842438021]
  ほぼ補間された線形回帰器の一般化能力について検討する。 for $tau$ fixed, $boldsymbolbeta$ has squared $ell$-norm $bbE[|boldsymbolbeta|_22]. 我々は、同様の現象が、ほぼ補間された浅いニューラルネットワークに現れることを実証的に証明した。
  論文  参考訳（メタデータ） (2024-03-12T02:47:00Z)
• Dimension free ridge regression [10.434481202633458]
  我々は、リッジ回帰のバイアスとばらつきの観点から、すなわちデータ上のリッジ回帰を再考し、等価なシーケンスモデルのバイアスとばらつきの観点から、リッジ回帰のバイアスとばらつきを考察する。 新しい応用として、定期的に変化するスペクトルを持つヒルベルト共変量に対して、完全に明示的で鋭い尾根回帰特性を得る。
  論文  参考訳（メタデータ） (2022-10-16T16:01:05Z)
• $p$-Generalized Probit Regression and Scalable Maximum Likelihood Estimation via Sketching and Coresets [74.37849422071206]
  本稿では, 2次応答に対する一般化線形モデルである,$p$一般化プロビット回帰モデルについて検討する。 p$の一般化されたプロビット回帰に対する最大可能性推定器は、大容量データ上で$(1+varepsilon)$の係数まで効率的に近似できることを示す。
  論文  参考訳（メタデータ） (2022-03-25T10:54:41Z)
• Uniform Convergence of Interpolators: Gaussian Width, Norm Bounds, and Benign Overfitting [35.78863301525758]
  任意の仮説クラスにおける補間子の一般化誤差に対して一様収束を保証する。 ユークリッド標準球への一般境界の適用は、最小ノルム補間器に対するBartlett et al. (2020) の一貫性を回復する。 我々は、少なくともいくつかの設定において、ノルムベースの一般化境界がどのように説明され、良性過剰適合の分析に使用されるかを示す。
  論文  参考訳（メタデータ） (2021-06-17T06:58:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。