論文の概要: A Regularization-Sharpness Tradeoff for Linear Interpolators

• arxiv url: http://arxiv.org/abs/2602.12680v1
• Date: Fri, 13 Feb 2026 07:21:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-16 23:37:53.877825
• Title: A Regularization-Sharpness Tradeoff for Linear Interpolators
• Title（参考訳）: 線形補間器の正則化シャープネストレードオフ
• Authors: Qingyi Hu, Liam Hodgkinson,
• Abstract要約: パラメータ化線形回帰に対して$ellp$のペナルティを持つ正規化シャープ性トレードオフを提案する。 補間情報基準にインスパイアされた我々のフレームワークは、選択ペナルティを正規化用語に分解する。 リッジ正則化のための情報基準を確立した先行解析に基づいて、この研究はまず、$ellp$正則化のための補間情報規準の一般的な表現を提供する。
• 参考スコア（独自算出の注目度）: 8.628516727959259
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The rule of thumb regarding the relationship between the bias-variance tradeoff and model size plays a key role in classical machine learning, but is now well-known to break down in the overparameterized setting as per the double descent curve. In particular, minimum-norm interpolating estimators can perform well, suggesting the need for new tradeoff in these settings. Accordingly, we propose a regularization-sharpness tradeoff for overparameterized linear regression with an $\ell^p$ penalty. Inspired by the interpolating information criterion, our framework decomposes the selection penalty into a regularization term (quantifying the alignment of the regularizer and the interpolator) and a geometric sharpness term on the interpolating manifold (quantifying the effect of local perturbations), yielding a tradeoff analogous to bias-variance. Building on prior analyses that established this information criterion for ridge regularizers, this work first provides a general expression of the interpolating information criterion for $\ell^p$ regularizers where $p \ge 2$. Subsequently, we extend this to the LASSO interpolator with $\ell^1$ regularizer, which induces stronger sparsity. Empirical results on real-world datasets with random Fourier features and polynomials validate our theory, demonstrating how the tradeoff terms can distinguish performant linear interpolators from weaker ones.
• Abstract（参考訳）: バイアス分散トレードオフとモデルサイズの関係に関する親指の規則は、古典的な機械学習において重要な役割を果たすが、現在では二重降下曲線のように過度にパラメータ化された設定で分解することが知られている。 特に、最小ノルム補間推定器は、これらの設定で新しいトレードオフの必要性を示唆する。 そこで我々は,$\ell^p$のペナルティを持つ過パラメータ線形回帰に対する正規化シャープ性トレードオフを提案する。 補間情報規準に着想を得た我々のフレームワークは、選択ペナルティを正規化項(正規化子と補間子のアライメントを定量化する)と補間多様体上の幾何学的シャープネス項(局所摂動の効果を定量化する)に分解し、バイアス分散に類似したトレードオフを生成する。 リッジ正規化器のこの情報基準を確立した先行解析に基づいて、この研究はまず、$p \ge 2$ に対して$\ell^p$ 正規化器の補間情報基準の一般的な表現を提供する。 次に、これをLASSO補間器に$\ell^1$ regularizerで拡張し、より強いスパーシリティを誘導する。 ランダムなフーリエ特徴と多項式を持つ実世界のデータセットに関する実証的な結果から, トレードオフ項が線形補間器と弱い補間器をいかに区別できるかを検証した。

関連論文リスト

• On the Computational Complexity of Performative Prediction [59.584063949469645]
  我々は、$$-performatively stable pointの計算がPPAD完全であることを示す。 我々の重要な技術的貢献の1つは、PPAD-hardnessの結果を一般的な凸領域に拡張することである。
  論文  参考訳（メタデータ） (2026-01-28T02:26:35Z)
• Spectral Perturbation Bounds for Low-Rank Approximation with Applications to Privacy [13.264499801590583]
  mathbbRn 倍 n$ の対称行列 $A と任意の対称摂動 E$ に対して、新しい高確率スペクトル-ノルム摂動境界を導入する。 穏やかな固有ギャップとノルム条件の下では、我々の境界は$|(A + E)_p - A_p|$に対して鋭い推定値を得るが、最大で$sqrtn$となる。 応用として,PCAの実用性保証の改善を導出し,文献の未解決問題を解消する。
  論文  参考訳（メタデータ） (2025-10-29T16:36:00Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• The Implicit Bias of Batch Normalization in Linear Models and Two-layer Linear Convolutional Neural Networks [117.93273337740442]
  勾配勾配勾配は、exp(-Omega(log2 t))$収束率でトレーニングデータ上の一様マージン分類器に収束することを示す。 また、バッチ正規化はパッチワイドの均一なマージンに対して暗黙の偏りを持つことを示す。
  論文  参考訳（メタデータ） (2023-06-20T16:58:00Z)
• Implicit Regularization Leads to Benign Overfitting for Sparse Linear Regression [16.551664358490658]
  ディープラーニングでは、しばしばトレーニングプロセスは補間子(トレーニング損失0のソリューション)を見つけるが、テスト損失は依然として低い。 良性オーバーフィッティングの一般的なメカニズムは暗黙の正則化であり、そこでは、トレーニングプロセスが補間子にさらなる特性をもたらす。 勾配勾配勾配による新モデルの訓練は, ほぼ最適試験損失を伴う補間器に導かれることを示す。
  論文  参考訳（メタデータ） (2023-02-01T05:41:41Z)
• A Non-Asymptotic Moreau Envelope Theory for High-Dimensional Generalized Linear Models [33.36787620121057]
  ガウス空間の任意のクラスの線型予測器を示す新しい一般化境界を証明した。 私たちは、Zhou et al. (2021) の「最適化率」を直接回復するために、有限サンプルバウンドを使用します。 ローカライズされたガウス幅を用いた有界一般化の適用は、一般に経験的リスク最小化に対してシャープであることを示す。
  論文  参考訳（メタデータ） (2022-10-21T16:16:55Z)
• Fast rates for noisy interpolation require rethinking the effects of inductive bias [8.946655323517092]
  高次元データヒンジの優れた一般化性能は、基底真理の単純な構造と推定器の強い帰納バイアスに基づく。 以上の結果から, より強い帰納バイアスは, 基礎的事実とより整合したより単純な構造を奨励するが, 騒音による有害効果も増大させることが示された。
  論文  参考訳（メタデータ） (2022-03-07T18:44:47Z)
• Minimum $\ell_{1}$-norm interpolators: Precise asymptotics and multiple descent [19.781475554462553]
  本稿では、最小$ell_1$-norm補間器という、重要な種類の補間器の理論的理解を追求する。 我々は、奇異な多発現象である厳密な理論的正当化を観察し、提供する。 我々の発見は、2つの未知の非線形方程式からなる2つのシステムによって制御されるリスク行動の正確な特徴に基づいている。
  論文  参考訳（メタデータ） (2021-10-18T17:51:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。