論文の概要: Risk Phase Transitions in Spiked Regression: Alignment Driven Benign and Catastrophic Overfitting

• arxiv url: http://arxiv.org/abs/2510.01414v1
• Date: Wed, 01 Oct 2025 19:51:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-03 16:59:20.848786
• Title: Risk Phase Transitions in Spiked Regression: Alignment Driven Benign and Catastrophic Overfitting
• Title（参考訳）: スパイクされた回帰におけるリスク相転移--配向駆動の良心と破滅的オーバーフィッティング-
• Authors: Jiping Li, Rishi Sonthalia,
• Abstract要約: この論文は、スパイク強度の変化とターゲットスパイクアライメントがリスクにどのように影響するかを特徴付ける。 この研究は、一般化誤差の正確な表現を示し、良性、誘惑性、破滅的な過剰適合状態の包括的分類に繋がる。
• 参考スコア（独自算出の注目度）: 4.340040784481499
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper analyzes the generalization error of minimum-norm interpolating solutions in linear regression using spiked covariance data models. The paper characterizes how varying spike strengths and target-spike alignments can affect risk, especially in overparameterized settings. The study presents an exact expression for the generalization error, leading to a comprehensive classification of benign, tempered, and catastrophic overfitting regimes based on spike strength, the aspect ratio $c=d/n$ (particularly as $c \to \infty$), and target alignment. Notably, in well-specified aligned problems, increasing spike strength can surprisingly induce catastrophic overfitting before achieving benign overfitting. The paper also reveals that target-spike alignment is not always advantageous, identifying specific, sometimes counterintuitive, conditions for its benefit or detriment. Alignment with the spike being detrimental is empirically demonstrated to persist in nonlinear models.
• Abstract（参考訳）: 本稿では、スパイク共分散データモデルを用いて、線形回帰における最小ノルム補間解の一般化誤差を解析する。 本論文は、特に過度なパラメータ設定において、スパイク強度とターゲットスパイクアライメントの変化がリスクに与える影響を特徴付ける。 この研究は、一般化誤差の正確な表現を示し、スパイク強度、アスペクト比$c=d/n$(特に$c \to \infty$)、ターゲットアライメントに基づく良性、誘惑性、破滅的な過剰適合状態の包括的分類をもたらす。 特に、適切に特定された整合性の問題では、スパイク強度の増大は、異常な過度な過度なオーバーフィッティングを達成する前に、驚くほど破滅的な過度フィッティングを引き起こす可能性がある。 論文はまた、目標とスパイクのアライメントが必ずしも有利であるとは限らないことを明らかにし、特定の、時には直感的でない、その利益や有害な条件を特定する。 スパイクが有害であることによるアライメントは、実験的に非線形モデルで持続することが示されている。

関連論文リスト

• Benign Overfitting in Out-of-Distribution Generalization of Linear Models [19.203753135860016]
  我々は、アウト・オブ・ディストリビューション(OOD)体制における良心過剰の理解に向けて、最初の一歩を踏み出した。 我々は、標準的な隆起回帰において良性過剰適合が生じることを証明する非漸近保証を提供する。 また、より一般的な目標共分散行列の族についても理論的結果を示す。
  論文  参考訳（メタデータ） (2024-12-19T02:47:39Z)
• Revisiting Essential and Nonessential Settings of Evidential Deep Learning [70.82728812001807]
  Evidential Deep Learning (EDL) は不確実性推定の新しい手法である。 本報告では,EDLの簡易かつ効果的な拡張型であるRe-EDLを提案する。
  論文  参考訳（メタデータ） (2024-10-01T04:27:07Z)
• Robust Linear Regression: Phase-Transitions and Precise Tradeoffs for General Norms [29.936005822346054]
  線形回帰モデルに対するテスト時間逆行攻撃の影響について検討する。 標準予測性能(正確性)の所定のレベルを維持しながら、どのモデルでも到達できる最適なロバストネスのレベルを決定する。 我々は、標準的な精度を損なうことなく、ロバスト性が達成可能なレジームと、トレードオフが避けられないレジームとを区別する正確なキャラクタリゼーションを得る。
  論文  参考訳（メタデータ） (2023-08-01T13:55:45Z)
• Improving Generalization via Uncertainty Driven Perturbations [107.45752065285821]
  トレーニングデータポイントの不確実性による摂動について考察する。 損失駆動摂動とは異なり、不確実性誘導摂動は決定境界を越えてはならない。 線形モデルにおいて,UDPがロバスト性マージン決定を達成することが保証されていることを示す。
  論文  参考訳（メタデータ） (2022-02-11T16:22:08Z)
• The Implicit Bias of Benign Overfitting [31.714928102950584]
  良性過剰適合は、予測器がほぼ最適の損失を達成しながら、ノイズの多いトレーニングデータに完全に適合する場所である。 標準的な線形回帰を超えてこれを拡張できることを示します。 そして、分類問題に目を向け、状況がずっと有利であることを示す。
  論文  参考訳（メタデータ） (2022-01-27T12:49:21Z)
• Interpolation can hurt robust generalization even when there is no noise [76.3492338989419]
  リッジの正規化による一般化の回避は,ノイズがなくても大幅に一般化できることを示す。 この現象は線形回帰と分類の両方のロバストなリスクを証明し、したがってロバストなオーバーフィッティングに関する最初の理論的結果を与える。
  論文  参考訳（メタデータ） (2021-08-05T23:04:15Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• Implicit Regularization in ReLU Networks with the Square Loss [56.70360094597169]
  モデルパラメータの明示的な関数によって、平方損失による暗黙の正規化を特徴付けることは不可能であることを示す。 非線形予測器の暗黙的正規化を理解するためには,より一般的な枠組みが必要であることが示唆された。
  論文  参考訳（メタデータ） (2020-12-09T16:48:03Z)
• Understanding and Mitigating the Tradeoff Between Robustness and Accuracy [88.51943635427709]
  逆行訓練は、堅牢なエラーを改善するために、摂動でトレーニングセットを増強する。 拡張摂動が最適線形予測器からノイズのない観測を行う場合であっても,標準誤差は増大する可能性がある。
  論文  参考訳（メタデータ） (2020-02-25T08:03:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。