論文の概要: Risk Comparisons in Linear Regression: Implicit Regularization Dominates Explicit Regularization

• arxiv url: http://arxiv.org/abs/2509.17251v1
• Date: Sun, 21 Sep 2025 22:02:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-23 18:58:16.185909
• Title: Risk Comparisons in Linear Regression: Implicit Regularization Dominates Explicit Regularization
• Title（参考訳）: 線形回帰におけるリスク比較:暗黙の規則化が明示的な規則化を支配する
• Authors: Jingfeng Wu, Peter L. Bartlett, Jason D. Lee, Sham M. Kakade, Bin Yu,
• Abstract要約: 既存の理論では、キャパシティとソース条件によって分類された線形回帰問題に対して、勾配降下(GD)は常に極小極小である。 この研究は、よく特定された線形回帰問題に対して、これらのアルゴリズムに対する有限サンプルリスクのインスタンスワイズ比較を提供する。
• 参考スコア（独自算出の注目度）: 96.97196425604893
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing theory suggests that for linear regression problems categorized by capacity and source conditions, gradient descent (GD) is always minimax optimal, while both ridge regression and online stochastic gradient descent (SGD) are polynomially suboptimal for certain categories of such problems. Moving beyond minimax theory, this work provides instance-wise comparisons of the finite-sample risks for these algorithms on any well-specified linear regression problem. Our analysis yields three key findings. First, GD dominates ridge regression: with comparable regularization, the excess risk of GD is always within a constant factor of ridge, but ridge can be polynomially worse even when tuned optimally. Second, GD is incomparable with SGD. While it is known that for certain problems GD can be polynomially better than SGD, the reverse is also true: we construct problems, inspired by benign overfitting theory, where optimally stopped GD is polynomially worse. Finally, GD dominates SGD for a significant subclass of problems -- those with fast and continuously decaying covariance spectra -- which includes all problems satisfying the standard capacity condition.
• Abstract（参考訳）: 既存の理論では、キャパシティとソース条件によって分類された線形回帰問題に対して、勾配降下(GD)は常に極小最適であり、リッジ回帰とオンライン確率勾配降下(SGD)は、そのような問題の特定のカテゴリに対して多項式的に最適である。 ミニマックス理論を超えて、この研究は、よく特定された線形回帰問題に対するこれらのアルゴリズムの有限サンプルリスクのインスタンスワイズ比較を提供する。 私たちの分析は3つの重要な結果をもたらす。 まず、GD はリッジ回帰を支配しており、同様の正則化では、GD の過剰なリスクは常にリッジの定数係数内にあるが、リッジを最適に調整しても多項式的に悪化することがある。 第2に、GDはSGDと互換性がない。 ある種の問題 GD が SGD よりも多項式的に優れていることは知られているが、逆もまた真である。 最後に、GDは、標準容量条件を満たす全ての問題を含む、高速かつ連続的に崩壊する共分散スペクトルを持つ問題において、重要なサブクラスとしてSGDを支配している。

関連論文リスト

• Risk Bounds of Multi-Pass SGD for Least Squares in the Interpolation Regime [127.21287240963859]
  勾配降下(SGD)は最適化と一般化の両方において優れた性能を持つため、大きな成功を収めている。 本稿では,マルチパスSGDの一般化を強く特徴付けることを目的とする。 我々は,SGDが同じレベルの過剰リスクを達成するためには,GD以上を必要とするが,勾配評価の回数を削減できることを示した。
  論文  参考訳（メタデータ） (2022-03-07T06:34:53Z)
• Benign Underfitting of Stochastic Gradient Descent [72.38051710389732]
  本研究では,適切な学習データを得ることで,一般化性能を実現する「従来型」学習ルールとして,勾配降下度(SGD)がどの程度理解されるかを検討する。 類似現象が起こらない近縁な交換SGDを解析し、その集団リスクが実際に最適な速度で収束することを証明する。
  論文  参考訳（メタデータ） (2022-02-27T13:25:01Z)
• Last Iterate Risk Bounds of SGD with Decaying Stepsize for Overparameterized Linear Regression [122.70478935214128]
  勾配降下(SGD)は、多くのディープラーニングアプリケーションでよく一般化されている。 本稿では, 崩壊段階のSGDの最終反復リスク境界に関する問題依存解析を行う。
  論文  参考訳（メタデータ） (2021-10-12T17:49:54Z)
• The Benefits of Implicit Regularization from SGD in Least Squares Problems [116.85246178212616]
  勾配降下(SGD)はアルゴリズム正則化効果が強い。 我々は、(正規化されていない)平均SGDで得られる暗黙の正則化とリッジ回帰の明示的な正則化の比較を行う。
  論文  参考訳（メタデータ） (2021-08-10T09:56:47Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。