論文の概要: Asymptotic Risk of Learning-Rate Schedules for Least-Squares Regression with Discretely Distributed Features

• arxiv url: http://arxiv.org/abs/2610.16518v1
• Date: Mon, 12 Oct 2026 10:09:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-18 22:50:31.694721
• Title: Asymptotic Risk of Learning-Rate Schedules for Least-Squares Regression with Discretely Distributed Features
• Title（参考訳）: 離散的特徴を有する最小二乗回帰に対する学習レートスケジューリングの漸近的リスク
• Abstract要約: 離散分布特徴を持つ最小二乗ストリーミング上での勾配勾配降下(SGD)について検討した。 我々は、正確な有限時間リスクと定数とWarmup-Stable-Decay(WSD)スケジュールの等価性を導出する。 最適なリスクは、クリティカルなバッチサイズまで、バッチサイズ$b$と$T$のみであることを示す。
• 参考スコア（独自算出の注目度）: 1.2917484639876633
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the last iterate of stochastic gradient descent (SGD) on streaming least squares with discretely distributed features (Slock's model), which decouples the dynamics across eigendirections. Under power-law source and capacity conditions, we derive the exact finite-time risk and asymptotic equivalents of constant and Warmup-Stable-Decay (WSD) schedules. With a tuned base learning-rate, the resulting scaling law decays as $Θ(T^{-q})$, where $T$ is the horizon, and $q$ is independent of the cooldown length $c \in (0,1]$ but is strictly smaller for the constant schedule: any cooldown of fixed relative length $c > 0$, however short, improves the risk by a polynomial factor, while its length only affects the constant, which is minimized by linear decay ($c = 1$). Finally, we show that the optimal risk depends on the batch size $b$ and horizon $T$ only through $bT$, up to a critical batch size.
• Abstract（参考訳）: 個別に分散した特徴を持つ最小二乗のストリーミング(Slockのモデル)上での確率勾配降下(SGD)の最後の繰り返しについて検討し、固有方向をまたいで力学を分離する。 電源とキャパシティ条件の下では、定数の正確な有限時間リスクと漸近的等価性、およびWarmup-Stable-Decay (WSD) スケジュールを導出する。 T$ は地平線であり、$q$ は冷却長 $c \in (0,1]$ とは独立であるが、固定相対長 $c > 0$ の任意の冷却ダウンは多項式係数によるリスクを改善するが、その長さは定数にのみ影響し、線形減衰により最小化される(c = 1$)。 最後に、最適リスクはバッチサイズ$b$と地平線$T$のみ$bT$、クリティカルバッチサイズにかかっていることを示す。

関連論文リスト

• Reliable Scale-Free Bandits via Empirical Likelihood [2.5361601273217973]
  ほぼ確実に後悔の保証は、最終的な学習を記述しているが、パフォーマンスや有限実行時の大きな後悔のリスクを期待していない。 我々は,Cowan と Katehakis の $g-Forcing Policy (2020) の任意の経験的拡張である $textttEL-F$ を紹介する。 実験では、挑戦的なインスタンスに対する$g$-Forcingと比較して、長時間の最適部分割り当ての削減が示されている。
  論文  参考訳（メタデータ） (2026-10-13T09:43:54Z)
• Parameter-Free Interval-Dynamic Regret under Heavy-Tailed Noise [55.29259818039367]
  オンライン凸最適化を1ラウンドに1つの偏りのない下位段階と、未知の有限条件の雑音モーメントであるp$th, $1ple2$で検討する。 長さ$n$の固定区間$I$に対して、学習者は最適な全水平静的レートを含む1+log(T/n)$を達成する。
  論文  参考訳（メタデータ） (2026-09-30T21:03:03Z)
• Clipped or Unclipped? Finite-Sample Trade-offs for Averaged SGD under Heavy-Tailed Noise [66.13091490213743]
  グラディエントクリッピングはトレーニングを安定させるために広く用いられているが、平均的なSGDの統計的精度を改善する必要はない。 有限条件の$p$-th モーメント,$pge2$ の条件下で, クリッピングおよび非クリッピングのPolyak-Ruppert平均 SGD の比較を導出した。 我々の主な結果は、$p>2$の場合、ガウス項が未開偏差境界を独占する明確な精度と信頼条件を与える。
  論文  参考訳（メタデータ） (2026-09-26T21:47:14Z)
• Ordinary Nonconvex SGD under Distance-Dependent Moments: Finite-Horizon Stationarity and Nagaev Bounds [1.6582968942719265]
  一様雑音-モーメンタリティ境界は、距離によって変動が増加する勾配を除外する。 直接降下すると、スムーズな転位引数が3エプシロン6$を回復する。 局所化半径は、非レート仮定、クリッピング正規化、運動量、バッチサイズの増加といった境界から導かれる。
  論文  参考訳（メタデータ） (2026-09-24T19:37:07Z)
• Sharp Oracle-Regret Tradeoffs for Projection-Free Online Convex Optimization [55.29259818039367]
  我々は, オンライン凸最適化において, 実現可能な集合へのアクセスが正確な線形最適化オラクルに制限された場合に達成可能な後悔を特徴づける。 コンベックス$G$-Lipschitzの損失に対して、直径は最大$D$、合計$Q$オークルコールは$Q$、厳格な制限はラウンド当たり$B$である。
  論文  参考訳（メタデータ） (2026-09-23T22:25:52Z)
• Constrained Online Learning with Noisy Constraint Values [55.29259818039367]
  一般的な実現可能性の下では、我々のLEDGERアルゴリズムは、期待される損失$O(sqrt T)と期待される予算違反$O(sqrtTlog(eT))を達成します。 スレーター条件、フィードバックチャネル間の独立性、絶対的制約値境界は不要である。
  論文  参考訳（メタデータ） (2026-09-07T01:38:41Z)
• A Temporal Spatial Minimax Rate for Smoothly-Varying Distributions in Wasserstein Space [0.0]
  ワッサーシュタイン空間において、曲線 $tmapsto_t$ の将来の値 $t_n+h$ を推定するミニマックス速度について検討する。 我々の中心的な結果は、時間空間的ミニマックスの下位境界であり、正規で局所的な輸送に富むサブクラスである。
  論文  参考訳（メタデータ） (2026-06-05T14:43:10Z)
• When Does $\ell_2$-Boosting Overfit Benignly? High-Dimensional Risk Asymptotics and the $\ell_1$ Implicit Bias [15.113649527486276]
  良性オーバーフィッティングが線形レートで失敗することを示します。 この局所化機構は信号の存在下で持続するべきであるが、正確な信号-雑音分解は未解決の問題である。
  論文  参考訳（メタデータ） (2026-05-07T14:14:09Z)
• Tight Long-Term Tail Decay of (Clipped) SGD in Non-Convex Optimization [62.48819955422706]
  大規模偏差理論のレンズによるSGD法における長期のテール崩壊について検討する。 我々は、テールが以前よりもはるかに早く崩壊する体制を発見し、個々のランニングに対してより強力な長期保証を提供する。
  論文  参考訳（メタデータ） (2026-02-05T13:41:13Z)
• Nearly Minimax Optimal Regret for Learning Linear Mixture Stochastic Shortest Path [80.60592344361073]
  線形混合遷移カーネルを用いた最短経路(SSP)問題について検討する。 エージェントは繰り返し環境と対話し、累積コストを最小化しながら特定の目標状態に到達する。 既存の作業は、イテレーションコスト関数の厳密な下限や、最適ポリシーに対する期待長の上限を仮定することが多い。
  論文  参考訳（メタデータ） (2024-02-14T07:52:00Z)
• The Implicit Regularization of Stochastic Gradient Flow for Least Squares [24.976079444818552]
  最小二乗回帰の基本問題に適用したミニバッチ勾配勾配の暗黙正則化について検討した。 我々は勾配流と呼ばれる勾配降下と同じモーメントを持つ連続時間微分方程式を利用する。 チューニングパラメータ $lambda = 1/t$ で、リッジレグレッションを越えて、時間 $t$ での勾配フローの過剰なリスクに制限を与えます。
  論文  参考訳（メタデータ） (2020-03-17T16:37:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。