論文の概要: Uniform Stability and Generalization Error of GD and SGD on Fixed-Point Parameters

• arxiv url: http://arxiv.org/abs/2606.06934v1
• Date: Fri, 05 Jun 2026 05:55:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-08 14:33:29.584051
• Title: Uniform Stability and Generalization Error of GD and SGD on Fixed-Point Parameters
• Title（参考訳）: 固定点パラメータ上のGDとSGDの一様安定性と一般化誤差
• Authors: Jonghyun Shin, Sejun Park,
• Abstract要約: 我々は、一般化誤差、一様安定性、および降下(GD)と勾配降下(SGD)の均一引数安定性を解析する。 決定論的丸めは凸,リプシッツ,滑らかな損失関数上のGDの一般化誤差を劣化させることを示す。 丸めスキームに対する一様引数安定性の上限を与え、損失を座標関数の和として表すことができれば、これらの境界がきついことを示す。
• 参考スコア（独自算出の注目度）: 10.828616610785524
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We analyze generalization error, uniform stability, and uniform argument stability of gradient descent (GD) and stochastic gradient descent (SGD) over discrete parameter spaces, where each update involves deterministic or stochastic rounding. We show that deterministic rounding degrades the generalization error of GD on convex, Lipschitz, and smooth loss functions, increasing the rate from $O(T/n)$ to $O(T/\sqrt{n})$, and establish matching lower bounds. We further prove that uniform stability of GD becomes $Ω(T)$, showing that stability-based generalization bounds are vacuous in this setting. In contrast, for the same losses, stochastic gradient descent with deterministic rounding admits nontrivial uniform stability guarantees, which differ qualitatively from the real-valued case and exhibit distinct dependencies on the number of iterations and the dimension: we prove tight bounds $O(T/n)$ for one dimension and $O(T^2/n)$ for higher dimensions. We also show that stochastic rounding can introduce generalization error that increases with the dimension; such a phenomenon is absent in standard real-valued optimization and in the deterministic rounding case. Finally, we provide upper bounds on uniform argument stability for stochastic rounding schemes and show that these bounds are tight when the loss can be represented as a sum of coordinate-wise functions.
• Abstract（参考訳）: 離散パラメータ空間上での勾配降下(GD)と確率勾配降下(SGD)の一般化誤差、一様安定性、一様引数安定性を解析する。 決定論的丸めは、凸、リプシッツ、滑らかな損失関数上のGDの一般化誤差を劣化させ、その値は$O(T/n)$から$O(T/\sqrt{n})$に増加し、一致する下界を確立する。 さらに、GDの均一安定性が$Ω(T)$となることを証明し、この設定では安定性に基づく一般化境界が空であることを示す。 対照的に、同じ損失に対して、決定論的丸い確率勾配は非自明な一様安定性を保証するが、これは実数値の場合と定性的に異なるものであり、反復数と次元に異なる依存性を示す: 1次元に対して、厳密な境界$O(T/n)$と高次元に対して$O(T^2/n)$を証明する。 また、確率的ラウンドリングは次元に応じて増加する一般化誤差を生じさせる可能性を示し、そのような現象は標準的な実数値最適化や決定論的ラウンドリングでは欠落している。 最後に、確率的丸めスキームに対する一様引数安定性の上限を提供し、損失を座標関数の和として表すことができれば、これらの境界がきついことを示す。

関連論文リスト

• Stability and Generalization of Push-Sum Based Decentralized Optimization over Directed Graphs [55.77845440440496]
  プッシュベースの分散通信は、情報交換が非対称である可能性のある通信ネットワークの最適化を可能にする。 我々は、グラディエント・プッシュ(SGP)アルゴリズムのための統一的な一様安定性フレームワークを開発する。 重要な技術的要素は、2つの量に束縛された不均衡認識の一般化である。
  論文  参考訳（メタデータ） (2026-02-24T05:32:03Z)
• Exact Mean Square Linear Stability Analysis for SGD [28.65663421598186]
  勾配降下(SGD)の線形安定性に必要かつ十分なステップサイズを明示的条件として提示する。 SGDの安定性閾値は、全バッチ勾配ステップw.p.$-p$と1サンプル勾配ステップw.p.$p$の混合プロセスと等価であることを示す。
  論文  参考訳（メタデータ） (2023-06-13T15:29:23Z)
• Implicit Bias of Gradient Descent for Logistic Regression at the Edge of Stability [69.01076284478151]
  機械学習の最適化において、勾配降下(GD)はしばしば安定性の端(EoS)で動く 本稿では,EoS系における線形分離可能なデータに対するロジスティック回帰のための定数段差GDの収束と暗黙バイアスについて検討する。
  論文  参考訳（メタデータ） (2023-05-19T16:24:47Z)
• Stochastic Gradient Descent-Ascent and Consensus Optimization for Smooth Games: Convergence Analysis under Expected Co-coercivity [49.66890309455787]
  本稿では,SGDA と SCO の最終的な収束保証として,期待されるコヒーレンシティ条件を導入し,その利点を説明する。 定常的なステップサイズを用いた場合、両手法の線形収束性を解の近傍に証明する。 我々の収束保証は任意のサンプリングパラダイムの下で保たれ、ミニバッチの複雑さに関する洞察を与える。
  論文  参考訳（メタデータ） (2021-06-30T18:32:46Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• Fine-Grained Analysis of Stability and Generalization for Stochastic Gradient Descent [55.85456985750134]
  我々は,SGDの反復的リスクによって制御される新しい境界を開発する,平均モデル安定性と呼ばれる新しい安定性尺度を導入する。 これにより、最良のモデルの振舞いによって一般化境界が得られ、低雑音環境における最初の既知の高速境界が導かれる。 我々の知る限りでは、このことはSGDの微分不能な損失関数でさえも初めて知られている安定性と一般化を与える。
  論文  参考訳（メタデータ） (2020-06-15T06:30:19Z)
• Stability of Stochastic Gradient Descent on Nonsmooth Convex Losses [52.039438701530905]
  任意のリプシッツ非平滑凸損失に対して,数種類の勾配勾配降下(SGD)に対して,鋭い上下境界を与える。 我々の限界は、極端に過剰な集団リスクを伴う、微分的にプライベートな非平滑凸最適化のための新しいアルゴリズムを導出することを可能にする。
  論文  参考訳（メタデータ） (2020-06-12T02:45:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。