論文の概要: Step-Size Stability in Stochastic Optimization: A Theoretical Perspective

• arxiv url: http://arxiv.org/abs/2602.09842v1
• Date: Tue, 10 Feb 2026 14:46:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-11 20:17:43.603439
• Title: Step-Size Stability in Stochastic Optimization: A Theoretical Perspective
• Title（参考訳）: 確率最適化におけるステップサイズ安定性:理論的展望
• Authors: Fabian Schaipp, Robert M. Gower, Adrien Taylor,
• Abstract要約: ステップサイズに対する感度の観点から,最適化手法の理論的解析を行う。 ステップサイズが大きくなるにつれて,各手法で性能が低下することを示す重要な量を特定する。 非凸問題であっても、我々の理論的境界は実性能をステップサイズとして反映することを示した。
• 参考スコア（独自算出の注目度）: 9.887201139579146
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a theoretical analysis of stochastic optimization methods in terms of their sensitivity with respect to the step size. We identify a key quantity that, for each method, describes how the performance degrades as the step size becomes too large. For convex problems, we show that this quantity directly impacts the suboptimality bound of the method. Most importantly, our analysis provides direct theoretical evidence that adaptive step-size methods, such as SPS or NGN, are more robust than SGD. This allows us to quantify the advantage of these adaptive methods beyond empirical evaluation. Finally, we show through experiments that our theoretical bound qualitatively mirrors the actual performance as a function of the step size, even for nonconvex problems.
• Abstract（参考訳）: ステップサイズに対する感度の観点から確率的最適化法の理論解析を行う。 ステップサイズが大きすぎると、各メソッドでパフォーマンスが劣化することを示す重要な量を特定します。 凸問題に対しては、この量がメソッドの最適下界に直接影響を与えることを示す。 最も重要なことは、我々の分析はSPSやNGNのような適応的なステップサイズ法がSGDよりも堅牢であるという直接的な理論的な証拠を提供する。 これにより、これらの適応手法の利点を経験的評価を超えて定量化することができる。 最後に、我々の理論的境界は、非凸問題においても、ステップサイズの関数として実際の性能を定性的に反映していることを示す。

関連論文リスト

• Online Inference of Constrained Optimization: Primal-Dual Optimality and Sequential Quadratic Programming [55.848340925419286]
  等式制約と不等式制約を持つ2次最適化問題の解に対するオンライン統計的推測について検討した。 これらの問題を解決するための逐次プログラミング(SSQP)手法を開発し、目的の近似と制約の線形近似を逐次実行することでステップ方向を計算する。 本手法は,Hjek と Le Cam の意味での最適原始双対制限行列を用いて局所正規性を示す。
  論文  参考訳（メタデータ） (2025-11-27T06:16:17Z)
• Beyond the Ideal: Analyzing the Inexact Muon Update [54.70108543057578]
  本報告では,Muonコアにおける不正確な更新の初回解析について述べる。 この不正確さと最適なステップサイズと運動量との基本的な結合を明らかにする。
  論文  参考訳（メタデータ） (2025-10-22T18:01:07Z)
• A Learn-to-Optimize Approach for Coordinate-Wise Step Sizes for Quasi-Newton Methods [9.82454981262489]
  LSTMネットワークを用いて最適なステップサイズを学習するL2O(Learning-to-Optimize)手法を提案する。 提案手法はスカラーステップサイズ法や過勾配降下法よりも大幅に改善されている。
  論文  参考訳（メタデータ） (2024-11-25T07:13:59Z)
• Adaptive Learning Rates for Faster Stochastic Gradient Methods [6.935471115003109]
  いくつかの2次凸勾配法を改善するための適応的なステップサイズ戦略を提案する。 最初の方法は古典的なPolyakのステップサイズ(Polyak, 1987)に基づいており、この手法の最近の発展の延長である。 第2の手法であるGraDSは「勾配の多様性」によってステップサイズを再スケールする
  論文  参考訳（メタデータ） (2022-08-10T11:36:00Z)
• Wasserstein Distributionally Robust Estimation in High Dimensions: Performance Analysis and Optimal Hyperparameter Tuning [2.4578723416255754]
  分散ロバスト最適化(DRO)は不確実性の下での見積もりの強力なフレームワークとなっている。 本稿では,DROに基づく線形回帰法を提案し,その中心的問題,すなわちロバストネス半径を最適に選択する方法を提案する。 本手法はクロスバリデーションと同じ効果を示すが,計算コストのごく一部で実現可能であることを示す。
  論文  参考訳（メタデータ） (2022-06-27T13:02:59Z)
• Unified Convergence Analysis for Adaptive Optimization with Moving Average Estimator [75.05106948314956]
  1次モーメントに対する大きな運動量パラメータの増大は適応的スケーリングに十分であることを示す。 また,段階的に減少するステップサイズに応じて,段階的に運動量を増加させるための洞察を与える。
  論文  参考訳（メタデータ） (2021-04-30T08:50:24Z)
• The Role of Momentum Parameters in the Optimal Convergence of Adaptive Polyak's Heavy-ball Methods [12.93796690939018]
  適応型Polyak's Heavy-ball (HB) 法は最適な個人収束率を$O(frac1sqrtt)$とする。 新しい解析では,hb運動量とその時間的変動が凸最適化の高速化にどのように役立つかを示す。
  論文  参考訳（メタデータ） (2021-02-15T02:57:14Z)
• Robust, Accurate Stochastic Optimization for Variational Inference [68.83746081733464]
  また, 共通最適化手法は, 問題が適度に大きい場合, 変分近似の精度が低下することを示した。 これらの結果から,基礎となるアルゴリズムをマルコフ連鎖の生成とみなして,より堅牢で正確な最適化フレームワークを開発する。
  論文  参考訳（メタデータ） (2020-09-01T19:12:11Z)
• Adaptive Learning of the Optimal Batch Size of SGD [52.50880550357175]
  本稿では,その繰り返しを通じて最適なバッチサイズを適応的に学習し,凸度と滑らかな関数を求める手法を提案する。 実験では、合成データと実データを用いて、ほぼ最適な振る舞いを示す。 我々は,本手法を分散実装に適したサンプリングを含む,文献上考慮されていないいくつかの新しいバッチ戦略に一般化する。
  論文  参考訳（メタデータ） (2020-05-03T14:28:32Z)
• On Distributed Non-convex Optimization: Projected Subgradient Method For Weakly Convex Problems in Networks [13.385373310554327]
  Moreau subgradient 法は、機械学習における線形シャープネス問題を収束させる。 理論的保証を伴う下位段階法の分散実装を提案する。
  論文  参考訳（メタデータ） (2020-04-28T01:01:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。