論文の概要: Robust Gradient Descent via Heavy-Ball Momentum with Predictive Extrapolation

• arxiv url: http://arxiv.org/abs/2512.10033v1
• Date: Wed, 10 Dec 2025 19:39:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-12 16:15:42.028995
• Title: Robust Gradient Descent via Heavy-Ball Momentum with Predictive Extrapolation
• Title（参考訳）: 予知外挿法を併用した重骨モメンタムによるロバストグラディエント染料の経時的変化
• Authors: Sarwan Ali,
• Abstract要約: 重球運動量と外挿を結合した頑健な1次法を提案する。 我々は凸反復に対する収束保証を証明し、HB-SGEがNAGモーメントが失敗する問題における分散を防ぐことを実証する。
• 参考スコア（独自算出の注目度）: 5.237172334460829
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Accelerated gradient methods like Nesterov's Accelerated Gradient (NAG) achieve faster convergence on well-conditioned problems but often diverge on ill-conditioned or non-convex landscapes due to aggressive momentum accumulation. We propose Heavy-Ball Synthetic Gradient Extrapolation (HB-SGE), a robust first-order method that combines heavy-ball momentum with predictive gradient extrapolation. Unlike classical momentum methods that accumulate historical gradients, HB-SGE estimates future gradient directions using local Taylor approximations, providing adaptive acceleration while maintaining stability. We prove convergence guarantees for strongly convex functions and demonstrate empirically that HB-SGE prevents divergence on problems where NAG and standard momentum fail. On ill-conditioned quadratics (condition number $κ=50$), HB-SGE converges in 119 iterations while both SGD and NAG diverge. On the non-convex Rosenbrock function, HB-SGE achieves convergence in 2,718 iterations where classical momentum methods diverge within 10 steps. While NAG remains faster on well-conditioned problems, HB-SGE provides a robust alternative with speedup over SGD across diverse landscapes, requiring only $O(d)$ memory overhead and the same hyperparameters as standard momentum.
• Abstract（参考訳）: ネステロフの加速勾配法(NAG)のような加速勾配法は、よく条件付けられた問題に対するより高速な収束を実現するが、積極的な運動量蓄積により、しばしば不条件または非凸の風景に発散する。 本稿では,重ボール運動量と予測勾配外挿を結合した強靭な一階法HB-SGEを提案する。 歴史的勾配を蓄積する古典的運動量法とは異なり、HB-SGEは局所テイラー近似を用いて将来の勾配方向を推定し、安定性を維持しながら適応的な加速度を与える。 我々は、強い凸関数に対する収束保証を証明し、HB-SGEがNAGと標準運動量とが失敗する問題に対する分散を防いでいることを実証した。 不条件二次数 (条件番号$κ=50$) では、HB-SGE は 119 反復で収束し、SGD と NAG は分岐する。 非凸ローゼンブロック関数上で、HB-SGEは古典運動量法が10ステップ以内に発散する2,718反復で収束する。 NAGは条件の整った問題では高速だが、HB-SGEはSGDよりも高速で、メモリオーバーヘッドは$O(d)$で、標準運動量と同じハイパーパラメータを必要とする。

関連論文リスト

• Accelerated Gradient Methods with Biased Gradient Estimates: Risk Sensitivity, High-Probability Guarantees, and Large Deviation Bounds [12.025550076793396]
  本研究では,収束率と強靭性への勾配のトレードオフについて,一階法の文脈で検討する。 潜在的なバイアス付き準ガウス勾配誤差の下では、リスク・センシティブ・インデックス(RSI)の有限時間アナログ上の非漸近境界を導出する。 滑らかな凸関数の場合、RSIと収束率境界との間の類似のトレードオフも観察する。
  論文  参考訳（メタデータ） (2025-09-17T01:56:31Z)
• Faster Convergence of Stochastic Accelerated Gradient Descent under Interpolation [51.248784084461334]
  我々はNesterov加速度アンダーホ条件の一般化版に対する新しい収束率を証明した。 本分析により, 従来の研究に比べて, 強い成長定数への依存度を$$$から$sqrt$に下げることができた。
  論文  参考訳（メタデータ） (2024-04-03T00:41:19Z)
• Acceleration and Implicit Regularization in Gaussian Phase Retrieval [5.484345596034159]
  この設定では、Polyak や Nesterov の運動量の暗黙的な正規化による手法が、よい凸降下を保証することを証明している。 実験的な証拠は、これらの手法が実際には勾配降下よりも早く収束していることを示している。
  論文  参考訳（メタデータ） (2023-11-21T04:10:03Z)
• NAG-GS: Semi-Implicit, Accelerated and Robust Stochastic Optimizer [45.47667026025716]
  2つの重要な要素に依存した、新しく、堅牢で、加速された反復を提案する。 NAG-GSと呼ばれる手法の収束と安定性は、まず広範に研究されている。 我々は、NAG-arityが、重量減衰を伴う運動量SGDや機械学習モデルのトレーニングのためのAdamWといった最先端の手法と競合していることを示す。
  論文  参考訳（メタデータ） (2022-09-29T16:54:53Z)
• On the Convergence of Stochastic Extragradient for Bilinear Games with Restarted Iteration Averaging [96.13485146617322]
  本稿では, ステップサイズが一定であるSEG法の解析を行い, 良好な収束をもたらす手法のバリエーションを示す。 平均化で拡張した場合、SEGはナッシュ平衡に確実に収束し、スケジュールされた再起動手順を組み込むことで、その速度が確実に加速されることを証明した。
  論文  参考訳（メタデータ） (2021-06-30T17:51:36Z)
• Convergence of Gradient Algorithms for Nonconvex $C^{1+\alpha}$ Cost Functions [2.538209532048867]
  勾配が収束する副生成物を示し、収束率に明示的な上限を与える。 これにより、ドオブマルティンの超ガレ収束定理によるほぼ確実な収束を証明できる。
  論文  参考訳（メタデータ） (2020-12-01T16:48:59Z)
• Faster Convergence of Stochastic Gradient Langevin Dynamics for Non-Log-Concave Sampling [110.88857917726276]
  我々は,非log-concaveとなる分布のクラスからサンプリングするために,勾配ランゲヴィンダイナミクス(SGLD)の新たな収束解析を行う。 我々のアプローチの核心は、補助的時間反転型マルコフ連鎖を用いたSGLDのコンダクタンス解析である。
  論文  参考訳（メタデータ） (2020-10-19T15:23:18Z)
• Hessian-Free High-Resolution Nesterov Acceleration for Sampling [55.498092486970364]
  最適化のためのNesterovのAccelerated Gradient(NAG)は、有限のステップサイズを使用する場合の連続時間制限(ノイズなしの運動的ランゲヴィン)よりも優れたパフォーマンスを持つ。 本研究は, この現象のサンプリング法について検討し, 離散化により加速勾配に基づくMCMC法が得られる拡散過程を提案する。
  論文  参考訳（メタデータ） (2020-06-16T15:07:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。