論文の概要: Non-Acceleration of the Heavy-Ball Method in 1D
- arxiv url: http://arxiv.org/abs/2610.25104v1
- Date: Sun, 18 Oct 2026 08:29:37 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-10-20 22:40:43.467481
- Title: Non-Acceleration of the Heavy-Ball Method in 1D
- Title(参考訳): 1次元におけるヘビーボール法の非加速
- Abstract要約: ポリアクのヘビーボール法とその力学は長い間未解決の問題のままである。
フーリエ解析を用いて非加速の証明を行う。
また、以前のルート・オブ・ユニティ・サイクリング領域を厳格に拡張する。
- 参考スコア(独自算出の注目度): 0.0
- License:
- Abstract: Despite having an asymptotically optimal rate of convergence on convex quadratics, the acceleration of Polyak's heavy-ball method and a characterization of its dynamics within more general settings have remained long standing open problems. Recently, the work of Goujaud et al. [Math. Program. (2025)] made progress regarding acceleration in the context of smooth, strongly convex minimization: for a small enough inverse condition number, either the method does not accelerate on quadratics, or there exists a smooth strongly convex function such that heavy-ball cycles over the roots of unity. The constructed functions have two variables, thus leaving the question of acceleration over univariate functions open. In this work, we use a Fourier-based analysis to i) provide a proof for the non-acceleration of the heavy-ball method over the class of univariate smooth strongly convex functions. We also ii) provide a strict enlargement of the previous root-of-unity cycling region, with insights regarding the "fractional" sets of Goujaud et al. [arXiv:2502.19916], and iii) give a higher dimensional cycling instance which is not covered by root-of-unity cycling.
- Abstract(参考訳): 凸二次体に対する漸近的に最適な収束速度を持つにもかかわらず、ポリアクの重ボール法の加速とより一般的な設定におけるその力学のキャラクタリゼーションは長い間未解決の問題のままである。
近年、Goujaudら(Math. Program. (2025))の研究は、滑らかで強い凸最小化(英語版)の文脈における加速度に関する進歩をおこなった: 十分小さな逆条件数の場合、この方法は二次関数上では加速しないか、あるいはユニタリの根上の重い球循環のような滑らかな凸関数が存在する。
構成された函数は2つの変数を持ち、従って単変数函数に対する加速度の問題が開となる。
本研究では,フーリエ解析を用いる。
一 単変量スムーズな凸関数のクラスに対する重ボール法の非加速の証明を提供する。
私たちも
二 前回のルート・オブ・ユニティ・サイクリング領域の厳格な拡大を提供し、グージャウドらの「摩擦的」集合についての洞察及び
三 自然の根で覆われない高次元のサイクリングインスタンスを与える。
関連論文リスト
- Methods for Convex $(L_0,L_1)$-Smooth Optimization: Clipping, Acceleration, and Adaptivity [50.25258834153574]
我々は、(強に)凸 $(L0)$-smooth 関数のクラスに焦点を当て、いくつかの既存のメソッドに対する新しい収束保証を導出する。
特に,スムーズなグラディエント・クリッピングを有するグラディエント・ディフレッシュと,ポリアク・ステップサイズを有するグラディエント・ディフレッシュのコンバージェンス・レートの改善を導出した。
論文 参考訳(メタデータ) (2024-09-23T13:11:37Z) - Faster Convergence of Stochastic Accelerated Gradient Descent under Interpolation [51.248784084461334]
我々はNesterov加速度アンダーホ条件の一般化版に対する新しい収束率を証明した。
本分析により, 従来の研究に比べて, 強い成長定数への依存度を$$$から$sqrt$に下げることができた。
論文 参考訳(メタデータ) (2024-04-03T00:41:19Z) - Convex and Non-convex Optimization Under Generalized Smoothness [69.69521650503431]
凸法と非最適化法の分析は、しばしばリプシッツ勾配を必要とし、この軌道による解析を制限する。
最近の研究は、非一様滑らか性条件を通した勾配設定を一般化している。
論文 参考訳(メタデータ) (2023-06-02T04:21:59Z) - On the Convergence of AdaGrad(Norm) on $\R^{d}$: Beyond Convexity,
Non-Asymptotic Rate and Acceleration [33.247600151322466]
我々は、滑らかな凸関数の標準設定において、AdaGradとその変種についてより深く理解する。
まず、制約のない問題に対して、バニラ AdaGrad の収束率を明示的に拘束する新しい手法を示す。
第二に、平均的な反復ではなく、最後の反復の収束を示すことのできる AdaGrad の変種を提案する。
論文 参考訳(メタデータ) (2022-09-29T14:44:40Z) - Provable Acceleration of Heavy Ball beyond Quadratics for a Class of
Polyak-\L{}ojasiewicz Functions when the Non-Convexity is Averaged-Out [27.885807991400377]
現在、ヘビーボール(HB)は非動的最適化において最も一般的な運動量法の一つである。
本研究では,2次数を超える加速度を示す新しい手法を開発した。
二次数を超える HB の加速結果に対して、追加条件を満たす必要がある。
論文 参考訳(メタデータ) (2022-06-22T17:47:41Z) - Convergence Error Analysis of Reflected Gradient Langevin Dynamics for Globally Optimizing Non-Convex Constrained Problems [38.544941658428534]
グラディエントランゲヴィン力学とその変種は、最初は大域方程式において、大域最適解への収束に注目を惹きつけている。
本稿では,新しい凸制約付き非拘束境界問題を提案する。
論文 参考訳(メタデータ) (2022-03-19T02:08:24Z) - Quickly Finding a Benign Region via Heavy Ball Momentum in Non-Convex
Optimization [8.452237741722724]
重球法は連続関数を最適化する一階法である。
重球運動量は,大域的最適点を高速に含む良性相に入るのに役立つことを示す。
論文 参考訳(メタデータ) (2020-10-04T00:07:06Z) - Hessian-Free High-Resolution Nesterov Acceleration for Sampling [55.498092486970364]
最適化のためのNesterovのAccelerated Gradient(NAG)は、有限のステップサイズを使用する場合の連続時間制限(ノイズなしの運動的ランゲヴィン)よりも優れたパフォーマンスを持つ。
本研究は, この現象のサンプリング法について検討し, 離散化により加速勾配に基づくMCMC法が得られる拡散過程を提案する。
論文 参考訳(メタデータ) (2020-06-16T15:07:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。