論文の概要: Silver Rate Is (Almost) Optimal for Gradient Descent
- arxiv url: http://arxiv.org/abs/2609.09152v2
- Date: Thu, 10 Sep 2026 17:50:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-11 14:47:34.296216
- Title: Silver Rate Is (Almost) Optimal for Gradient Descent
- Title(参考訳): 銀相場は(ほぼ)グラディエントな輝きに最適
- Authors: Yuhan Ye, Kaizhao Liu,
- Abstract要約: 本研究では, 滑らかな凸最適化において, 所定の段差で勾配勾配がどれだけ加速できるかを検討する。
銀上界 [Altr and Parrilo, 2025] および任意の上界 [Zhang et al., 2025] と合わせて, 両設定の最適収束指数を決定する。
- 参考スコア(独自算出の注目度): 2.506624215459612
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study how far gradient descent (GD) can be accelerated by predetermined stepsizes in smooth convex optimization. Writing $p_{\mathrm{sil}}=\log_2(1+\sqrt{2})$, we prove an $Ω\left(n^{-p_{\mathrm{sil}}-O(\sqrt{\log\log n/\log n})}\right)$ non-anytime lower bound. In the anytime setting, every infinite schedule has infinitely many horizons with error $Ω\left(n^{-\frac{2p_{\mathrm{sil}}}{1+p_{\mathrm{sil}}}-O(\sqrt{\log\log n/\log n})}\right)$. Together with the silver-schedule upper bound [Altschuler and Parrilo, 2025] and the anytime upper bound [Zhang et al., 2025], our results determine the optimal polynomial convergence exponents in both settings.
- Abstract(参考訳): 本研究では, 滑らかな凸最適化において, 所定の段差による勾配勾配勾配(GD)の加速について検討した。
p_{\mathrm{sil}}=\log_2(1+\sqrt{2})$を書けば、$Ω\left(n^{-p_{\mathrm{sil}}-O(\sqrt{\log\log n/\log n})}\right)$非随時下界を証明できる。
任意の時空設定において、任意の無限スケジュールは、誤差 $Ω\left(n^{-\frac{2p_{\mathrm{sil}}}{1+p_{\mathrm{sil}}}-O(\sqrt{\log\log n/\log n}))$ で無限に多くの地平線を持つ。
銀-スケジュール上界 [Altschuler and Parrilo, 2025] と任意の上界 [Zhang et al , 2025] と合わせて、この結果は両方の設定における最適多項式収束指数を決定する。
関連論文リスト
- Improved Gradient Descent Lower Bounds Beyond Nesterov [2.506624215459612]
本研究では, 滑らかな凸最適化において, 所定の段差で勾配勾配がどれだけ加速できるかを検討する。
我々は、$(n-1.6342)$ non-anytime lower bound と $(n-1.2408)$ anytime lower bound を証明している。
論文 参考訳(メタデータ) (2026-09-02T17:39:52Z) - A Reduction from Delayed to Immediate Feedback for Online Convex Optimization with Improved Guarantees [58.59385794080679]
本稿では,後悔を遅延非依存の学習項と遅延誘発のドリフト項に分解する連続時間モデルを提案する。
バンディット凸最適化では,最先端の1次数に適合する遅延依存項を用いて,既存の残差境界を大幅に改善する。
論文 参考訳(メタデータ) (2026-02-02T18:17:34Z) - Differentially Private Quasi-Concave Optimization: Bypassing the Lower Bound and Application to Geometric Problems [10.228439000828722]
準凹関数の微分プライベート最適化のサンプル複雑性について検討する。
我々は、下界が一連の自然問題に対してバイパス可能であることを示す。
論文 参考訳(メタデータ) (2025-04-26T19:04:00Z) - Online Newton Method for Bandit Convex Optimisation [28.66596225688161]
ゼロ階帯域幅の最適化のための計算効率の良いアルゴリズムを提案する。
逆条件では、その後悔は少なくとも$d3.5 sqrtn Mathrmpolylog(n, d)$であり、d$が時間的地平線である確率が高いことを証明している。
設定において、バウンダリは$M d2 sqrtn Mathrmpolylog(n, d)$に改善され、[d-1/2, d-1 / 4]$は$Mとなる。
論文 参考訳(メタデータ) (2024-06-10T17:44:11Z) - Mirror Descent Algorithms with Nearly Dimension-Independent Rates for
Differentially-Private Stochastic Saddle-Point Problems [6.431793114484429]
多面体設定における微分プライベートなサドル点の問題を解くために、$sqrtlog(d)/sqrtn + log(d)/[nvarepsilon]2/5$を提案する。
我々のアルゴリズムは、一定の成功率で$sqrtlog(d)/sqrtn + log(d)/[nvarepsilon]2/5$に達することを示す。
論文 参考訳(メタデータ) (2024-03-05T12:28:00Z) - Optimal and Efficient Algorithms for Decentralized Online Convex Optimization [51.00357162913229]
分散オンライン凸最適化(D-OCO)は、局所計算と通信のみを用いて、グローバルな損失関数の列を最小化するように設計されている。
我々は,凸関数と強凸関数の残差を$tildeO(nrho-1/4sqrtT)$と$tildeO(nrho-1/2log T)$に削減できる新しいD-OCOアルゴリズムを開発した。
我々の分析によると、射影自由多様体は$O(nT3/4)$と$O(n)を達成できる。
論文 参考訳(メタデータ) (2024-02-14T13:44:16Z) - Accelerated Gradient Tracking over Time-varying Graphs for Decentralized Optimization [59.65871549878937]
実用的な単一ループ加速勾配追跡には$O(fracgamma1-sigma_gamma)2sqrtfracLepsilon)$が必要であることを証明している。
我々の収束率は$O(frac1epsilon5/7)$と$O(fracLmu)5/7frac1(1-sigma)1.5logfrac1epsilon)$よりも大幅に改善した。
論文 参考訳(メタデータ) (2021-04-06T15:34:14Z) - Private Stochastic Convex Optimization: Optimal Rates in $\ell_1$
Geometry [69.24618367447101]
対数要因まで $(varepsilon,delta)$-differently private の最適過剰人口損失は $sqrtlog(d)/n + sqrtd/varepsilon n.$ です。
損失関数がさらなる滑らかさの仮定を満たすとき、余剰損失は$sqrtlog(d)/n + (log(d)/varepsilon n)2/3で上界(対数因子まで)であることが示される。
論文 参考訳(メタデータ) (2021-03-02T06:53:44Z) - $Q$-learning with Logarithmic Regret [60.24952657636464]
楽観的な$Q$は$mathcalOleft(fracSAcdot mathrmpolyleft(Hright)Delta_minlogleft(SATright)right)$ cumulative regret bound, where $S$ is the number of state, $A$ is the number of action, $H$ is the planning horizon, $T$ is the total number of steps, $Delta_min$ is the least sub-Optitimality gap。
論文 参考訳(メタデータ) (2020-06-16T13:01:33Z) - Revisiting EXTRA for Smooth Distributed Optimization [70.65867695317633]
改良された$Oleft(left(fracLmu+frac11-sigma_2(W)right)logfrac1epsilon (1-sigma_2(W))right)$。
高速化されたEXTRAの通信複雑性は、$left(logfracLmu (1-sigma_2(W))right)$と$left(logfrac1epsilon (1。
論文 参考訳(メタデータ) (2020-02-24T08:07:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。