Fugu-MT 論文翻訳(概要): Faster Acceleration for Steepest Descent

論文の概要: Faster Acceleration for Steepest Descent

arxiv url: http://arxiv.org/abs/2409.19200v1
Date: Sat, 28 Sep 2024 01:21:03 GMT
ステータス: 処理完了
システム内更新日: 2024-11-06 04:01:11.113893
Title: Faster Acceleration for Steepest Descent
Title（参考訳）: 急速加速による白内障の診断
Authors: Site Bai, Brian Bullins,
Abstract要約: 非ユークリッド滑らか性仮定の下での凸最適化のための新しい高速化一階法を提案する。 for $ell_p$ norm problems in $d$ dimensions, our method provides a complexity improvement of $O(d1-frac2p)$ in terms of a first-order oracles。
参考スコア（独自算出の注目度）: 6.972653925522813
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We propose a new accelerated first-order method for convex optimization under non-Euclidean smoothness assumptions. In contrast to standard acceleration techniques, our approach uses primal-dual iterate sequences taken with respect to differing norms, which are then coupled using an implicitly determined interpolation parameter. For $\ell_p$ norm smooth problems in $d$ dimensions, our method provides an iteration complexity improvement of up to $O(d^{1-\frac{2}{p}})$ in terms of calls to a first-order oracle, thereby allowing us to circumvent long-standing barriers in accelerated non-Euclidean steepest descent.
Abstract（参考訳）: 非ユークリッド滑らか性仮定の下での凸最適化のための新しい高速化一階法を提案する。標準加速度法とは対照的に,本手法では,異なるノルムに対して一次二重反復列を用いて,暗黙的に決定された補間パラメータを用いて結合する。 $d$次元における$\ell_p$ノルムのスムーズな問題に対して、我々の手法は、一階のオラクルへの呼び出しの観点から、最大$O(d^{1-\frac{2}{p}})$の反復複雑性の改善を提供する。

関連論文リスト

Non-Euclidean High-Order Smooth Convex Optimization [9.940728137241214]
我々はH"より古い連続$q$-th微分を持つ凸対象の最適化のためのアルゴリズムを開発する。提案アルゴリズムは,1leq pleq infty$ に対して $ell_p$-settings を含む,穏やかな条件下での一般ノルムに対して作用する。
論文参考訳（メタデータ） (2024-11-13T19:22:34Z)
First-Order Methods for Linearly Constrained Bilevel Optimization [38.19659447295665]
本稿では,高次ヘッセン計算に対する一階線形制約最適化手法を提案する。線形不等式制約に対しては、$widetildeO(ddelta-1 epsilon-3)$ gradient oracle callにおいて$(delta,epsilon)$-Goldstein固定性を得る。
論文参考訳（メタデータ） (2024-06-18T16:41:21Z)
Accelerated Quasi-Newton Proximal Extragradient: Faster Rate for Smooth Convex Optimization [26.328847475942894]
我々は,本手法が$Obigl(minfrac1k2, fracsqrtdlog kk2.5bigr)$の収束率を達成できることを証明した。我々の知る限りでは、この結果はネステロフの加速勾配に対する準ニュートン型法の証明可能な利得を示す最初のものである。
論文参考訳（メタデータ） (2023-06-03T23:31:27Z)
Pseudonorm Approachability and Applications to Regret Minimization [73.54127663296906]
我々は、高次元 $ell_infty$-approachability 問題を、低次元の擬ノルムアプローチ可能性問題に変換する。我々は、$ell$や他のノルムに対するアプローチ可能性に関する以前の研究に類似した疑似ノルムアプローチ可能性のアルゴリズム理論を開発する。
論文参考訳（メタデータ） (2023-02-03T03:19:14Z)
Second-order optimization with lazy Hessians [55.51077907483634]
一般の非線形最適化問題を解くためにニュートンの遅延ヘッセン更新を解析する。我々は、メソッドの各ステップで新しい勾配を計算しながら、これまで見られたヘッセン反復を再利用する。
論文参考訳（メタデータ） (2022-12-01T18:58:26Z)
Extra-Newton: A First Approach to Noise-Adaptive Accelerated Second-Order Methods [57.050204432302195]
本研究では,2次スムーズな凸関数を最小化するための普遍的かつ適応的な2次法を提案する。我々のアルゴリズムは、オラクルフィードバックが分散$sigma2$であるときに$O(sigma / sqrtT)$収束を達成し、決定論的オラクルで$O(1 / T3)$に収束を改善する。
論文参考訳（メタデータ） (2022-11-03T14:12:51Z)
Lifted Primal-Dual Method for Bilinearly Coupled Smooth Minimax Optimization [47.27237492375659]
双線型結合されたミニマックス問題:$min_x max_y f(x) + ytop A x - h(y)$, ここでは$f$と$h$はどちらも強凸滑らかな関数である。 Omega(sqrtfracL_xmu_x + frac|A|sqrtmu_x,mu_y) log(frac1vareps) の低い複雑性境界を達成した1次アルゴリズムは知られていない。
論文参考訳（メタデータ） (2022-01-19T05:56:19Z)
Halpern-Type Accelerated and Splitting Algorithms For Monotone Inclusions [14.445131747570962]
我々は、最大単調方程式のクラスを解くために、新しいタイプの加速アルゴリズムを開発する。我々の手法は[32]におけるハルパーン型固定点反復と呼ばれるものに依存しており、近年多くの研究者が利用している。
論文参考訳（メタデータ） (2021-10-15T15:26:32Z)
Projection Efficient Subgradient Method and Optimal Nonsmooth Frank-Wolfe Method [54.93433440034386]
実現可能な$epsilon$-suboptimalソリューションは、$O(epsilon-1)$ POコールと最適な$O(epsilon-2)$ FOコールのみを使用します。提案手法は,POおよびLMOコールのコストがかかる問題に対して,最先端技術に対する大幅な高速化を実現するものであることを確認した。
論文参考訳（メタデータ） (2020-10-05T08:16:56Z)
Second-Order Information in Non-Convex Stochastic Optimization: Power and Limitations [54.42518331209581]
私たちは発見するアルゴリズムを見つけます。 epsilon$-approximate stationary point ($|nabla F(x)|le epsilon$) using $(epsilon,gamma)$surimateランダムランダムポイント。ここでの私たちの下限は、ノイズのないケースでも新規です。
論文参考訳（メタデータ） (2020-06-24T04:41:43Z)
A Simple Convergence Proof of Adam and Adagrad [74.24716715922759]
我々はAdam Adagradと$O(d(N)/st)$アルゴリズムの収束の証明を示す。 Adamはデフォルトパラメータで使用する場合と同じ収束$O(d(N)/st)$で収束する。
論文参考訳（メタデータ） (2020-03-05T01:56:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。