Fugu-MT 論文翻訳(概要): Faster Acceleration for Steepest Descent

論文の概要: Faster Acceleration for Steepest Descent

arxiv url: http://arxiv.org/abs/2409.19200v1
Date: Sat, 28 Sep 2024 01:21:03 GMT
ステータス: 処理完了
システム内更新日: 2024-11-06 04:01:11.113893
Title: Faster Acceleration for Steepest Descent
Title（参考訳）: 急速加速による白内障の診断
Authors: Site Bai, Brian Bullins,
Abstract要約: 非ユークリッド滑らか性仮定の下での凸最適化のための新しい高速化一階法を提案する。 for $ell_p$ norm problems in $d$ dimensions, our method provides a complexity improvement of $O(d1-frac2p)$ in terms of a first-order oracles。
参考スコア（独自算出の注目度）: 6.972653925522813
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We propose a new accelerated first-order method for convex optimization under non-Euclidean smoothness assumptions. In contrast to standard acceleration techniques, our approach uses primal-dual iterate sequences taken with respect to differing norms, which are then coupled using an implicitly determined interpolation parameter. For $\ell_p$ norm smooth problems in $d$ dimensions, our method provides an iteration complexity improvement of up to $O(d^{1-\frac{2}{p}})$ in terms of calls to a first-order oracle, thereby allowing us to circumvent long-standing barriers in accelerated non-Euclidean steepest descent.
Abstract（参考訳）: 非ユークリッド滑らか性仮定の下での凸最適化のための新しい高速化一階法を提案する。標準加速度法とは対照的に,本手法では,異なるノルムに対して一次二重反復列を用いて,暗黙的に決定された補間パラメータを用いて結合する。 $d$次元における$\ell_p$ノルムのスムーズな問題に対して、我々の手法は、一階のオラクルへの呼び出しの観点から、最大$O(d^{1-\frac{2}{p}})$の反復複雑性の改善を提供する。

関連論文リスト

Methods for Convex $(L_0,L_1)$-Smooth Optimization: Clipping, Acceleration, and Adaptivity [50.25258834153574]
我々は、(強に)凸 $(L0)$-smooth 関数のクラスに焦点を当て、いくつかの既存のメソッドに対する新しい収束保証を導出する。特に,スムーズなグラディエント・クリッピングを有するグラディエント・ディフレッシュと,ポリアク・ステップサイズを有するグラディエント・ディフレッシュのコンバージェンス・レートの改善を導出した。
論文参考訳（メタデータ） (2024-09-23T13:11:37Z)
First-Order Methods for Linearly Constrained Bilevel Optimization [38.19659447295665]
本稿では,高次ヘッセン計算に対する一階線形制約最適化手法を提案する。線形不等式制約に対しては、$widetildeO(ddelta-1 epsilon-3)$ gradient oracle callにおいて$(delta,epsilon)$-Goldstein固定性を得る。
論文参考訳（メタデータ） (2024-06-18T16:41:21Z)
Strictly Low Rank Constraint Optimization -- An Asymptotically $\mathcal{O}(\frac{1}{t^2})$ Method [5.770309971945476]
最適解における空間性を促進するために,テキスト規則化を用いた非テキスト・非滑らかな問題のクラスを提案する。我々のアルゴリズムは、滑らかな凸問題に対する一階法に対するネステロフの最適収束と全く同じ$Ofrac(t2)$の特異収束を達成することができることを示す。
論文参考訳（メタデータ） (2023-07-04T16:55:41Z)
Accelerated Quasi-Newton Proximal Extragradient: Faster Rate for Smooth Convex Optimization [26.328847475942894]
我々は,本手法が$Obigl(minfrac1k2, fracsqrtdlog kk2.5bigr)$の収束率を達成できることを証明した。我々の知る限りでは、この結果はネステロフの加速勾配に対する準ニュートン型法の証明可能な利得を示す最初のものである。
論文参考訳（メタデータ） (2023-06-03T23:31:27Z)
Accelerated First-Order Optimization under Nonlinear Constraints [73.2273449996098]
我々は、制約付き最適化のための一階アルゴリズムと非滑らかなシステムの間で、新しい一階アルゴリズムのクラスを設計する。これらのアルゴリズムの重要な性質は、制約がスパース変数の代わりに速度で表されることである。
論文参考訳（メタデータ） (2023-02-01T08:50:48Z)
Extra-Newton: A First Approach to Noise-Adaptive Accelerated Second-Order Methods [57.050204432302195]
本研究では,2次スムーズな凸関数を最小化するための普遍的かつ適応的な2次法を提案する。我々のアルゴリズムは、オラクルフィードバックが分散$sigma2$であるときに$O(sigma / sqrtT)$収束を達成し、決定論的オラクルで$O(1 / T3)$に収束を改善する。
論文参考訳（メタデータ） (2022-11-03T14:12:51Z)
Explicit Second-Order Min-Max Optimization Methods with Optimal Convergence Guarantee [86.05440220344755]
我々は,非制約のmin-max最適化問題のグローバルなサドル点を求めるために,不正確な正規化ニュートン型手法を提案し,解析する。提案手法は有界集合内に留まるイテレートを生成し、その反復は制限関数の項で$O(epsilon-2/3)$内の$epsilon$-saddle点に収束することを示す。
論文参考訳（メタデータ） (2022-10-23T21:24:37Z)
Alternating Differentiation for Optimization Layers [133.2668019610731]
そこで我々は,最適化問題を識別するAlternating Differentiation (Alt-Diff) という新しいフレームワークを開発した。 Alt-Diff はヤコビ行列の次元を特に大規模制約のある最適化のために著しく減少させることを示す。また,Alt-Diffを切断して計算速度をさらに高速化することを提案する。
論文参考訳（メタデータ） (2022-10-03T11:32:13Z)
Accelerated SGD for Non-Strongly-Convex Least Squares [14.010916616909743]
非強凸設定における最小二乗回帰問題の近似を考察する。本稿では,問題のノイズに依存して最適な予測誤差率を実現するための,最初の実用的なアルゴリズムを提案する。
論文参考訳（メタデータ） (2022-03-03T14:39:33Z)
Convergence of adaptive algorithms for weakly convex constrained optimization [59.36386973876765]
モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
論文参考訳（メタデータ） (2020-06-11T17:43:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。