論文の概要: Accelerated and Stable Convergence with Anchored Optimistic Method
- arxiv url: http://arxiv.org/abs/2606.21528v1
- Date: Fri, 19 Jun 2026 15:26:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-25 12:53:03.659715
- Title: Accelerated and Stable Convergence with Anchored Optimistic Method
- Title（参考訳）: Anchored Optimistic Method による加速度収束と安定収束
- Authors: Motahareh Sohrabi, Jianxin You, Simon Lacoste-Julien, Eduard Gorbunov, Gauthier Gidel,
- Abstract要約: min-max最適化における単調変分不等式の一次解法について検討した。
本稿では,2段階の楽観的更新とHalpern反復にインスパイアされたアンカリング項を組み合わせた一般化最適化手法(GOMA)のファミリーを提案する。
- 参考スコア（独自算出の注目度）: 39.242061448272615
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study first-order methods for solving monotone variational inequalities arising in min-max optimization. Classical approaches such as the extragradient method rely on two gradient queries per iteration, which limits their analysis and applicability in the online and stochastic settings. We propose a family of Generalized Optimistic Methods with Anchoring (GOMA), which combine two-time-scale optimistic updates with an anchoring term inspired by Halpern iteration. In the deterministic setting, GOMA achieves the optimal accelerated last-iterate rate $O(1/k^2)$ on the squared gradient norm for monotone Lipschitz operators. In the stochastic setting with unbounded variance, a simplified single-call variant of GOMA achieves a last-iterate convergence rate of $O(1/\sqrt{k})$ on the squared gradient norm. To the best of our knowledge, this is the first such guarantee for stochastic monotone Lipschitz variational inequalities in the unconstrained setting without variance reduction or growing batches.
- Abstract（参考訳）: min-max最適化における単調変分不等式の一次解法について検討した。
過度な手法のような古典的なアプローチは、反復ごとに2つの勾配クエリに依存しており、オンラインおよび確率的な設定における解析と適用性を制限する。
本稿では,2段階の楽観的更新とHalpern反復にインスパイアされたアンカリング項を組み合わせた一般化最適化手法(GOMA)のファミリーを提案する。
決定論的設定において、GOMA は単調リプシッツ作用素の2乗勾配ノルム上で、最適に加速された最終定値率 $O(1/k^2)$ を達成する。
有界な分散を伴う確率的設定において、GOMA の単純化された単呼変種は、二乗勾配ノルム上での O(1/\sqrt{k})$ の最終的な収束率を達成する。
我々の知る限り、これは確率的単調リプシッツ変分不等式に対する初めての保証であり、ばらつきの低減やバッチの増大を伴わない。
関連論文リスト
- OptMuon: Closed-Loop Orthogonalized Momentum Methods for Stochastic Optimization with Zero-Noise Optimality [23.28384210732827]
閉ループスカラー運動量を示す。
最適化はムオン型運動量と組み合わせることができる。
雑音適応性とゼロノイズ最適性を対数因子まで保ちながら最適化する。
これらの結果は,OptMuon-Aがノイズレートを達成することを示す。
(T-1/2+1/2T-1/2)を平均滑らかに、OptMuon-Iをノイズレートとする。
(T-1/2+)
論文 参考訳（メタデータ） (2026-06-07T18:59:24Z) - Stochastic Auto-conditioned Fast Gradient Methods with Optimal Rates [3.083659340977661]
本稿では,AC-FGMと呼ばれる自動条件付高速勾配法の変種を提案する。
提案手法はリプシッツ定数,地平線,騒音レベルに完全に適応し,適応的なステップサイズ選択と適応的なミニバッチサイズをライン探索なしで実現できる。
論文 参考訳（メタデータ） (2026-04-07T23:43:48Z) - OptEMA: Adaptive Exponential Moving Average for Stochastic Optimization with Zero-Noise Optimality [23.28384210732827]
我々はOptEMAを導入し、OptEMA-MとOptEMA-Vの2つの新しい変種を分析した。
OptEMA は閉ループであり、その実効的な階段化は軌道依存であり、パラメータ化にリプシッツ定数を必要としないという意味でリプシッツ自由である。
どちらの変種も平均勾配ノルムに対して$widetildemathcalO(T-1/2+1/2 T-1/4)$の雑音適応収束率を得る。
論文 参考訳（メタデータ） (2026-03-10T17:19:54Z) - Methods for Convex $(L_0,L_1)$-Smooth Optimization: Clipping, Acceleration, and Adaptivity [50.25258834153574]
我々は、(強に)凸 $(L0)$-smooth 関数のクラスに焦点を当て、いくつかの既存のメソッドに対する新しい収束保証を導出する。
特に,スムーズなグラディエント・クリッピングを有するグラディエント・ディフレッシュと,ポリアク・ステップサイズを有するグラディエント・ディフレッシュのコンバージェンス・レートの改善を導出した。
論文 参考訳（メタデータ） (2024-09-23T13:11:37Z) - Nesterov Meets Optimism: Rate-Optimal Separable Minimax Optimization [108.35402316802765]
本稿では,新しい一階最適化アルゴリズムであるAcceleratedGradient-OptimisticGradient (AG-OG) Ascentを提案する。
我々はAG-OGが様々な設定に対して最適収束率(定数まで)を達成することを示す。
アルゴリズムを拡張して設定を拡張し、bi-SC-SCとbi-C-SCの両方で最適な収束率を達成する。
論文 参考訳（メタデータ） (2022-10-31T17:59:29Z) - Accelerated Single-Call Methods for Constrained Min-Max Optimization [5.266784779001398]
既存の方法は、各イテレーションで2つのグラデーションコールか2つのプロジェクションを必要とする。
本稿では,RGOG(Optimistic Gradient)の変種が,非可換な min-max 収束率問題に富むことを示した。
私たちの収束率は、自然や自然のような標準の尺度に当てはまる。
論文 参考訳（メタデータ） (2022-10-06T17:50:42Z) - Optimal Extragradient-Based Bilinearly-Coupled Saddle-Point Optimization [116.89941263390769]
滑らかな凸凹凸結合型サドル点問題, $min_mathbfxmax_mathbfyF(mathbfx) + H(mathbfx,mathbfy)$ を考える。
漸進的勾配指数(AG-EG)降下指数アルゴリズムについて述べる。
論文 参考訳（メタデータ） (2022-06-17T06:10:20Z) - Unified Convergence Analysis for Adaptive Optimization with Moving Average Estimator [75.05106948314956]
1次モーメントに対する大きな運動量パラメータの増大は適応的スケーリングに十分であることを示す。
また,段階的に減少するステップサイズに応じて,段階的に運動量を増加させるための洞察を与える。
論文 参考訳（メタデータ） (2021-04-30T08:50:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。