論文の概要: Improving the Last-Iterate Guarantees of Anytime Algorithms for Stochastic Monotone Variational Inequalities
- arxiv url: http://arxiv.org/abs/2609.15257v1
- Date: Mon, 14 Sep 2026 09:17:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:06.204556
- Title: Improving the Last-Iterate Guarantees of Anytime Algorithms for Stochastic Monotone Variational Inequalities
- Title(参考訳): 確率的単調変分不等式に対する任意のアルゴリズムの終値保証の改善
- Abstract要約: このアルゴリズムは、各イテレーションで演算子の1つのバイアスのないサンプルを使用し、ノイズのあるフィードバックでモノトーンゲームに適用できるため、シングルループでシングルコールである。
我々は、勾配マッピングノルムと制限されたギャップの両方に対して、いつでも$O(t-1/4)$の定数収束率を証明した。
- 参考スコア(独自算出の注目度): 8.350639529216876
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We analyze a stochastic algorithm with Halpern anchoring for constrained convex-concave problems and monotone variational inequalities. This algorithm is single-loop and single-call since it uses one unbiased sample of the gradient operator at every iteration to be applicable to monotone games with noisy feedback. With $t$ denoting the iteration counter, we prove the anytime last-iterate convergence rate of $O(t^{-1/4})$ for both gradient-mapping norm and restricted gap, improving the best-known rate $O(t^{-1/5})$ that was obtained for the restricted gap function. Our rates cover constrained problems with a potentially unbounded feasible set as well as a structured class of stochastic oracles without a bounded variance.
- Abstract(参考訳): 我々は,制約付き凸凹問題と単調変分不等式に対するハルパーンアンカーを用いた確率的アルゴリズムを解析した。
このアルゴリズムは、各イテレーションで勾配演算子の非バイアスのサンプルを1つ使って、ノイズのあるフィードバックでモノトーンゲームに適用するため、シングルループかつシングルコールである。
反復カウンタを示す$t$では、勾配行列ノルムと制限ギャップの両方に対して、任意の時点における最終点収束率$O(t^{-1/4})$を証明し、制限ギャップ関数に対して得られた最もよく知られた$O(t^{-1/5})$を改善する。
我々のレートは、潜在的に有界な実現可能な集合と、有界な分散を持たない確率的オラクルの構造クラスとの制約された問題をカバーしている。
関連論文リスト
- Accelerated and Stable Convergence with Anchored Optimistic Method [39.242061448272615]
min-max最適化における単調変分不等式の一次解法について検討した。
本稿では,2段階の楽観的更新とHalpern反復にインスパイアされたアンカリング項を組み合わせた一般化最適化手法(GOMA)のファミリーを提案する。
論文 参考訳(メタデータ) (2026-06-19T15:26:10Z) - Convergence Rate of the Last Iterate of Stochastic Proximal Algorithms [8.636513507553504]
加算合成凸最適化問題を解くための2つの古典的アルゴリズムを解析する。
我々は、最後の反復収束率を得るために、一般的だが厳密な有界分散仮定に焦点を当てる。
本結果は,複数タスクおよびフェデレーション学習において発生するグラフ誘導正規化器に直接適用し,協調グラフのエッジ上の和として正規化器を分解する。
論文 参考訳(メタデータ) (2026-02-05T09:50:06Z) - Stochastic Smoothed Primal-Dual Algorithms for Nonconvex Optimization with Linear Inequality Constraints [12.624604051853657]
線形不等式制約を用いた非コンパクト最適化問題に対するスムーズな原始双対アルゴリズムを提案する。
我々のアルゴリズムは、各サンプルの1つの勾配に基づいて、シングルループの反復である。
既存の手法とは異なり、我々のアルゴリズムは自由なサブ、大きなサイズ、パラメータの増加であり、実現可能性を保証するためにデュアル変数更新を使用する。
論文 参考訳(メタデータ) (2025-04-10T09:59:43Z) - Breaking the Heavy-Tailed Noise Barrier in Stochastic Optimization Problems [56.86067111855056]
構造密度の重み付き雑音によるクリップ最適化問題を考察する。
勾配が有限の順序モーメントを持つとき、$mathcalO(K-(alpha - 1)/alpha)$よりも高速な収束率が得られることを示す。
得られた推定値が無視可能なバイアスと制御可能な分散を持つことを示す。
論文 参考訳(メタデータ) (2023-11-07T17:39:17Z) - Strictly Low Rank Constraint Optimization -- An Asymptotically
$\mathcal{O}(\frac{1}{t^2})$ Method [5.770309971945476]
最適解における空間性を促進するために,テキスト規則化を用いた非テキスト・非滑らかな問題のクラスを提案する。
我々のアルゴリズムは、滑らかな凸問題に対する一階法に対するネステロフの最適収束と全く同じ$Ofrac(t2)$の特異収束を達成することができることを示す。
論文 参考訳(メタデータ) (2023-07-04T16:55:41Z) - High-Probability Bounds for Stochastic Optimization and Variational
Inequalities: the Case of Unbounded Variance [59.211456992422136]
制約の少ない仮定の下で高確率収束結果のアルゴリズムを提案する。
これらの結果は、標準機能クラスに適合しない問題を最適化するために検討された手法の使用を正当化する。
論文 参考訳(メタデータ) (2023-02-02T10:37:23Z) - Multi-block-Single-probe Variance Reduced Estimator for Coupled
Compositional Optimization [49.58290066287418]
構成問題の複雑さを軽減するために,MSVR (Multi-block-probe Variance Reduced) という新しい手法を提案する。
本研究の結果は, 試料の複雑さの順序や強靭性への依存など, 様々な面で先行して改善された。
論文 参考訳(メタデータ) (2022-07-18T12:03:26Z) - Optimal Extragradient-Based Bilinearly-Coupled Saddle-Point Optimization [116.89941263390769]
滑らかな凸凹凸結合型サドル点問題, $min_mathbfxmax_mathbfyF(mathbfx) + H(mathbfx,mathbfy)$ を考える。
漸進的勾配指数(AG-EG)降下指数アルゴリズムについて述べる。
論文 参考訳(メタデータ) (2022-06-17T06:10:20Z) - A gradient estimator via L1-randomization for online zero-order
optimization with two point feedback [93.57603470949266]
2つの関数評価とランダム化に基づく新しい勾配推定器を提案する。
ゼロ次オラクルの雑音に対する仮定は,ノイズのキャンセルと逆方向雑音の2種類について考察する。
我々は、問題の全てのパラメータに適応する、いつでも完全にデータ駆動のアルゴリズムを提供する。
論文 参考訳(メタデータ) (2022-05-27T11:23:57Z) - A Stochastic Halpern Iteration with Variance Reduction for Stochastic
Monotone Inclusion Problems [17.597000481404883]
機械学習アプリケーションで広く見られるモノトーン包摂問題について検討する。
我々のアルゴリズムは、$mathcalO(frac1epsilon3)$演算子の評価で演算子に$epsilon$ノルムを得る。
論文 参考訳(メタデータ) (2022-03-17T16:48:57Z) - Accelerated SGD for Non-Strongly-Convex Least Squares [14.010916616909743]
非強凸設定における最小二乗回帰問題の近似を考察する。
本稿では,問題のノイズに依存して最適な予測誤差率を実現するための,最初の実用的なアルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-03-03T14:39:33Z) - High-probability Bounds for Non-Convex Stochastic Optimization with
Heavy Tails [55.561406656549686]
我々は、勾配推定が末尾を持つ可能性のある一階アルゴリズムを用いたヒルベルト非最適化を考える。
本研究では, 勾配, 運動量, 正規化勾配勾配の収束を高確率臨界点に収束させることと, 円滑な損失に対する最もよく知られた繰り返しを示す。
論文 参考訳(メタデータ) (2021-06-28T00:17:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。