論文の概要: VFOG: Variance-Reduced Fast Optimistic Gradient Methods for a Class of Nonmonotone Generalized Equations

• arxiv url: http://arxiv.org/abs/2508.16791v1
• Date: Fri, 22 Aug 2025 20:46:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-26 18:43:45.181304
• Title: VFOG: Variance-Reduced Fast Optimistic Gradient Methods for a Class of Nonmonotone Generalized Equations
• Title（参考訳）: VFOG:非単調一般化方程式の変数誘導高速最適勾配法
• Authors: Quoc Tran-Dinh, Nghia Nguyen-Trung,
• Abstract要約: 我々は,Nesterovの加速度と分散還元技術を組み合わせた,新しい楽観的勾配型アルゴリズムフレームワークを開発した。 この手法はリプシッツ連続性の下で残余の平方ノルムを期待して$mathcalO (1/k2)$収束率を達成することを示す。 提案手法の反復列は根本問題の解にほぼ確実に収束することを示す。
• 参考スコア（独自算出の注目度）: 3.6997773420183866
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We develop a novel optimistic gradient-type algorithmic framework, combining both Nesterov's acceleration and variance-reduction techniques, to solve a class of generalized equations involving possibly nonmonotone operators in data-driven applications. Our framework covers a wide class of stochastic variance-reduced schemes, including mini-batching, and control variate unbiased and biased estimators. We establish that our method achieves $\mathcal{O}(1/k^2)$ convergence rates in expectation on the squared norm of residual under the Lipschitz continuity and a ``co-hypomonotonicity-type'' assumptions, improving upon non-accelerated counterparts by a factor of $1/k$. We also prove faster $o(1/k^2)$ convergence rates, both in expectation and almost surely. In addition, we show that the sequence of iterates of our method almost surely converges to a solution of the underlying problem. We demonstrate the applicability of our method using general error bound criteria, covering mini-batch stochastic estimators as well as three well-known control variate estimators: loopless SVRG, SAGA, and loopless SARAH, for which the last three variants attain significantly better oracle complexity compared to existing methods. We validate our framework and theoretical results through two numerical examples. The preliminary results illustrate promising performance of our accelerated method over its non-accelerated counterparts.
• Abstract（参考訳）: 我々はNesterovの加速度法と分散還元法を組み合わせた新しい楽観的勾配型アルゴリズムフレームワークを開発し、データ駆動型アプリケーションにおける非単調な演算子を含む一般化方程式のクラスを解く。 筆者らのフレームワークは,小バッチ化を含む確率的分散還元スキームの多種多様を網羅し,偏バイアス・偏差推定器の制御を行う。 我々は、リプシッツ連続性の下で残余の平方ノルムと 'co-hypomonotonicity-type' の仮定を期待して$\mathcal{O}(1/k^2)$収束率を達成し、1/k$の係数で非加速値に改善することを確立する。 また、予想とほぼ確実に、より高速な$o(1/k^2)$収束率も証明する。 さらに,本手法の反復列は根本問題の解にほぼ確実に収束することを示す。 提案手法の適用性は, 一般的な誤差境界基準, ミニバッチ確率推定器, 3つのよく知られた制御変数推定器(ループレスSVRG, SAGA, ループレスSARAH)を用いて検証した。 2つの数値的な例を通して、我々の枠組みと理論的結果を検証する。 予備的な結果から,加速法が加速しない手法よりも有望な性能を示す。

関連論文リスト

• Revisiting Convergence: Shuffling Complexity Beyond Lipschitz Smoothness [50.78508362183774]
  シャッフル型勾配法はその単純さと迅速な経験的性能のために実践的に好まれる。 リプシッツ条件は一般的な機械学習スキームでは満たされないことが多い。
  論文  参考訳（メタデータ） (2025-07-11T15:36:48Z)
• Variance-Reduced Fast Operator Splitting Methods for Generalized Equations [8.0153031008486]
  一般化方程式のクラスの解を近似する2つの分散還元高速演算子分割法を開発した。 提案手法は, 加速演算子分割法, 固定点法, 共高調波性, 分散低減の最近の進歩を取り入れたものである。
  論文  参考訳（メタデータ） (2025-04-17T16:02:20Z)
• Achieving $\widetilde{\mathcal{O}}(\sqrt{T})$ Regret in Average-Reward POMDPs with Known Observation Models [56.92178753201331]
  平均逆無限水平POMDPを未知の遷移モデルで扱う。 この障壁を克服する斬新でシンプルな推定器を提示する。
  論文  参考訳（メタデータ） (2025-01-30T22:29:41Z)
• Accelerated Extragradient-Type Methods -- Part 2: Generalization and Sublinear Convergence Rates under Co-Hypomonotonicity [6.78476672849813]
  本稿では,アンカード・エクストラグラディエントとネステロフのアクセルド・エクストラグラディエントという,2種類のエクストラグラディエント・ベースの手法について検討する。 我々は、より広い範囲のスキームにモノトン包摂を包含するアンカー付き指数関数のクラスを統一し、一般化する。 我々は、包含性を解決するために、Nesterovの高速化された指数関数の新たなクラスを提案する。
  論文  参考訳（メタデータ） (2025-01-08T16:06:15Z)
• A Unified Theory of Stochastic Proximal Point Methods without Smoothness [52.30944052987393]
  近点法はその数値的安定性と不完全なチューニングに対する頑健性からかなりの関心を集めている。 本稿では,近位点法(SPPM)の幅広いバリエーションの包括的解析について述べる。
  論文  参考訳（メタデータ） (2024-05-24T21:09:19Z)
• A Primal-Dual Approach to Solving Variational Inequalities with General Constraints [54.62996442406718]
  Yang et al. (2023) は最近、一般的な変分不等式を解決するために一階勾配法を使う方法を示した。 この方法の収束性を証明し、演算子が$L$-Lipschitz と monotone である場合、この手法の最後の繰り返しのギャップ関数が$O(frac1sqrtK)$で減少することを示す。
  論文  参考訳（メタデータ） (2022-10-27T17:59:09Z)
• Faster One-Sample Stochastic Conditional Gradient Method for Composite Convex Minimization [61.26619639722804]
  滑らかで非滑らかな項の和として形成される凸有限サム目標を最小化するための条件勾配法(CGM)を提案する。 提案手法は, 平均勾配 (SAG) 推定器を備え, 1回に1回のサンプルしか必要としないが, より高度な分散低減技術と同等の高速収束速度を保証できる。
  論文  参考訳（メタデータ） (2022-02-26T19:10:48Z)
• On the Convergence of Stochastic Extragradient for Bilinear Games with Restarted Iteration Averaging [96.13485146617322]
  本稿では, ステップサイズが一定であるSEG法の解析を行い, 良好な収束をもたらす手法のバリエーションを示す。 平均化で拡張した場合、SEGはナッシュ平衡に確実に収束し、スケジュールされた再起動手順を組み込むことで、その速度が確実に加速されることを証明した。
  論文  参考訳（メタデータ） (2021-06-30T17:51:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。