論文の概要: A Class of Accelerated Fixed-Point-Based Methods with Delayed Inexact Oracles and Its Applications

• arxiv url: http://arxiv.org/abs/2512.13547v1
• Date: Mon, 15 Dec 2025 17:06:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-16 17:54:56.769854
• Title: A Class of Accelerated Fixed-Point-Based Methods with Delayed Inexact Oracles and Its Applications
• Title（参考訳）: 遅延不正確なOracleを用いた高速化固定点法とその応用
• Authors: Nghia Nguyen-Trung, Quoc Tran-Dinh,
• Abstract要約: 我々は,非拡張作用素の固定点を近似するために,遅延不正確なオラクルを用いた固定点ベースのフレームワークを開発する。 本手法はネステロフ加速法とクラスノセル・スキーマン(KM)反復法の両方を利用する。
• 参考スコア（独自算出の注目度）: 3.6997773420183866
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we develop a novel accelerated fixed-point-based framework using delayed inexact oracles to approximate a fixed point of a nonexpansive operator (or equivalently, a root of a co-coercive operator), a central problem in scientific computing. Our approach leverages both Nesterov's acceleration technique and the Krasnosel'skii-Mann (KM) iteration, while accounting for delayed inexact oracles, a key mechanism in asynchronous algorithms. We also introduce a unified approximate error condition for delayed inexact oracles, which can cover various practical scenarios. Under mild conditions and appropriate parameter updates, we establish both $\mathcal{O}(1/k^2)$ non-asymptotic and $o(1/k^2)$ asymptotic convergence rates in expectation for the squared norm of residual. Our rate significantly improves the $\mathcal{O}(1/k)$ rates in classical KM-type methods, including their asynchronous variants. We also establish $o(1/k^2)$ almost sure convergence rates and the almost sure convergence of iterates to a solution of the problem. Within our framework, we instantiate three settings for the underlying operator: (i) a deterministic universal delayed oracle; (ii) a stochastic delayed oracle; and (iii) a finite-sum structure with asynchronous updates. For each case, we instantiate our framework to obtain a concrete algorithmic variant for which our convergence results still apply, and whose iteration complexity depends linearly on the maximum delay. Finally, we verify our algorithms and theoretical results through two numerical examples on both matrix game and shallow neural network training problems.
• Abstract（参考訳）: 本稿では,非拡張演算子の固定点を近似するために,非拡張演算子の固定点を近似するために,遅延オラクルを用いた新しい高速化固定点ベースのフレームワークを開発する。 提案手法では,Nesterov の高速化手法と Krasnosel'skii-Mann (KM) の反復を併用する。 また, 様々なシナリオをカバーできる, 遅延不正確なオラクルに対して, 近似誤差条件を統一的に導入する。 穏やかな条件と適切なパラメータの更新の下では、残余の平方ノルムを期待して、$\mathcal{O}(1/k^2)$非漸近的および$o(1/k^2)$非漸近的収束率の両方を確立する。 我々のレートは、従来のKM型メソッドの$\mathcal{O}(1/k)$レートを大幅に改善します。 また、$o(1/k^2)$ほぼ確実に収束率を確立し、問題の解に反復的に収束する。 フレームワーク内では、下層のオペレータの3つの設定をインスタンス化する。 一 決定論的普遍遅滞オラクル (二 確率的に遅れた託宣 (iii)非同期更新付き有限サム構造 それぞれのケースに対して、我々のフレームワークをインスタンス化し、我々の収束結果がまだ適用され、そのイテレーションの複雑さは最大遅延に線形に依存する具体的なアルゴリズム的変種を得る。 最後に,行列ゲームと浅層ニューラルネットワークのトレーニング問題における2つの数値例を用いて,アルゴリズムと理論的結果を検証する。

関連論文リスト

• VFOG: Variance-Reduced Fast Optimistic Gradient Methods for a Class of Nonmonotone Generalized Equations [3.6997773420183866]
  我々は,Nesterovの加速度と分散還元技術を組み合わせた,新しい楽観的勾配型アルゴリズムフレームワークを開発した。 この手法はリプシッツ連続性の下で残余の平方ノルムを期待して$mathcalO (1/k2)$収束率を達成することを示す。 提案手法の反復列は根本問題の解にほぼ確実に収束することを示す。
  論文  参考訳（メタデータ） (2025-08-22T20:46:29Z)
• Variance-Reduced Fast Operator Splitting Methods for Generalized Equations [8.0153031008486]
  一般化方程式のクラスの解を近似する2つの分散還元高速演算子分割法を開発した。 提案手法は, 加速演算子分割法, 固定点法, 共高調波性, 分散低減の最近の進歩を取り入れたものである。
  論文  参考訳（メタデータ） (2025-04-17T16:02:20Z)
• A Stochastic Approximation Approach for Efficient Decentralized Optimization on Random Networks [21.66341372216097]
  分散最適化における課題は、信頼できない帯域制限通信網の下でランダム時間トポロジに高速収束したアルゴリズムを開発することである。 本稿では,FSPDA(Fully Primal Dual Algorithm)フレームワークを用いた新しい近似手法を提案する。 数値実験は、FSPDAアルゴリズムの利点を示している。
  論文  参考訳（メタデータ） (2024-10-24T14:26:58Z)
• Fast Nonlinear Two-Time-Scale Stochastic Approximation: Achieving $O(1/k)$ Finite-Sample Complexity [2.5382095320488665]
  本稿では,2つの結合非線形作用素の根を探すために,2時間スケールのモノトン近似の新しい変種を開発することを提案する。 私たちのキーとなるアイデアは、古典的なRuppert-Polyak平均化技術を活用して、それらのサンプルを通して演算子を動的に推定することです。 これらの平均ステップの見積値は、望まれる解を見つけるために、2時間スケールの近似更新で使用される。
  論文  参考訳（メタデータ） (2024-01-23T13:44:15Z)
• Stochastic Optimization for Non-convex Problem with Inexact Hessian Matrix, Gradient, and Function [99.31457740916815]
  信頼領域(TR)と立方体を用いた適応正則化は、非常に魅力的な理論的性質を持つことが証明されている。 TR法とARC法はヘッセン関数,勾配関数,関数値の非コンパクトな計算を同時に行うことができることを示す。
  論文  参考訳（メタデータ） (2023-10-18T10:29:58Z)
• Towards Understanding the Generalizability of Delayed Stochastic Gradient Descent [63.43247232708004]
  非同期で実行される勾配降下は、大規模機械学習モデルのトレーニングにおいて重要な役割を果たす。 既存の一般化誤差境界は悲観的であり、非同期遅延と一般化の相関を明らかにすることはできない。 我々の理論的結果は、非同期遅延は遅延SGDアルゴリズムの一般化誤差を低減することを示唆している。
  論文  参考訳（メタデータ） (2023-08-18T10:00:27Z)
• Explicit Second-Order Min-Max Optimization: Practical Algorithms and Complexity Analysis [71.05708939639537]
  本研究では,非制約問題に対するグローバルなサドル点を求めるために,不正確なNewton型手法をいくつか提案し,解析する。 提案手法は,Sur分解の必要回数の$O(log(1/eps)$因子をシェービングすることで,既存のライン検索に基づくmin-max最適化を改善する。
  論文  参考訳（メタデータ） (2022-10-23T21:24:37Z)
• Accelerated and instance-optimal policy evaluation with linear function approximation [17.995515643150657]
  既存のアルゴリズムはこれらの下界の少なくとも1つと一致しない。 我々は,両下界を同時に一致させる高速時間差分アルゴリズムを開発し,インスタンス最適性という強い概念を実現する。
  論文  参考訳（メタデータ） (2021-12-24T17:21:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。