論文の概要: Variance Reduction with Delayed Feedback for Non-Convex Optimization

• arxiv url: http://arxiv.org/abs/2610.28510v1
• Date: Tue, 20 Oct 2026 16:48:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.935723
• Title: Variance Reduction with Delayed Feedback for Non-Convex Optimization
• Title（参考訳）: 非凸最適化のための遅延フィードバックによるばらつき低減
• Abstract要約: 評価が遅れて戻ると、非段階最適化のばらつきを低減できることが示される。 また、最大重み付き遅延を、欠落したフィードバックの量で置き換えます。
• 参考スコア（独自算出の注目度）: 29.11157069584259
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study variance reduction for non-convex optimization when gradient evaluations return with a delay. The server can update the parameter while earlier evaluations remain unfinished. We first analyze an ordered recursive momentum estimator for stochastic optimization. Under average smoothness and bounded variance, its oracle complexity is $O(1+σ^2ε^{-2}+LΔ_f(1+σ/ε+τ)ε^{-2})$, where the target is an expected squared gradient norm of at most $ε^2$ and $τ$ bounds the feedback delay. We next study finite sums with $n$ components and obtain $O(n+LΔ_f(\sqrt n+\min\{τ,n-1\})ε^{-2})$ evaluations. An asynchronous snapshot variant continues updating during full-gradient computations under an explicit bound on their completion time. For the stochastic method, we further replace a maximum-delay bound by a bound on the weighted amount of missing feedback.
• Abstract（参考訳）: 本研究では,非凸最適化における勾配評価が遅延とともに戻る場合の分散化について検討する。 サーバはパラメータを更新できるが、以前の評価は未完成のままである。 まず、確率最適化のための順序付き再帰運動量推定器を解析する。 平均滑らかさと有界分散の下では、そのオラクルの複雑さは$O(1+σ^2ε^{-2}+LΔ_f(1+σ/ε+τ)ε^{-2})$であり、ターゲットは最大で$ε^2$、$τ$の2乗勾配ノルムである。 次に、$n$成分の有限和を研究し、$O(n+LΔ_f(\sqrt n+\min\{τ,n-1\})ε^{-2})$評価を得る。 非同期スナップショットの変種は、完了時間に明示的なバウンダリの下で、フルグレードの計算中に更新を継続する。 確率的手法では、不足したフィードバックの重み付け量による最大遅延境界をさらに置き換える。

関連論文リスト

• Last-Iterate Convergence Rate of Normalized Gradient Descent under Hölder Smoothness [19.54293832549439]
  凸, $(,M_)$-Hlder-smooth 目的に対する正規化勾配勾配勾配の最終定値収束について検討した。 線形に減少するステップサイズは$mathcalObigl(T-(1+)/2bigr)$で、最良値/重み付き平均値の順序に一致する。
  論文  参考訳（メタデータ） (2026-10-05T10:04:34Z)
• Convergence Analysis of STORM Under Different Geometries [54.00747543528431]
  分散低減効果により,STORMは非最適化のための高速収束を実現することを示す。 すべての結果は同じです。 同じ選択をしました
  論文  参考訳（メタデータ） (2026-10-01T12:46:42Z)
• Parameter-Free Interval-Dynamic Regret under Heavy-Tailed Noise [55.29259818039367]
  オンライン凸最適化を1ラウンドに1つの偏りのない下位段階と、未知の有限条件の雑音モーメントであるp$th, $1ple2$で検討する。 長さ$n$の固定区間$I$に対して、学習者は最適な全水平静的レートを含む1+log(T/n)$を達成する。
  論文  参考訳（メタデータ） (2026-09-30T21:03:03Z)
• Online Covariance Estimation in Averaged SGD: Improved Batch-Mean Rates and Minimax Optimality via Trajectory Regression [12.805268849262243]
  我々はPolyak-Ruppert averaged gradient descent (SGD)のオンライン共分散行列推定について検討した。 この構造は、このボトルネックがSGDドリフトからヘッセンの情報をサブ線形に蓄積していることを明らかにする。
  論文  参考訳（メタデータ） (2026-04-12T20:49:33Z)
• A Reduction from Delayed to Immediate Feedback for Online Convex Optimization with Improved Guarantees [58.59385794080679]
  本稿では,後悔を遅延非依存の学習項と遅延誘発のドリフト項に分解する連続時間モデルを提案する。 バンディット凸最適化では,最先端の1次数に適合する遅延依存項を用いて,既存の残差境界を大幅に改善する。
  論文  参考訳（メタデータ） (2026-02-02T18:17:34Z)
• Fast Last-Iterate Convergence of SGD in the Smooth Interpolation Regime [26.711510824243803]
  本研究では, 最適騒音が0または0に近い政権において, 円滑な凸目標に対する勾配降下(SGD)の集団収束保証について検討した。 十分に調整されたステップサイズでは、最後の繰り返しに対してほぼ最適な$widetildeO (1/T + sigma_star/sqrtT)$レートを得る。
  論文  参考訳（メタデータ） (2025-07-15T12:52:47Z)
• Sharper Convergence Guarantees for Asynchronous SGD for Distributed and Federated Learning [77.22019100456595]
  通信周波数の異なる分散計算作業者のトレーニングアルゴリズムを示す。 本研究では,より厳密な収束率を$mathcalO!!(sigma2-2_avg!)とする。 また,不均一性の項は,作業者の平均遅延によっても影響されることを示した。
  論文  参考訳（メタデータ） (2022-06-16T17:10:57Z)
• Asynchronous Stochastic Optimization Robust to Arbitrary Delays [54.61797739710608]
  遅延勾配の最適化を考えると、ステップt$毎に、アルゴリズムは古い計算を使って更新する - d_t$ for arbitrary delay $d_t gradient。 本実験は,遅延分布が歪んだり重くなったりした場合のアルゴリズムの有効性とロバスト性を示す。
  論文  参考訳（メタデータ） (2021-06-22T15:50:45Z)
• A Simple Convergence Proof of Adam and Adagrad [74.24716715922759]
  我々はAdam Adagradと$O(d(N)/st)$アルゴリズムの収束の証明を示す。 Adamはデフォルトパラメータで使用する場合と同じ収束$O(d(N)/st)$で収束する。
  論文  参考訳（メタデータ） (2020-03-05T01:56:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。