論文の概要: Convergence Rate of the Last Iterate of Stochastic Proximal Algorithms

• arxiv url: http://arxiv.org/abs/2602.05489v1
• Date: Thu, 05 Feb 2026 09:50:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-06 18:49:08.870042
• Title: Convergence Rate of the Last Iterate of Stochastic Proximal Algorithms
• Title（参考訳）: 確率的近位アルゴリズムの最後の繰り返しの収束率
• Authors: Kevin Kurian Thomas Vaidyan, Michael P. Friedlander, Ahmet Alacaoglu,
• Abstract要約: 加算合成凸最適化問題を解くための2つの古典的アルゴリズムを解析する。 我々は、最後の反復収束率を得るために、一般的だが厳密な有界分散仮定に焦点を当てる。 本結果は,複数タスクおよびフェデレーション学習において発生するグラフ誘導正規化器に直接適用し,協調グラフのエッジ上の和として正規化器を分解する。
• 参考スコア（独自算出の注目度）: 8.636513507553504
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We analyze two classical algorithms for solving additively composite convex optimization problems where the objective is the sum of a smooth term and a nonsmooth regularizer: proximal stochastic gradient method for a single regularizer; and the randomized incremental proximal method, which uses the proximal operator of a randomly selected function when the regularizer is given as the sum of many nonsmooth functions. We focus on relaxing the bounded variance assumption that is common, yet stringent, for getting last iterate convergence rates. We prove the $\widetilde{O}(1/\sqrt{T})$ rate of convergence for the last iterate of both algorithms under componentwise convexity and smoothness, which is optimal up to log terms. Our results apply directly to graph-guided regularizers that arise in multi-task and federated learning, where the regularizer decomposes as a sum over edges of a collaboration graph.
• Abstract（参考訳）: 目的が滑らかな項の和と非滑らかな正則化の和である加法的凸最適化問題の解法として,1つの正則化器の確率勾配法と,正規化器が多くの非滑らかな関数の和として与えられるとき,ランダムに選択された関数の近位演算子を用いる確率的漸進的近似法を解析する。 我々は、最後の反復収束率を得るために、一般的だが厳密な有界分散仮定を緩和することに注力する。 両アルゴリズムの最終反復率の$\widetilde{O}(1/\sqrt{T})$収束率を、成分的凸性と滑らか性の下で証明し、ログ項まで最適とする。 本結果は,複数タスクおよびフェデレーション学習において発生するグラフ誘導正規化器に直接適用し,協調グラフのエッジ上の和として正規化器を分解する。

関連論文リスト

• Zeroth-Order Methods for Stochastic Nonconvex Nonsmooth Composite Optimization [51.63258496873442]
  合成最適化問題に関するこれまでの研究は、滑らか性の主要な部分、あるいはこれら2つの近似滑らか性点をそれぞれ除外した機械学習の例を必要とする。 本研究では,この問題に対する2つの新しいアルゴリズムを提案する。 これらのアルゴリズムは数値実験により有効であることを示す。
  論文  参考訳（メタデータ） (2025-10-06T02:35:42Z)
• Optimal Extragradient-Based Bilinearly-Coupled Saddle-Point Optimization [116.89941263390769]
  滑らかな凸凹凸結合型サドル点問題, $min_mathbfxmax_mathbfyF(mathbfx) + H(mathbfx,mathbfy)$ を考える。 漸進的勾配指数(AG-EG)降下指数アルゴリズムについて述べる。
  論文  参考訳（メタデータ） (2022-06-17T06:10:20Z)
• An Algebraically Converging Stochastic Gradient Descent Algorithm for Global Optimization [14.121491356732188]
  アルゴリズムの主要な構成要素は、目的関数の値に基づくランダム性である。 アルゴリズムの収束を代数学で証明し、パラメータ空間でチューニングする。 アルゴリズムの効率性とロバスト性を示す数値的な例をいくつか提示する。
  論文  参考訳（メタデータ） (2022-04-12T16:27:49Z)
• Sharp global convergence guarantees for iterative nonconvex optimization: A Gaussian process perspective [30.524043513721168]
  回帰モデルのクラスに対する反復アルゴリズムの収束を解析するための一般的なレシピを開発する。 決定論的には、有限サンプル状態におけるアルゴリズムの収束率と最終的なエラーフロアの両方を正確にキャプチャする。 我々は、更新の交互化に基づく高次アルゴリズムと、下位次数に基づく一次アルゴリズムの両方に対して、鋭い収束率を示す。
  論文  参考訳（メタデータ） (2021-09-20T21:48:19Z)
• High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
  アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。 非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。 そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
  論文  参考訳（メタデータ） (2021-06-10T17:54:21Z)
• ROOT-SGD: Sharp Nonasymptotics and Near-Optimal Asymptotics in a Single Algorithm [71.13558000599839]
  第一次アルゴリズムを用いて,厳密な凸と滑らかな非制約最適化問題の解法について検討する。 我々は,過去の勾配を平均化し,実装が容易な小説「Recursive One-Over-T SGD」を考案した。 有限サンプル, 漸近感覚, 感覚の両面において, 最先端の性能を同時に達成できることを実証する。
  論文  参考訳（メタデータ） (2020-08-28T14:46:56Z)
• Provably Convergent Working Set Algorithm for Non-Convex Regularized Regression [0.0]
  本稿では、収束保証付き非正則正規化器のためのワーキングセットアルゴリズムを提案する。 その結果,ブロックコーディネートや勾配ソルバの完全解法と比較して高い利得を示した。
  論文  参考訳（メタデータ） (2020-06-24T07:40:31Z)
• Convergence of adaptive algorithms for weakly convex constrained optimization [59.36386973876765]
  モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。 我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
  論文  参考訳（メタデータ） (2020-06-11T17:43:19Z)
• Explicit Regularization of Stochastic Gradient Methods through Duality [9.131027490864938]
  ランダム化された双対座標の上昇に基づくランダム化されたDykstraスタイルのアルゴリズムを提案する。 座標降下を高速化するために、補間系における既存の勾配法よりも収束特性がよい新しいアルゴリズムを得る。
  論文  参考訳（メタデータ） (2020-03-30T20:44:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。