論文の概要: Distributed Stochastic Optimization under a General Variance Condition

• arxiv url: http://arxiv.org/abs/2301.12677v3
• Date: Thu, 14 Dec 2023 01:41:23 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-16 05:18:19.388757
• Title: Distributed Stochastic Optimization under a General Variance Condition
• Title（参考訳）: 一般変数条件下での分散確率最適化
• Authors: Kun Huang, Xiao Li, Shi Pu
• Abstract要約: 分散最適化は最近、大規模な機械学習問題の解決に効果があるとして、大きな注目を集めている。 我々は、古典的フェデレーション平均化(Avg)を再考し、滑らかな非対象関数に対して、緩やかな分散しか持たない収束結果を確立する。 ほぼ1つの定常収束点も勾配条件の下で成立する。
• 参考スコア（独自算出の注目度）: 13.911633636387059
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Distributed stochastic optimization has drawn great attention recently due to its effectiveness in solving large-scale machine learning problems. Though numerous algorithms have been proposed and successfully applied to general practical problems, their theoretical guarantees mainly rely on certain boundedness conditions on the stochastic gradients, varying from uniform boundedness to the relaxed growth condition. In addition, how to characterize the data heterogeneity among the agents and its impacts on the algorithmic performance remains challenging. In light of such motivations, we revisit the classical Federated Averaging (FedAvg) algorithm (McMahan et al., 2017) as well as the more recent SCAFFOLD method (Karimireddy et al., 2020) for solving the distributed stochastic optimization problem and establish the convergence results under only a mild variance condition on the stochastic gradients for smooth nonconvex objective functions. Almost sure convergence to a stationary point is also established under the condition. Moreover, we discuss a more informative measurement for data heterogeneity as well as its implications.
• Abstract（参考訳）: 分散確率最適化は,大規模機械学習問題の解法としての有効性から,近年大きな注目を集めている。 多くのアルゴリズムが提案され、一般的な実用的な問題に適用されているが、理論上の保証は主に確率勾配上の有界性条件に依存しており、一様有界性から緩やかな成長条件まで様々である。 さらに,エージェント間のデータの不均一性を特徴付ける方法や,そのアルゴリズム性能への影響も課題として残されている。 このようなモチベーションを考慮して、従来のフェデレーション平均化(FedAvg)アルゴリズム(McMahan et al., 2017)と、分散確率最適化問題の解法であるより最近のSCAFFOLD法(Karimireddy et al., 2020)を再検討し、滑らかな非凸目的関数の確率勾配上の軽度の分散条件下で収束結果を確立する。 ほぼ確実に定常点への収束も条件の下で確立される。 さらに,データの不均一性およびその意義について,より情報的な測定について考察する。

関連論文リスト

• An Inexact Halpern Iteration with Application to Distributionally Robust Optimization [9.529117276663431]
  決定論的および決定論的収束設定におけるスキームの不正確な変種について検討する。 不正確なスキームを適切に選択することにより、(予想される)剰余ノルムの点において$O(k-1)収束率を許容することを示す。
  論文  参考訳（メタデータ） (2024-02-08T20:12:47Z)
• Accelerated stochastic approximation with state-dependent noise [7.4648480208501455]
  勾配観測における2次雑音に対する一般仮定の下での滑らかな凸最適化問題を考察する。 このような問題は、統計学におけるよく知られた一般化された線形回帰問題において、様々な応用において自然に発生する。 SAGDとSGEは、適切な条件下で、最適収束率を達成することを示す。
  論文  参考訳（メタデータ） (2023-07-04T06:06:10Z)
• High-Probability Bounds for Stochastic Optimization and Variational Inequalities: the Case of Unbounded Variance [59.211456992422136]
  制約の少ない仮定の下で高確率収束結果のアルゴリズムを提案する。 これらの結果は、標準機能クラスに適合しない問題を最適化するために検討された手法の使用を正当化する。
  論文  参考訳（メタデータ） (2023-02-02T10:37:23Z)
• Learning to Optimize with Stochastic Dominance Constraints [103.26714928625582]
  本稿では,不確実量を比較する問題に対して,単純かつ効率的なアプローチを開発する。 我々はラグランジアンの内部最適化をサロゲート近似の学習問題として再考した。 提案したライト-SDは、ファイナンスからサプライチェーン管理に至るまで、いくつかの代表的な問題において優れた性能を示す。
  論文  参考訳（メタデータ） (2022-11-14T21:54:31Z)
• Clipped Stochastic Methods for Variational Inequalities with Heavy-Tailed Noise [64.85879194013407]
  単調なVIPと非単調なVIPの解法における信頼度に対数的依存を持つ最初の高確率結果が証明された。 この結果は光尾の場合で最もよく知られたものと一致し,非単調な構造問題に新鮮である。 さらに,多くの実用的な定式化の勾配雑音が重く,クリッピングによりSEG/SGDAの性能が向上することを示す。
  論文  参考訳（メタデータ） (2022-06-02T15:21:55Z)
• Stochastic Gradient Descent-Ascent and Consensus Optimization for Smooth Games: Convergence Analysis under Expected Co-coercivity [49.66890309455787]
  本稿では,SGDA と SCO の最終的な収束保証として,期待されるコヒーレンシティ条件を導入し,その利点を説明する。 定常的なステップサイズを用いた場合、両手法の線形収束性を解の近傍に証明する。 我々の収束保証は任意のサンプリングパラダイムの下で保たれ、ミニバッチの複雑さに関する洞察を与える。
  論文  参考訳（メタデータ） (2021-06-30T18:32:46Z)
• Efficient Methods for Structured Nonconvex-Nonconcave Min-Max Optimization [98.0595480384208]
  定常点に収束する一般化外空間を提案する。 このアルゴリズムは一般の$p$ノルド空間だけでなく、一般の$p$次元ベクトル空間にも適用される。
  論文  参考訳（メタデータ） (2020-10-31T21:35:42Z)
• Statistical optimality and stability of tangent transform algorithms in logit models [6.9827388859232045]
  我々は,データ生成過程の条件として,ロジカルオプティマによって引き起こされるリスクに対して,非漸近上界を導出する。 特に,データ生成過程の仮定なしにアルゴリズムの局所的変動を確立する。 我々は,大域収束が得られる半直交設計を含む特別な場合について検討する。
  論文  参考訳（メタデータ） (2020-10-25T05:15:13Z)
• Fast Objective & Duality Gap Convergence for Non-Convex Strongly-Concave Min-Max Problems with PL Condition [52.08417569774822]
  本稿では,深層学習(深層AUC)により注目度が高まっている,円滑な非凹部min-max問題の解法に焦点をあてる。
  論文  参考訳（メタデータ） (2020-06-12T00:32:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。