論文の概要: What's in a Smoothness Constant? Tighter Rates for Local SGD with Bounded Second-order Heterogeneity

• arxiv url: http://arxiv.org/abs/2607.14731v1
• Date: Thu, 16 Jul 2026 08:56:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-17 17:01:33.050287
• Title: What's in a Smoothness Constant? Tighter Rates for Local SGD with Bounded Second-order Heterogeneity
• Title（参考訳）: スムースネス定数には何があるのか? 境界二階不均一性を持つ局所SGDのタイターレート
• Abstract要約: ローカルSGD(Local SGD)は、広く使われている分散最適化アルゴリズムである。 パテルらによる最近の研究は、有界二階不均一性仮定が強い凸対象に対する局所SGDの効率を捉えることを示している。 この予想は、有界二階不均一性の下での一般凸対象に対する局所SGDの収束保証を改良することで証明する。
• 参考スコア（独自算出の注目度）: 39.01981872811199
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Local SGD, also known as Federated Averaging, is a widely used distributed optimization algorithm. Although Local SGD often outperforms alternatives such as Mini-batch SGD in practice, theory still only partially explains when and why local updates help under realistic data heterogeneity. Recent work by [Patel et al., 2025] shows that a bounded second-order heterogeneity assumption captures the efficiency of Local SGD for strongly convex objectives, and conjectures that the same principle extends to the general convex setting. In this paper, we prove this conjecture by establishing an improved convergence guarantee for Local SGD on general convex objectives under bounded second-order heterogeneity. We also improve the best-known lower bounds for Local SGD in this setting, showing that our upper bounds are nearly tight. Together, these results provide a sharper, more fine-grained convergence theory for Local SGD. As a further application of our techniques, we provide a lower bound for serial SGD with replacement, showing how second-order heterogeneity captures the impact of rare high-curvature clients.
• Abstract（参考訳）: ローカルSGD(Local SGD)は、広く使われている分散最適化アルゴリズムである。 Local SGDは、Mini-batch SGDのような代替技術よりも優れていることが多いが、理論上は、ローカル更新が現実的なデータ不均一性の下でいつ、なぜ役立つのかを部分的に説明するだけである。 Patel et al , 2025] による最近の研究は、有界二階不均一性仮定が強い凸目標に対する局所SGDの効率を捉えることを示し、同じ原理が一般凸設定にまで拡張されることを予想している。 本稿では,局所SGDの一般化された収束保証を,有界二階不均一性の下で一般凸対象に対して確立することにより,この予想を証明した。 この設定では、ローカルSGDの最もよく知られた下界も改善し、上界がほぼ緊密であることを示す。 これらの結果は、局所SGDに対してよりシャープでよりきめ細かな収束理論を提供する。 そこで本手法のさらなる応用として,2次不均一性が希少な高曲率クライアントの影響をいかに捉えているかを示す。

関連論文リスト

• Sharp Gaussian approximations for Decentralized Federated Learning [1.2489632787815885]
  フェデレートラーニング(Federated Learning)は、プライバシに敏感なコラボレーティブ環境において、重要な最適化手法としてローカルSGDが登場し、注目を集めている。 局所的なSGDに対する2つの一般化されたガウス近似結果を示し、その意味を探求する。 タイムユニフォーム近似は、対向攻撃を検出するブートストラップベースのテストをサポートする。
  論文  参考訳（メタデータ） (2025-05-12T23:40:13Z)
• The Limits and Potentials of Local SGD for Distributed Heterogeneous Learning with Intermittent Communication [37.210933391984014]
  ローカルSGDは分散学習において一般的な最適化手法であり、実際には他のアルゴリズムよりも優れていることが多い。 我々は、既存の一階データ不均一性仮定の下で、局所的なSGDに対して新しい下界を提供する。 また、いくつかの問題クラスに対して、高速化されたミニバッチSGDの min-max 最適性を示す。
  論文  参考訳（メタデータ） (2024-05-19T20:20:03Z)
• Benign Underfitting of Stochastic Gradient Descent [72.38051710389732]
  本研究では,適切な学習データを得ることで,一般化性能を実現する「従来型」学習ルールとして,勾配降下度(SGD)がどの程度理解されるかを検討する。 類似現象が起こらない近縁な交換SGDを解析し、その集団リスクが実際に最適な速度で収束することを証明する。
  論文  参考訳（メタデータ） (2022-02-27T13:25:01Z)
• Differentially Private SGDA for Minimax Problems [83.57322009102973]
  本研究は, 勾配勾配降下上昇(SGDA)が原始二重集団リスクの弱さの観点から最適に有効であることを示す。 これは、非滑らかで強固なコンケーブ設定において、初めて知られている結果である。
  論文  参考訳（メタデータ） (2022-01-22T13:05:39Z)
• SGD with a Constant Large Learning Rate Can Converge to Local Maxima [4.014524824655106]
  我々は、勾配降下が奇妙で望ましくない振る舞いを示す可能性があることを示す最悪の最適化問題を構築する。 具体的には、SGDが局所的な最大値に収束するようにランドスケープとデータ分布を構築する。 本結果は,ミニバッチサンプリング,離散時間更新ルール,現実的な景観を同時に解析することの重要性を強調した。
  論文  参考訳（メタデータ） (2021-07-25T10:12:18Z)
• Stochastic Gradient Descent-Ascent and Consensus Optimization for Smooth Games: Convergence Analysis under Expected Co-coercivity [49.66890309455787]
  本稿では,SGDA と SCO の最終的な収束保証として,期待されるコヒーレンシティ条件を導入し,その利点を説明する。 定常的なステップサイズを用いた場合、両手法の線形収束性を解の近傍に証明する。 我々の収束保証は任意のサンプリングパラダイムの下で保たれ、ミニバッチの複雑さに関する洞察を与える。
  論文  参考訳（メタデータ） (2021-06-30T18:32:46Z)
• Demystifying Why Local Aggregation Helps: Convergence Analysis of Hierarchical SGD [39.75009345804017]
  階層型SGD(H-SGD)は,マルチレベル通信ネットワークのための分散SGDアルゴリズムとして登場した。 H-SGDでは、各グローバルアグリゲーションの前に、ワーカが更新されたローカルモデルをローカルサーバに送信してアグリゲーションを行う。 近年の研究努力にもかかわらず、世界収束は理論的な理解を欠いている。
  論文  参考訳（メタデータ） (2020-10-24T22:05:41Z)
• A Unified Theory of Decentralized SGD with Changing Topology and Local Updates [70.9701218475002]
  分散通信方式の統一収束解析を導入する。 いくつかの応用に対して普遍収束率を導出する。 私たちの証明は弱い仮定に依存している。
  論文  参考訳（メタデータ） (2020-03-23T17:49:15Z)
• Is Local SGD Better than Minibatch SGD? [60.42437186984968]
  凸設定における既存のエラー保証はすべて、単純なベースラインであるミニバッチSGDによって支配されていることを示す。 局所的なSGDがミニバッチSGDの保証よりも悪い局所的なSGDの性能に低いバウンダリを提示することで、実際に局所的なSGDが支配的でないことを示す。
  論文  参考訳（メタデータ） (2020-02-18T19:22:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。