論文の概要: Improved Convergence Analysis of Topology Dependence in Decentralized SGD

• arxiv url: http://arxiv.org/abs/2606.09154v1
• Date: Mon, 08 Jun 2026 07:46:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-09 14:42:06.812371
• Title: Improved Convergence Analysis of Topology Dependence in Decentralized SGD
• Title（参考訳）: 分散SGDにおける位相依存性の収束解析の改善
• Authors: Yuki Takezawa, Anastasia Koloskova, Sebastian U. Stich,
• Abstract要約: 本稿では、分散SGDのより厳密な収束解析について述べる。 トポロジーの特性としてスペクトルギャップのみを用いた既存の収束解析とは異なり、混合行列のすべての固有値が収束率に影響を及ぼすことを示す。
• 参考スコア（独自算出の注目度）: 36.75517471718376
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Decentralized SGD is a fundamental algorithm in decentralized learning, although the influence of an underlying network topology on its convergence behavior is not yet fully understood. Existing convergence analyses have shown that topologies with a small spectral gap significantly deteriorate the convergence rate of Decentralized SGD in both homogeneous and heterogeneous cases. However, many prior papers have reported that indeed the choice of the topology has a significant experimental impact in the heterogeneous case, but has little experimental impact on training behavior in the homogeneous case. In this paper, we present a tighter convergence analysis of Decentralized SGD, offering a more precise understanding of how topologies affect the convergence rate than the prior analysis. Specifically, unlike existing convergence analyses that used only the spectral gap as a property of the topology, our novel analysis shows that all eigenvalues of the mixing matrix affect the convergence rate. Throughout the experiments, we carefully evaluated the convergence behavior of Decentralized SGD and demonstrated that our novel convergence analysis can more accurately describe the effect of topology on the convergence rate.
• Abstract（参考訳）: 分散SGDは分散学習の基本的なアルゴリズムであるが、基盤となるネットワークトポロジが収束挙動に与える影響はまだ完全には理解されていない。 既存の収束解析では、スペクトルギャップが小さいトポロジーは、均質および不均一の場合に分散SGDの収束速度を著しく低下させることが示された。 しかし、多くの先行研究は、トポロジの選択が不均一な場合において有意な実験的影響を及ぼすが、同種の場合の訓練行動にはほとんど影響しないと報告している。 本稿では、分散SGDのより厳密な収束解析を行い、トポロジが先行解析よりも収束率にどのように影響するかをより正確に理解する。 具体的には, スペクトルギャップのみを位相特性として用いた既存の収束解析とは異なり, 混合行列のすべての固有値が収束率に影響を及ぼすことを示す。 実験を通じて、分散SGDの収束挙動を慎重に評価し、新しい収束解析により、トポロジーが収束速度に与える影響をより正確に記述できることを実証した。

関連論文リスト

• Unveiling the Power of Multiple Gossip Steps: A Stability-Based Generalization Analysis in Decentralized Training [64.84977068837371]
  分散トレーニングは集中型サーバを取り除き、通信効率が向上し、トレーニング効率が大幅に向上するが、集中型トレーニングに比べてパフォーマンスが低下することが多い。 MultiGossip Steps (MGS) は、分散トレーニングと集中トレーニングの間に、シンプルだが効果的なブリッジとして機能する。
  論文  参考訳（メタデータ） (2025-10-09T09:14:47Z)
• Spectral Algorithms in Misspecified Regression: Convergence under Covariate Shift [0.2578242050187029]
  スペクトルアルゴリズムは逆問題から派生した正則化手法のクラスである。 本稿では,共変量シフトの下でのスペクトルアルゴリズムの収束特性について検討する。 我々は、ターゲット関数がヒルベルト空間(RKHS)を再現するカーネルに属さない、より困難な不特定ケースの理論解析を提供する。
  論文  参考訳（メタデータ） (2025-09-05T13:42:27Z)
• Boosting the Performance of Decentralized Federated Learning via Catalyst Acceleration [66.43954501171292]
  本稿では,Catalytics Accelerationを導入し,DFedCataと呼ばれる促進型分散フェデレート学習アルゴリズムを提案する。 DFedCataは、パラメータの不整合に対処するMoreauエンベロープ関数と、アグリゲーションフェーズを加速するNesterovの外挿ステップの2つの主要コンポーネントで構成されている。 実験により, CIFAR10/100における収束速度と一般化性能の両面において, 提案アルゴリズムの利点を実証した。
  論文  参考訳（メタデータ） (2024-10-09T06:17:16Z)
• C$^3$DG: Conditional Domain Generalization for Hyperspectral Imagery Classification with Convergence and Constrained-risk Theories [23.21421412818663]
  ハイパースペクトル画像(HSI)分類は、ハイパースペクトルモノスペクトルの課題である。 共同空間スペクトル特徴抽出はこの問題に対する一般的な解法である。 本稿では,収束性および誤差制約付き条件付き領域一般化法を提案する。
  論文  参考訳（メタデータ） (2024-07-04T18:03:45Z)
• Stability and Generalization of the Decentralized Stochastic Gradient Descent Ascent Algorithm [80.94861441583275]
  本稿では,分散勾配勾配(D-SGDA)アルゴリズムの一般化境界の複雑さについて検討する。 本研究は,D-SGDAの一般化における各因子の影響を解析した。 また、最適凸凹設定を得るために一般化とバランスをとる。
  論文  参考訳（メタデータ） (2023-10-31T11:27:01Z)
• Yes, Topology Matters in Decentralized Optimization: Refined Convergence and Topology Learning under Heterogeneous Data [0.0]
  本稿では,分散学習アルゴリズムD-SGD(Decentralized Gradient Descent Algorithm)をデータ不均一性の下で再検討する。 我々は、D-SGDの収束速度において、近隣の不均一性と呼ばれる新しい量によって果たす重要な役割を示す。 エージェント分布のトポロジとヘテロジニティを結合することにより、分散学習におけるこれらの2つの概念間の不十分な相互作用に光を当てる。
  論文  参考訳（メタデータ） (2022-04-09T11:29:12Z)
• Decentralized Local Stochastic Extra-Gradient for Variational Inequalities [125.62877849447729]
  我々は、不均一(非IID)で多くのデバイスに分散する問題データを持つ領域上での分散変分不等式(VIs)を考察する。 我々は、完全に分散化された計算の設定を網羅する計算ネットワークについて、非常に一般的な仮定を行う。 理論的には, モノトン, モノトンおよび非モノトンセッティングにおける収束速度を理論的に解析する。
  論文  参考訳（メタデータ） (2021-06-15T17:45:51Z)
• A Unified Theory of Decentralized SGD with Changing Topology and Local Updates [70.9701218475002]
  分散通信方式の統一収束解析を導入する。 いくつかの応用に対して普遍収束率を導出する。 私たちの証明は弱い仮定に依存している。
  論文  参考訳（メタデータ） (2020-03-23T17:49:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。