論文の概要: Asynchronous Decentralized SGD under Non-Convexity: A Block-Coordinate Descent Framework

• arxiv url: http://arxiv.org/abs/2505.10322v1
• Date: Thu, 15 May 2025 14:06:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-16 22:29:06.349948
• Title: Asynchronous Decentralized SGD under Non-Convexity: A Block-Coordinate Descent Framework
• Title（参考訳）: 非凸条件下での非同期分散SGD:ブロック座標Descentフレームワーク
• Authors: Yijie Zhou, Shi Pu,
• Abstract要約: 本稿では, ADSGD (Asynchronous Decentralized Gradient Descent) の精度向上モデルを提案する。 単純さ、メモリと通信の効率、通信と計算の遅延に対するレジリエンスにより、ADSGDは現実世界の分散学習タスクに適している。
• 参考スコア（独自算出の注目度）: 5.001721812806788
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Decentralized optimization has become vital for leveraging distributed data without central control, enhancing scalability and privacy. However, practical deployments face fundamental challenges due to heterogeneous computation speeds and unpredictable communication delays. This paper introduces a refined model of Asynchronous Decentralized Stochastic Gradient Descent (ADSGD) under practical assumptions of bounded computation and communication times. To understand the convergence of ADSGD, we first analyze Asynchronous Stochastic Block Coordinate Descent (ASBCD) as a tool, and then show that ADSGD converges under computation-delay-independent step sizes. The convergence result is established without assuming bounded data heterogeneity. Empirical experiments reveal that ADSGD outperforms existing methods in wall-clock convergence time across various scenarios. With its simplicity, efficiency in memory and communication, and resilience to communication and computation delays, ADSGD is well-suited for real-world decentralized learning tasks.
• Abstract（参考訳）: 分散データを集中管理せずに活用し、スケーラビリティとプライバシを向上させるために、分散最適化が不可欠になっている。 しかし、不均一な計算速度と予測不可能な通信遅延により、現実的なデプロイメントは根本的な課題に直面している。 本稿では, ADSGD (Asynchronous Decentralized Stochastic Gradient Descent) の洗練されたモデルを提案する。 ADSGDの収束を理解するために、まず非同期確率ブロック座標 Descent (ASBCD) をツールとして分析し、ADSGDが計算遅延非依存のステップサイズで収束することを示す。 収束結果は、有界データの不均一性を仮定することなく確立される。 実証実験により、ADSGDは壁面収束時間において、様々なシナリオにおいて既存の手法よりも優れていたことが判明した。 単純さ、メモリと通信の効率、通信と計算の遅延に対するレジリエンスにより、ADSGDは現実世界の分散学習タスクに適している。

関連論文リスト

• The Impact Analysis of Delays in Asynchronous Federated Learning with Data Heterogeneity for Edge Intelligence [10.54196990763149]
  フェデレートラーニング(FL)は、機械学習モデルを協調的にトレーニングするために、クライアントのグループを調整するための新しい方法論を提供する。 本稿では,データ不均一性を伴う非同期フェデレート学習(AFL)システムにおいて,遅延の原因不明が訓練成績に及ぼす影響について検討する。
  論文  参考訳（メタデータ） (2025-03-06T03:10:49Z)
• Stability and Generalization for Distributed SGDA [70.97400503482353]
  分散SGDAのための安定性に基づく一般化分析フレームワークを提案する。 我々は, 安定性の誤差, 一般化ギャップ, 人口リスクの包括的分析を行う。 理論的結果から,一般化ギャップと最適化誤差のトレードオフが明らかになった。
  論文  参考訳（メタデータ） (2024-11-14T11:16:32Z)
• Boosting the Performance of Decentralized Federated Learning via Catalyst Acceleration [66.43954501171292]
  本稿では,Catalytics Accelerationを導入し,DFedCataと呼ばれる促進型分散フェデレート学習アルゴリズムを提案する。 DFedCataは、パラメータの不整合に対処するMoreauエンベロープ関数と、アグリゲーションフェーズを加速するNesterovの外挿ステップの2つの主要コンポーネントで構成されている。 実験により, CIFAR10/100における収束速度と一般化性能の両面において, 提案アルゴリズムの利点を実証した。
  論文  参考訳（メタデータ） (2024-10-09T06:17:16Z)
• Decentralized Smoothing ADMM for Quantile Regression with Non-Convex Sparse Penalties [3.269165283595478]
  急速に進化するIoT(Internet-of-Things)エコシステムでは、センサによって生成された分散データを扱う上で、効果的なデータ分析技術が不可欠である。 下位段階のコンセンサスアプローチのような既存の手法の限界に対処することは、アクティブ係数と非アクティブ係数の区別に失敗する。
  論文  参考訳（メタデータ） (2024-08-02T15:00:04Z)
• Distributed Stochastic Gradient Descent with Staleness: A Stochastic Delay Differential Equation Based Framework [56.82432591933544]
  分散勾配降下(SGD)は、計算リソースのスケーリング、トレーニング時間の短縮、マシンラーニングにおけるユーザのプライバシ保護の支援などにより、近年注目されている。 本稿では,遅延微分方程式(SDDE)と勾配到着の近似に基づく分散SGDの実行時間と安定化について述べる。 活性化作業員の増加は, 安定度による分散SGDを必ずしも加速させるものではないことが興味深い。
  論文  参考訳（メタデータ） (2024-06-17T02:56:55Z)
• Convergence of Decentralized Stochastic Subgradient-based Methods for Nonsmooth Nonconvex functions [10.278310909980576]
  本稿では,分散化サブ段階の手法を統一する汎用フレームワークを提案する。 我々は、よく認識された分散的な下位段階の手法に対する収束保証を証明した。
  論文  参考訳（メタデータ） (2024-03-18T08:35:17Z)
• Stability and Generalization of the Decentralized Stochastic Gradient Descent Ascent Algorithm [80.94861441583275]
  本稿では,分散勾配勾配(D-SGDA)アルゴリズムの一般化境界の複雑さについて検討する。 本研究は,D-SGDAの一般化における各因子の影響を解析した。 また、最適凸凹設定を得るために一般化とバランスをとる。
  論文  参考訳（メタデータ） (2023-10-31T11:27:01Z)
• Distributed Semi-supervised Fuzzy Regression with Interpolation Consistency Regularization [38.16335448831723]
  ファジィif-then規則と一貫性規則付き分散半教師付きファジィ回帰(DSFR)モデルを提案する。 人工と実世界の両方のデータセットに対する実験結果から、提案したDSFRモデルは最先端のDSSLアルゴリズムよりもはるかに優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2022-09-18T04:46:51Z)
• A Unified Theory of Decentralized SGD with Changing Topology and Local Updates [70.9701218475002]
  分散通信方式の統一収束解析を導入する。 いくつかの応用に対して普遍収束率を導出する。 私たちの証明は弱い仮定に依存している。
  論文  参考訳（メタデータ） (2020-03-23T17:49:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。