論文の概要: Asynchronous Decentralized SGD under Non-Convexity: A Block-Coordinate Descent Framework

• arxiv url: http://arxiv.org/abs/2505.10322v1
• Date: Thu, 15 May 2025 14:06:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-16 22:29:06.349948
• Title: Asynchronous Decentralized SGD under Non-Convexity: A Block-Coordinate Descent Framework
• Title（参考訳）: 非凸条件下での非同期分散SGD:ブロック座標Descentフレームワーク
• Authors: Yijie Zhou, Shi Pu,
• Abstract要約: 本稿では, ADSGD (Asynchronous Decentralized Gradient Descent) の精度向上モデルを提案する。 単純さ、メモリと通信の効率、通信と計算の遅延に対するレジリエンスにより、ADSGDは現実世界の分散学習タスクに適している。
• 参考スコア（独自算出の注目度）: 5.001721812806788
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Decentralized optimization has become vital for leveraging distributed data without central control, enhancing scalability and privacy. However, practical deployments face fundamental challenges due to heterogeneous computation speeds and unpredictable communication delays. This paper introduces a refined model of Asynchronous Decentralized Stochastic Gradient Descent (ADSGD) under practical assumptions of bounded computation and communication times. To understand the convergence of ADSGD, we first analyze Asynchronous Stochastic Block Coordinate Descent (ASBCD) as a tool, and then show that ADSGD converges under computation-delay-independent step sizes. The convergence result is established without assuming bounded data heterogeneity. Empirical experiments reveal that ADSGD outperforms existing methods in wall-clock convergence time across various scenarios. With its simplicity, efficiency in memory and communication, and resilience to communication and computation delays, ADSGD is well-suited for real-world decentralized learning tasks.
• Abstract（参考訳）: 分散データを集中管理せずに活用し、スケーラビリティとプライバシを向上させるために、分散最適化が不可欠になっている。 しかし、不均一な計算速度と予測不可能な通信遅延により、現実的なデプロイメントは根本的な課題に直面している。 本稿では, ADSGD (Asynchronous Decentralized Stochastic Gradient Descent) の洗練されたモデルを提案する。 ADSGDの収束を理解するために、まず非同期確率ブロック座標 Descent (ASBCD) をツールとして分析し、ADSGDが計算遅延非依存のステップサイズで収束することを示す。 収束結果は、有界データの不均一性を仮定することなく確立される。 実証実験により、ADSGDは壁面収束時間において、様々なシナリオにおいて既存の手法よりも優れていたことが判明した。 単純さ、メモリと通信の効率、通信と計算の遅延に対するレジリエンスにより、ADSGDは現実世界の分散学習タスクに適している。

関連論文リスト

• Accelerating Decentralized Optimization via Overlapping Local Steps [6.713278402701195]
  本稿では,理論的な保証を犠牲にすることなく分散計算を高速化する新しい手法を提案する。 OLDSGD は局部分散 SGDOLDD と同じイテレーションを維持しつつ,通信遅延の異なるレベルにおいて,各項目の収束性を改善していることを示す。
  論文  参考訳（メタデータ） (2026-01-04T11:40:22Z)
• OptiVote: Non-Coherent FSO Over-the-Air Majority Vote for Communication-Efficient Distributed Federated Learning in Space Data Centers [68.73273027298625]
  メガコンステレーションは、宇宙データセンター(SDC)の長期的なビジョンを推進している AirCompはフリースペース(FSO)を学習するためのネットワーク内集約フレームワーク AirVoteは符号勾配(SGD)と多数符号変調(PPM)を統合し、各衛星はPPMタイムスロットを活性化することで局所勾配を伝達する。 OptiVoteは位相依存性電場重ね合わせを位相非依存光強度結合に緩和する。
  論文  参考訳（メタデータ） (2025-12-30T16:40:02Z)
• Scalable Asynchronous Federated Modeling for Spatial Data [5.741482548419374]
  本研究では,低ランクガウス過程近似に基づく空間データのための非同期フェデレーションモデリングフレームワークを提案する。 独立な理論的重要性の結果として、不安定性に明示的に依存する線形収束を確立する。 数値実験により、非同期アルゴリズムは、バランスの取れたリソース割り当ての下で同期性能を達成することを示した。
  論文  参考訳（メタデータ） (2025-10-02T08:04:46Z)
• Ringleader ASGD: The First Asynchronous SGD with Optimal Time Complexity under Data Heterogeneity [51.56484100374058]
  本稿では,並列計算の理論的下界を実現する最初の非同期アルゴリズムであるリングリーダーASGDを紹介する。 我々の分析により、リングリーダーASGDは任意の勾配と時間変化速度の下で最適であることが明らかとなった。
  論文  参考訳（メタデータ） (2025-09-26T19:19:15Z)
• The Impact Analysis of Delays in Asynchronous Federated Learning with Data Heterogeneity for Edge Intelligence [10.54196990763149]
  フェデレートラーニング(FL)は、機械学習モデルを協調的にトレーニングするために、クライアントのグループを調整するための新しい方法論を提供する。 本稿では,データ不均一性を伴う非同期フェデレート学習(AFL)システムにおいて,遅延の原因不明が訓練成績に及ぼす影響について検討する。
  論文  参考訳（メタデータ） (2025-03-06T03:10:49Z)
• Stability and Generalization for Distributed SGDA [70.97400503482353]
  分散SGDAのための安定性に基づく一般化分析フレームワークを提案する。 我々は, 安定性の誤差, 一般化ギャップ, 人口リスクの包括的分析を行う。 理論的結果から,一般化ギャップと最適化誤差のトレードオフが明らかになった。
  論文  参考訳（メタデータ） (2024-11-14T11:16:32Z)
• Boosting the Performance of Decentralized Federated Learning via Catalyst Acceleration [66.43954501171292]
  本稿では,Catalytics Accelerationを導入し,DFedCataと呼ばれる促進型分散フェデレート学習アルゴリズムを提案する。 DFedCataは、パラメータの不整合に対処するMoreauエンベロープ関数と、アグリゲーションフェーズを加速するNesterovの外挿ステップの2つの主要コンポーネントで構成されている。 実験により, CIFAR10/100における収束速度と一般化性能の両面において, 提案アルゴリズムの利点を実証した。
  論文  参考訳（メタデータ） (2024-10-09T06:17:16Z)
• Decentralized Smoothing ADMM for Quantile Regression with Non-Convex Sparse Penalties [3.269165283595478]
  急速に進化するIoT(Internet-of-Things)エコシステムでは、センサによって生成された分散データを扱う上で、効果的なデータ分析技術が不可欠である。 下位段階のコンセンサスアプローチのような既存の手法の限界に対処することは、アクティブ係数と非アクティブ係数の区別に失敗する。
  論文  参考訳（メタデータ） (2024-08-02T15:00:04Z)
• Distributed Stochastic Gradient Descent with Staleness: A Stochastic Delay Differential Equation Based Framework [56.82432591933544]
  分散勾配降下(SGD)は、計算リソースのスケーリング、トレーニング時間の短縮、マシンラーニングにおけるユーザのプライバシ保護の支援などにより、近年注目されている。 本稿では,遅延微分方程式(SDDE)と勾配到着の近似に基づく分散SGDの実行時間と安定化について述べる。 活性化作業員の増加は, 安定度による分散SGDを必ずしも加速させるものではないことが興味深い。
  論文  参考訳（メタデータ） (2024-06-17T02:56:55Z)
• Towards Communication-efficient Federated Learning via Sparse and Aligned Adaptive Optimization [65.85963235502322]
  Federated Adam (FedAdam) アルゴリズムはアップリンク通信オーバーヘッドの3倍の増大に悩まされている。 我々はFedAdam-SSMと呼ばれる新しいスパースなFedAdamアルゴリズムを提案する。 我々は,FedAdam-SSMが訓練したモデルと集中型Adamの差異を最小化することにより,スペーシフィケーションエラーによる学習性能劣化を軽減するためにSSMを最適化する。
  論文  参考訳（メタデータ） (2024-05-28T07:56:49Z)
• Convergence of Decentralized Stochastic Subgradient-based Methods for Nonsmooth Nonconvex functions [10.278310909980576]
  本稿では,分散化サブ段階の手法を統一する汎用フレームワークを提案する。 我々は、よく認識された分散的な下位段階の手法に対する収束保証を証明した。
  論文  参考訳（メタデータ） (2024-03-18T08:35:17Z)
• Stability and Generalization of the Decentralized Stochastic Gradient Descent Ascent Algorithm [80.94861441583275]
  本稿では,分散勾配勾配(D-SGDA)アルゴリズムの一般化境界の複雑さについて検討する。 本研究は,D-SGDAの一般化における各因子の影響を解析した。 また、最適凸凹設定を得るために一般化とバランスをとる。
  論文  参考訳（メタデータ） (2023-10-31T11:27:01Z)
• Distributed Semi-supervised Fuzzy Regression with Interpolation Consistency Regularization [38.16335448831723]
  ファジィif-then規則と一貫性規則付き分散半教師付きファジィ回帰(DSFR)モデルを提案する。 人工と実世界の両方のデータセットに対する実験結果から、提案したDSFRモデルは最先端のDSSLアルゴリズムよりもはるかに優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2022-09-18T04:46:51Z)
• Decentralized Optimization with Heterogeneous Delays: a Continuous-Time Approach [6.187780920448871]
  非同期アルゴリズムを解析するための新しい連続時間フレームワークを提案する。 我々は,スムーズな凸関数と強い凸関数の和を最小化するために,完全に非同期な分散アルゴリズムを記述する。
  論文  参考訳（メタデータ） (2021-06-07T13:09:25Z)
• A Unified Theory of Decentralized SGD with Changing Topology and Local Updates [70.9701218475002]
  分散通信方式の統一収束解析を導入する。 いくつかの応用に対して普遍収束率を導出する。 私たちの証明は弱い仮定に依存している。
  論文  参考訳（メタデータ） (2020-03-23T17:49:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。