論文の概要: Enhancing Parallelism in Decentralized Stochastic Convex Optimization

• arxiv url: http://arxiv.org/abs/2506.00961v1
• Date: Sun, 01 Jun 2025 11:17:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:33.869771
• Title: Enhancing Parallelism in Decentralized Stochastic Convex Optimization
• Title（参考訳）: 分散確率凸最適化における並列性向上
• Authors: Ofri Eisen, Ron Dorfman, Kfir Y. Levy,
• Abstract要約: 本稿では,並列性の限界を著しく拡張する新しい分散学習アルゴリズムである分散Anytime SGDを提案する。 凸最適化(SCO)フレームワーク内では、現在の最先端を超越した並列性理論上の上限を確立する。
• 参考スコア（独自算出の注目度）: 10.632248569865236
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Decentralized learning has emerged as a powerful approach for handling large datasets across multiple machines in a communication-efficient manner. However, such methods often face scalability limitations, as increasing the number of machines beyond a certain point negatively impacts convergence rates. In this work, we propose Decentralized Anytime SGD, a novel decentralized learning algorithm that significantly extends the critical parallelism threshold, enabling the effective use of more machines without compromising performance. Within the stochastic convex optimization (SCO) framework, we establish a theoretical upper bound on parallelism that surpasses the current state-of-the-art, allowing larger networks to achieve favorable statistical guarantees and closing the gap with centralized learning in highly connected topologies.
• Abstract（参考訳）: 分散学習は、通信効率のよい方法で複数のマシンにまたがる大規模なデータセットを扱うための強力なアプローチとして登場した。 しかし、そのような手法は、ある点を超える機械の数を増やすことが収束率に悪影響を及ぼすため、スケーラビリティの限界に直面することが多い。 本研究では,並列性の限界を著しく拡張し,性能を損なうことなく,より多くのマシンを効果的に活用できる新しい分散学習アルゴリズムであるDecentralized Anytime SGDを提案する。 確率凸最適化(SCO)フレームワーク内では、現在の最先端を超越した並列性理論上の上限を確立し、大規模ネットワークが良好な統計的保証を達成し、高度に連結されたトポロジにおける集中学習とのギャップを埋めることを可能にする。

関連論文リスト

• From promise to practice: realizing high-performance decentralized training [8.955918346078935]
  ディープニューラルネットワークの分散トレーニングは、All-Reduceのような同期データ並列メソッドよりも理論的に優れたスケーラビリティのために大きな注目を集めている。 本稿では、All-Reduceトレーニングのスピードアップにつながる3つの重要な要因を特定し、いつ、どのように、どの程度の分散化によって、より短い実行時間が得られるかを決定するランタイムモデルを構築する。
  論文  参考訳（メタデータ） (2024-10-15T19:04:56Z)
• DRACO: Decentralized Asynchronous Federated Learning over Row-Stochastic Wireless Networks [7.389425875982468]
  DRACOは、行確率ゴシップ無線ネットワーク上での分散非同期Descent(SGD)の新しい手法である。 我々のアプローチは、分散ネットワーク内のエッジデバイスが、連続したタイムラインに沿ってローカルトレーニングとモデル交換を行うことを可能にする。 我々の数値実験は提案手法の有効性を裏付けるものである。
  論文  参考訳（メタデータ） (2024-06-19T13:17:28Z)
• Scalable Optimal Margin Distribution Machine [50.281535710689795]
  ODM(Optimal margin Distribution Machine)は、新しいマージン理論に根ざした新しい統計学習フレームワークである。 本稿では,従来のODMトレーニング手法に比べて10倍近い高速化を実現するスケーラブルなODMを提案する。
  論文  参考訳（メタデータ） (2023-05-08T16:34:04Z)
• Optimal Complexity in Non-Convex Decentralized Learning over Time-Varying Networks [8.860889476382594]
  時間変化ネットワークによる分散最適化は、機械学習の新たなパラダイムである。 大規模な深層トレーニングでは通信オーバーヘッドが大幅に削減され、特にノードの移動時の無線シナリオでは堅牢になる。
  論文  参考訳（メタデータ） (2022-11-01T15:37:54Z)
• Asynchronous Parallel Incremental Block-Coordinate Descent for Decentralized Machine Learning [55.198301429316125]
  機械学習(ML)は、巨大なIoT(Internet of Things)ベースのインテリジェントでユビキタスなコンピューティングのビッグデータ駆動モデリングと分析のための重要なテクニックである。 急成長するアプリケーションやデータ量にとって、分散学習は有望な新興パラダイムである。 本稿では,多くのユーザデバイスに分散した分散システム上でMLモデルをトレーニングする問題について検討する。
  論文  参考訳（メタデータ） (2022-02-07T15:04:15Z)
• Finite-Time Consensus Learning for Decentralized Optimization with Nonlinear Gossiping [77.53019031244908]
  本稿では,非線形ゴシップ(NGO)に基づく分散学習フレームワークを提案する。 コミュニケーション遅延とランダム化チャットが学習にどう影響するかを解析することで,実践的なバリエーションの導出が可能となる。
  論文  参考訳（メタデータ） (2021-11-04T15:36:25Z)
• Optimal Complexity in Decentralized Training [45.468216452357375]
  差分のみで下界を達成できるゴシップ型分散アルゴリズムを提案する。 DeTAGはベースライン,特に未シャッフルデータやスパースネットワークにおいて,より高速な収束を享受できることを示す。
  論文  参考訳（メタデータ） (2020-06-15T02:03:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。