論文の概要: Optimal Complexity in Decentralized Training

• arxiv url: http://arxiv.org/abs/2006.08085v4
• Date: Fri, 28 Jan 2022 02:36:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-21 02:49:07.920310
• Title: Optimal Complexity in Decentralized Training
• Title（参考訳）: 分散トレーニングにおける最適複雑性
• Authors: Yucheng Lu, Christopher De Sa
• Abstract要約: 差分のみで下界を達成できるゴシップ型分散アルゴリズムを提案する。 DeTAGはベースライン,特に未シャッフルデータやスパースネットワークにおいて,より高速な収束を享受できることを示す。
• 参考スコア（独自算出の注目度）: 45.468216452357375
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Decentralization is a promising method of scaling up parallel machine learning systems. In this paper, we provide a tight lower bound on the iteration complexity for such methods in a stochastic non-convex setting. Our lower bound reveals a theoretical gap in known convergence rates of many existing decentralized training algorithms, such as D-PSGD. We prove by construction this lower bound is tight and achievable. Motivated by our insights, we further propose DeTAG, a practical gossip-style decentralized algorithm that achieves the lower bound with only a logarithm gap. Empirically, we compare DeTAG with other decentralized algorithms on image classification tasks, and we show DeTAG enjoys faster convergence compared to baselines, especially on unshuffled data and in sparse networks.
• Abstract（参考訳）: 分散化は、並列機械学習システムをスケールアップする有望な方法である。 本稿では、確率的非凸設定において、そのような手法の反復複雑性の厳密な下限を提供する。 我々の下限は、D-PSGDのような多くの既存の分散トレーニングアルゴリズムの既知の収束率の理論的ギャップを明らかにしている。 我々は、この下限がきつく達成可能であることを構築によって証明する。 この知見に動機づけられて,我々はさらに,対数ギャップだけで下限を達成する,実用的なゴシップ型分散アルゴリズムであるdetagを提案する。 経験的に,画像分類タスクにおけるdetagと他の分散アルゴリズムを比較し,detagがベースライン,特に非シャッフルデータやスパースネットワークよりも高速に収束することを示す。

関連論文リスト

• From promise to practice: realizing high-performance decentralized training [8.955918346078935]
  ディープニューラルネットワークの分散トレーニングは、All-Reduceのような同期データ並列メソッドよりも理論的に優れたスケーラビリティのために大きな注目を集めている。 本稿では、All-Reduceトレーニングのスピードアップにつながる3つの重要な要因を特定し、いつ、どのように、どの程度の分散化によって、より短い実行時間が得られるかを決定するランタイムモデルを構築する。
  論文  参考訳（メタデータ） (2024-10-15T19:04:56Z)
• Communication-Efficient Decentralized Federated Learning via One-Bit Compressive Sensing [52.402550431781805]
  分散連合学習(DFL)は、様々なアプリケーションにまたがる実用性によって人気を博している。 集中型バージョンと比較して、DFLの多数のノード間で共有モデルをトレーニングするのはより難しい。 我々は,iADM (iexact alternating direction method) の枠組みに基づく新しいアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-08-31T12:22:40Z)
• Stochastic Unrolled Federated Learning [85.6993263983062]
  本稿では,UnRolled Federated Learning (SURF)を導入する。 提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
  論文  参考訳（メタデータ） (2023-05-24T17:26:22Z)
• Can Decentralized Stochastic Minimax Optimization Algorithms Converge Linearly for Finite-Sum Nonconvex-Nonconcave Problems? [56.62372517641597]
  分散化されたミニマックス最適化は、幅広い機械学習に応用されているため、ここ数年で活発に研究されている。 本稿では,非コンカブ問題に対する2つの新しい分散化ミニマックス最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-04-24T02:19:39Z)
• Cross-Gradient Aggregation for Decentralized Learning from Non-IID data [34.23789472226752]
  分散学習により、コラボレーションエージェントのグループは、中央パラメータサーバーを必要とせずに、分散データセットを使用してモデルを学ぶことができる。 本稿では,新たな分散学習アルゴリズムであるクロスグラディエント・アグリゲーション(CGA)を提案する。 既存の最先端の分散学習アルゴリズムよりも優れたCGA学習性能を示す。
  論文  参考訳（メタデータ） (2021-03-02T21:58:12Z)
• A Low Complexity Decentralized Neural Net with Centralized Equivalence using Layer-wise Learning [49.15799302636519]
  我々は、分散処理ノード(労働者)で最近提案された大規模ニューラルネットワークをトレーニングするために、低複雑性分散学習アルゴリズムを設計する。 我々の設定では、トレーニングデータは作業者間で分散されるが、プライバシやセキュリティ上の懸念からトレーニングプロセスでは共有されない。 本研究では,データが一箇所で利用可能であるかのように,等価な学習性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-09-29T13:08:12Z)
• Quantized Decentralized Stochastic Learning over Directed Graphs [52.94011236627326]
  有向グラフ上で通信する計算ノード間でデータポイントが分散される分散学習問題を考える。 モデルのサイズが大きくなるにつれて、分散学習は、各ノードが隣人にメッセージ(モデル更新)を送信することによる通信負荷の大きなボトルネックに直面します。 本稿では,分散コンセンサス最適化におけるプッシュサムアルゴリズムに基づく有向グラフ上の量子化分散学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-02-23T18:25:39Z)
• Gradient tracking and variance reduction for decentralized optimization and machine learning [19.54092620537586]
  有限サム問題の解法は、多くの信号処理や機械学習タスクにおいて重要である。 分散還元と勾配追跡を組み合わせ、堅牢な性能を実現するための統一的なアルゴリズムフレームワークを提供する。
  論文  参考訳（メタデータ） (2020-02-13T07:17:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。