論文の概要: ShadowSync: Performing Synchronization in the Background for Highly Scalable Distributed Training

• arxiv url: http://arxiv.org/abs/2003.03477v3
• Date: Tue, 23 Feb 2021 18:23:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-25 19:20:39.189561
• Title: ShadowSync: Performing Synchronization in the Background for Highly Scalable Distributed Training
• Title（参考訳）: ShadowSync: 高度にスケーラブルな分散トレーニングの背景において同期を実行する
• Authors: Qinqing Zheng, Bor-Yiing Su, Jiyan Yang, Alisson Azzolini, Qiang Wu, Ou Jin, Shri Karandikar, Hagay Lupesko, Liang Xiong, Eric Zhou
• Abstract要約: 現代のリコメンデーションシステムトレーニングに適した分散フレームワークであるShadowsyncを紹介します。 トレーニングプロセスの一部として同期が行われる以前の作業とは対照的に、Shadowsyncは同期をトレーニングから分離し、バックグラウンドで実行する。
• 参考スコア（独自算出の注目度）: 10.73956838502053
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recommendation systems are often trained with a tremendous amount of data, and distributed training is the workhorse to shorten the training time. While the training throughput can be increased by simply adding more workers, it is also increasingly challenging to preserve the model quality. In this paper, we present \shadowsync, a distributed framework specifically tailored to modern scale recommendation system training. In contrast to previous works where synchronization happens as part of the training process, \shadowsync separates the synchronization from training and runs it in the background. Such isolation significantly reduces the synchronization overhead and increases the synchronization frequency, so that we are able to obtain both high throughput and excellent model quality when training at scale. The superiority of our procedure is confirmed by experiments on training deep neural networks for click-through-rate prediction tasks. Our framework is capable to express data parallelism and/or model parallelism, generic to host various types of synchronization algorithms, and readily applicable to large scale problems in other areas.
• Abstract（参考訳）: 推奨システムは膨大な量のデータでトレーニングされることが多く、分散トレーニングはトレーニング時間を短縮する作業場である。 トレーニングのスループットは、単に労働者を増やすだけで向上できるが、モデルの品質を維持することはますます難しくなっている。 本稿では,現代的なレコメンデーションシステムトレーニングに特化した分散フレームワークである \shadowsync を提案する。 トレーニングプロセスの一部として同期が発生する以前の作業とは対照的に、 \shadowsyncは同期をトレーニングから分離し、バックグラウンドで実行する。 このような分離により、同期オーバーヘッドが大幅に減少し、同期周波数が増大し、スケールトレーニング時に高いスループットと優れたモデル品質が得られる。 提案手法の優位性は,クリックスルーレート予測タスクのためのディープニューラルネットワークのトレーニング実験によって確認される。 我々のフレームワークはデータ並列性やモデル並列性を表現でき、様々な種類の同期アルゴリズムをホストし、他の領域の大規模問題にも容易に適用できます。

関連論文リスト

• Synchformer: Efficient Synchronization from Sparse Cues [100.89656994681934]
  コントリビューションには、新しい音声-視覚同期モデル、同期モデルからの抽出を分離するトレーニングが含まれる。 このアプローチは、濃密な設定とスパース設定の両方において最先端の性能を実現する。 また,100万スケールの 'in-the-wild' データセットに同期モデルのトレーニングを拡張し,解釈可能性に対するエビデンス属性技術を調査し,同期モデルの新たな機能であるオーディオ-視覚同期性について検討する。
  論文  参考訳（メタデータ） (2024-01-29T18:59:55Z)
• Efficient Asynchronous Federated Learning with Sparsification and Quantization [55.6801207905772]
  フェデレートラーニング(FL)は、生データを転送することなく、機械学習モデルを協調的にトレーニングするために、ますます注目を集めている。 FLは一般的に、モデルトレーニングの全プロセス中にパラメータサーバーと多数のエッジデバイスを利用する。 TEASQ-Fedは、エッジデバイスを利用して、タスクに積極的に適用することで、トレーニングプロセスに非同期に参加する。
  論文  参考訳（メタデータ） (2023-12-23T07:47:07Z)
• Accelerating Distributed ML Training via Selective Synchronization [0.0]
  textttSelSyncは、DNNトレーニングの実践的で低オーバーヘッドな方法であり、各ステップでコミュニケーションを発生または回避することを動的に選択する。 トレーニング時間を最大14$times$まで短縮しながら,BSPと同等あるいはより優れた精度に収束する。
  論文  参考訳（メタデータ） (2023-07-16T05:28:59Z)
• Simplifying Distributed Neural Network Training on Massive Graphs: Randomized Partitions Improve Model Aggregation [23.018715954992352]
  本稿では、前述のコスト操作に依存しない分散GNNトレーニングのための簡易フレームワークを提案する。 具体的には,トレーニンググラフの局所的に利用可能な部分の局所モデルを非同期に学習する独立したトレーナーを編成する。 最大13億エッジのソーシャルおよびeコマースネットワークの実験において、提案したRandomTMAおよびSuperTMAアプローチは、最速のベースラインと比較して最先端のパフォーマンスと2.31倍のスピードアップを達成する。
  論文  参考訳（メタデータ） (2023-05-17T01:49:44Z)
• Does compressing activations help model parallel training? [64.59298055364336]
  モデル並列性に対する圧縮法の有効性に関する実験的検討を行った。 圧縮アルゴリズムの3つの共通クラスを実装し,評価する。 我々は160以上の設定と8つの一般的なデータセットでこれらの手法を評価した。
  論文  参考訳（メタデータ） (2023-01-06T18:58:09Z)
• Efficient and Light-Weight Federated Learning via Asynchronous Distributed Dropout [22.584080337157168]
  非同期学習プロトコルは最近、特にフェデレートラーニング(FL)設定において注目を集めている。 分散環境でデバイスの不均一性を処理するためにドロップアウト正規化を利用する新しい非同期FLフレームワークである textttAsyncDrop を提案する。 全体として、textttAsyncDropは、最先端の非同期メソッドと比較してパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2022-10-28T13:00:29Z)
• How Well Self-Supervised Pre-Training Performs with Streaming Data? [73.5362286533602]
  ストリーミング形式でデータが収集される現実のシナリオでは、ジョイントトレーニングスキームは通常、ストレージ重大で時間を要する。 ストリーミングデータでどのように連続的な自己監督プリトレーニングが実行されるかは不明です。 ストリーミングデータ内の分散シフトが軽度である場合,逐次自己教師付き学習は共同学習とほぼ同等の性能を示す。
  論文  参考訳（メタデータ） (2021-04-25T06:56:48Z)
• Sync-Switch: Hybrid Parameter Synchronization for Distributed Deep Learning [10.196574441542646]
  Gradient Descent(SGD)は、分散クラスタでディープニューラルネットワークをトレーニングする事実上の方法となっている。 トレーニングスループットとモデルの精度を決定する上で重要な要因はパラメータ同期プロトコルの選択である。 本稿では、BSPとASP.NETの両方の利点を利用するハイブリッド同期アプローチを設計する。
  論文  参考訳（メタデータ） (2021-04-16T20:49:28Z)
• Synergetic Learning of Heterogeneous Temporal Sequences for Multi-Horizon Probabilistic Forecasting [48.8617204809538]
  本稿では,新しい条件生成モデルである変分相乗型マルチホライゾンネットワーク(VSMHN)を提案する。 不均一なシーケンス間で複雑な相関関係を学習するために、深部プロセスモデルと変動的リカレントニューラルネットワークの進歩を組み合わせるために、調整されたエンコーダが考案された。 我々のモデルは変動予測を用いて効果的に訓練でき、モンテカルロシミュレーションを用いて予測を生成することができる。
  論文  参考訳（メタデータ） (2021-01-31T11:00:55Z)
• Event-based Asynchronous Sparse Convolutional Networks [54.094244806123235]
  イベントカメラはバイオインスパイアされたセンサーで、非同期でスパースな「イベント」の形で画素ごとの明るさ変化に反応する。 同期画像のようなイベント表現で訓練されたモデルを、同じ出力を持つ非同期モデルに変換するための一般的なフレームワークを提案する。 理論的および実験的に、これは高容量同期ニューラルネットワークの計算複雑性と遅延を大幅に減少させることを示す。
  論文  参考訳（メタデータ） (2020-03-20T08:39:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。