論文の概要: Gradient Coding with Dynamic Clustering for Straggler Mitigation

• arxiv url: http://arxiv.org/abs/2011.01922v1
• Date: Tue, 3 Nov 2020 18:52:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-30 06:27:59.152118
• Title: Gradient Coding with Dynamic Clustering for Straggler Mitigation
• Title（参考訳）: 動的クラスタリングによるストラグラー緩和のためのグラディエント符号化
• Authors: Baturalp Buyukates and Emre Ozfatura and Sennur Ulukus and Deniz Gunduz
• Abstract要約: GC-DCは、前回のイテレーションにおけるストラグラーの振る舞いに基づいて、各クラスタ内のストラグラーワーカ数を規制する。 本稿では,GC-DCが従来のGC方式に比べて通信負荷を増大させることなく,各イテレーションの平均完了時間(各イテレーション)を大幅に改善できることを数値的に示す。
• 参考スコア（独自算出の注目度）: 57.9123881133818
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In distributed synchronous gradient descent (GD) the main performance bottleneck for the per-iteration completion time is the slowest \textit{straggling} workers. To speed up GD iterations in the presence of stragglers, coded distributed computation techniques are implemented by assigning redundant computations to workers. In this paper, we propose a novel gradient coding (GC) scheme that utilizes dynamic clustering, denoted by GC-DC, to speed up the gradient calculation. Under time-correlated straggling behavior, GC-DC aims at regulating the number of straggling workers in each cluster based on the straggler behavior in the previous iteration. We numerically show that GC-DC provides significant improvements in the average completion time (of each iteration) with no increase in the communication load compared to the original GC scheme.
• Abstract（参考訳）: 分散同期勾配降下(GD)では、各項目の完了時間の主なパフォーマンスボトルネックは、最も遅い \textit{straggling} ワーカーである。 ストラグラーが存在する場合のGDイテレーションを高速化するために、冗長な計算をワーカーに割り当てることで、符号化された分散計算技術を実装している。 本稿では,gc-dcで表される動的クラスタリングを用いて,勾配計算を高速化する新しい勾配符号化(gc)方式を提案する。 GC-DCは、時間に関連したストラグリング動作の下で、前回のイテレーションにおけるストラグラーの振る舞いに基づいて、各クラスタ内のストラグリングワーカーの数を調整することを目的としている。 我々は,gc-dcが通信負荷を増加させることなく(各イテレーションの)平均完了時間を大幅に改善できることを数値的に示す。

関連論文リスト

• Rethinking and Accelerating Graph Condensation: A Training-Free Approach with Class Partition [56.26113670151363]
  グラフ凝縮(Graph condensation)は、大きなグラフを小さいが情報的な凝縮グラフに置き換えるための、データ中心のソリューションである。 既存のGCメソッドは複雑な最適化プロセスに悩まされており、過剰な計算資源を必要とする。 我々は、CGC(Class-partitioned Graph Condensation)と呼ばれるトレーニング不要なGCフレームワークを提案する。 CGCはより効率的な凝縮プロセスで最先端の性能を達成する。
  論文  参考訳（メタデータ） (2024-05-22T14:57:09Z)
• ABS-SGD: A Delayed Synchronous Stochastic Gradient Descent Algorithm with Adaptive Batch Size for Heterogeneous GPU Clusters [9.885668723959125]
  不均一GPUクラスタに対する適応バッチサイズ(ABS-SGD)を用いた遅延同期分散勾配降下アルゴリズムを提案する。 ABS-SGDでは、ワーカはグローバル同期を行い、遅延勾配を蓄積し、累積遅延勾配を使用してパラメータを更新する。 3種類の異種クラスターにおける大規模な実験により、ABS-SGDが計算資源を完全に活用できることが示されている。
  論文  参考訳（メタデータ） (2023-08-29T09:46:52Z)
• Sequential Gradient Coding For Straggler Mitigation [28.090458692750023]
  分散コンピューティングでは、遅いノード(ストラグラー)がボトルネックとなる。 グラディエント符号化(GC)は、誤り訂正符号の原理を用いて、ストラグラーの存在下で勾配計算を分散する効率的な手法である。 本稿では,GCと比較して性能向上を示す2つのスキームを提案する。
  論文  参考訳（メタデータ） (2022-11-24T21:12:49Z)
• Gradient Coding with Dynamic Clustering for Straggler-Tolerant Distributed Learning [55.052517095437]
  勾配降下(GD)は、複数の労働者にデータセットを分散することで学習タスクの並列化に広く用いられている。 分散同期gdにおけるイテレーション完了時間ごとの重要なパフォーマンスボトルネックは$straggling$ workersである。 コード化された分散技術は、最近ストラグラーを緩和し、労働者に冗長な計算を割り当てることでgdイテレーションを高速化するために導入された。 本稿では,従来のトラグリング動作に依存する可能性のあるコードの中から,冗長なデータを労働者に割り当てて選択する動的GC方式を提案する。
  論文  参考訳（メタデータ） (2021-03-01T18:51:29Z)
• Sparse Communication for Training Deep Networks [56.441077560085475]
  同期勾配降下(SGD)は、ディープラーニングモデルの分散トレーニングに最もよく用いられる手法である。 このアルゴリズムでは、各ワーカーは他のワーカーと局所勾配を共有し、すべてのワーカーの平均勾配を使ってパラメータを更新する。 いくつかの圧縮スキームについて検討し、3つの重要なパラメータが性能に与える影響を同定する。
  論文  参考訳（メタデータ） (2020-09-19T17:28:11Z)
• Age-Based Coded Computation for Bias Reduction in Distributed Learning [57.9123881133818]
  コード計算は、分散学習の高速化に使用することができる。 勾配ベクトルの部分回復は、各反復時の計算時間をさらに短縮することができる。 重なり合う行動が時間とともに相関すると、推定バイアスが特に顕著になる。
  論文  参考訳（メタデータ） (2020-06-02T17:51:11Z)
• DaSGD: Squeezing SGD Parallelization Performance in Distributed Training Using Delayed Averaging [4.652668321425679]
  ミニバッチ勾配降下(SGD)アルゴリズムでは、作業者は前方/後方の伝搬を停止する必要がある。 DaSGDはSGDとフォワード/バックの伝搬を並列化し、通信オーバーヘッドの100%を隠蔽する。
  論文  参考訳（メタデータ） (2020-05-31T05:43:50Z)
• Gradient Centralization: A New Optimization Technique for Deep Neural Networks [74.935141515523]
  勾配集中(GC)は、勾配ベクトルをゼロ平均とする集中化によって、勾配を直接操作する。 GCは、制約された損失関数を持つ射影勾配降下法とみなすことができる。 GCは実装が非常に簡単で、1行のコードだけで既存のグラデーションベースのDNNに簡単に組み込める。
  論文  参考訳（メタデータ） (2020-04-03T10:25:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。