論文の概要: Gradient Coding with Dynamic Clustering for Straggler-Tolerant Distributed Learning

• arxiv url: http://arxiv.org/abs/2103.01206v1
• Date: Mon, 1 Mar 2021 18:51:29 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-03 15:38:06.073716
• Title: Gradient Coding with Dynamic Clustering for Straggler-Tolerant Distributed Learning
• Title（参考訳）: 分散学習のための動的クラスタリングによるグラディエント符号化
• Authors: Baturalp Buyukates and Emre Ozfatura and Sennur Ulukus and Deniz Gunduz
• Abstract要約: 勾配降下(GD)は、複数の労働者にデータセットを分散することで学習タスクの並列化に広く用いられている。 分散同期gdにおけるイテレーション完了時間ごとの重要なパフォーマンスボトルネックは$straggling$ workersである。 コード化された分散技術は、最近ストラグラーを緩和し、労働者に冗長な計算を割り当てることでgdイテレーションを高速化するために導入された。 本稿では,従来のトラグリング動作に依存する可能性のあるコードの中から,冗長なデータを労働者に割り当てて選択する動的GC方式を提案する。
• 参考スコア（独自算出の注目度）: 55.052517095437
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Distributed implementations are crucial in speeding up large scale machine learning applications. Distributed gradient descent (GD) is widely employed to parallelize the learning task by distributing the dataset across multiple workers. A significant performance bottleneck for the per-iteration completion time in distributed synchronous GD is $straggling$ workers. Coded distributed computation techniques have been introduced recently to mitigate stragglers and to speed up GD iterations by assigning redundant computations to workers. In this paper, we consider gradient coding (GC), and propose a novel dynamic GC scheme, which assigns redundant data to workers to acquire the flexibility to dynamically choose from among a set of possible codes depending on the past straggling behavior. In particular, we consider GC with clustering, and regulate the number of stragglers in each cluster by dynamically forming the clusters at each iteration; hence, the proposed scheme is called $GC$ $with$ $dynamic$ $clustering$ (GC-DC). Under a time-correlated straggling behavior, GC-DC gains from adapting to the straggling behavior over time such that, at each iteration, GC-DC aims at distributing the stragglers across clusters as uniformly as possible based on the past straggler behavior. For both homogeneous and heterogeneous worker models, we numerically show that GC-DC provides significant improvements in the average per-iteration completion time without an increase in the communication load compared to the original GC scheme.
• Abstract（参考訳）: 分散実装は、大規模機械学習アプリケーションのスピードアップに不可欠である。 分散勾配降下(GD)は、複数の労働者にデータセットを分散することで学習タスクの並列化に広く用いられている。 分散同期gdにおけるイテレーション完了時間ごとの重要なパフォーマンスボトルネックは$straggling$ workersである。 コード分散計算技術が最近導入され、トラグラーを緩和し、冗長な計算をワーカーに割り当てることでGDイテレーションを高速化している。 本稿では, グラデーション符号化(GC)を検討し, 作業者に冗長なデータを割り当て, 過去のストラグリング動作に応じて選択可能なコード群の中から動的に選択できる柔軟性を得る, 新たな動的GCスキームを提案する。 特に,クラスタリングを伴うGCについて検討し,各反復でクラスタを動的に形成することにより,クラスタ内のストラグラー数を規制する。 時間相関のストラグリング動作の下では、gc-dcは、各イテレーションにおいて、過去のストラグラーの振る舞いに基づいて、できるだけ均一にストラグラーをクラスタに分散することを目的としている。 同種および異種労働者モデルの両方において、GC-DCは、元のGCスキームと比較して通信負荷が増加することなく、イテレーション毎の平均完了時間を大幅に改善することを示しています。

関連論文リスト

• Rethinking and Accelerating Graph Condensation: A Training-Free Approach with Class Partition [56.26113670151363]
  グラフ凝縮(Graph condensation)は、大きなグラフを小さいが情報的な凝縮グラフに置き換えるための、データ中心のソリューションである。 既存のGCメソッドは複雑な最適化プロセスに悩まされており、過剰な計算資源を必要とする。 我々は、CGC(Class-partitioned Graph Condensation)と呼ばれるトレーニング不要なGCフレームワークを提案する。 CGCはより効率的な凝縮プロセスで最先端の性能を達成する。
  論文  参考訳（メタデータ） (2024-05-22T14:57:09Z)
• ABS-SGD: A Delayed Synchronous Stochastic Gradient Descent Algorithm with Adaptive Batch Size for Heterogeneous GPU Clusters [9.885668723959125]
  不均一GPUクラスタに対する適応バッチサイズ(ABS-SGD)を用いた遅延同期分散勾配降下アルゴリズムを提案する。 ABS-SGDでは、ワーカはグローバル同期を行い、遅延勾配を蓄積し、累積遅延勾配を使用してパラメータを更新する。 3種類の異種クラスターにおける大規模な実験により、ABS-SGDが計算資源を完全に活用できることが示されている。
  論文  参考訳（メタデータ） (2023-08-29T09:46:52Z)
• Reinforcement Graph Clustering with Unknown Cluster Number [91.4861135742095]
  本稿では,Reinforcement Graph Clusteringと呼ばれる新しいディープグラフクラスタリング手法を提案する。 提案手法では,クラスタ数決定と教師なし表現学習を統一的なフレームワークに統合する。 フィードバック動作を行うために、クラスタリング指向の報酬関数を提案し、同一クラスタの凝集を高め、異なるクラスタを分離する。
  論文  参考訳（メタデータ） (2023-08-13T18:12:28Z)
• Sequential Gradient Coding For Straggler Mitigation [28.090458692750023]
  分散コンピューティングでは、遅いノード(ストラグラー)がボトルネックとなる。 グラディエント符号化(GC)は、誤り訂正符号の原理を用いて、ストラグラーの存在下で勾配計算を分散する効率的な手法である。 本稿では,GCと比較して性能向上を示す2つのスキームを提案する。
  論文  参考訳（メタデータ） (2022-11-24T21:12:49Z)
• Rethinking and Scaling Up Graph Contrastive Learning: An Extremely Efficient Approach with Group Discrimination [87.07410882094966]
  グラフコントラスト学習(GCL)は、グラフ表現学習(GRL)におけるラベル情報への依存度を緩和する 自己教師型GRLのための新しい学習パラダイム、すなわちグループ識別(GD)を導入する。 類似性計算の代わりに、GGDは単純なバイナリクロスエントロピー損失を持つ要約ノードインスタンスの2つのグループを直接識別する。 加えて、GGDは大規模データセット上でのGCL法と比較して、競争性能を得るために、はるかに少ないトレーニングエポックを必要とする。
  論文  参考訳（メタデータ） (2022-06-03T12:32:47Z)
• CGC: Contrastive Graph Clustering for Community Detection and Tracking [33.48636823444052]
  グラフクラスタリングのための新しいエンドツーエンドフレームワークであるCGCを開発した。 CGCは、対照的なグラフ学習フレームワークでノードの埋め込みとクラスタ割り当てを学習する。 時間進化データに対してCGCを拡張し、時間的グラフクラスタリングを漸進的な学習方式で行う。
  論文  参考訳（メタデータ） (2022-04-05T17:34:47Z)
• Gradient Coding with Dynamic Clustering for Straggler Mitigation [57.9123881133818]
  GC-DCは、前回のイテレーションにおけるストラグラーの振る舞いに基づいて、各クラスタ内のストラグラーワーカ数を規制する。 本稿では,GC-DCが従来のGC方式に比べて通信負荷を増大させることなく,各イテレーションの平均完了時間(各イテレーション)を大幅に改善できることを数値的に示す。
  論文  参考訳（メタデータ） (2020-11-03T18:52:15Z)
• Online Deep Clustering for Unsupervised Representation Learning [108.33534231219464]
  オンラインディープクラスタリング(ODC)は、交互にではなく、クラスタリングとネットワーク更新を同時に実行する。 我々は,2つの動的メモリモジュール,すなわち,サンプルラベルと特徴を格納するサンプルメモリと,セントロイド進化のためのセントロイドメモリを設計,維持する。 このように、ラベルとネットワークは交互にではなく肩から肩へと進化する。
  論文  参考訳（メタデータ） (2020-06-18T16:15:46Z)
• DaSGD: Squeezing SGD Parallelization Performance in Distributed Training Using Delayed Averaging [4.652668321425679]
  ミニバッチ勾配降下(SGD)アルゴリズムでは、作業者は前方/後方の伝搬を停止する必要がある。 DaSGDはSGDとフォワード/バックの伝搬を並列化し、通信オーバーヘッドの100%を隠蔽する。
  論文  参考訳（メタデータ） (2020-05-31T05:43:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。