論文の概要: Nested Gradient Codes for Straggler Mitigation in Distributed Machine Learning

• arxiv url: http://arxiv.org/abs/2212.08580v1
• Date: Fri, 16 Dec 2022 16:56:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-19 16:14:39.057170
• Title: Nested Gradient Codes for Straggler Mitigation in Distributed Machine Learning
• Title（参考訳）: 分散機械学習におけるストラグラー緩和のためのネスト勾配符号
• Authors: Luis Ma{\ss}ny, Christoph Hofmeister, Maximilian Egger, Rawad Bitar, Antonia Wachter-Zeh
• Abstract要約: グラディエントコードは、一定数のストラグラーを許容するように設計されている。 フレキシブルなトラグラー数に許容できる勾配符号化方式を提案する。 適切なタスクスケジューリングと小さな追加シグナリングにより、作業者の負荷を実際のストラグラー数に適応させる。
• 参考スコア（独自算出の注目度）: 21.319460501659666
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider distributed learning in the presence of slow and unresponsive worker nodes, referred to as stragglers. In order to mitigate the effect of stragglers, gradient coding redundantly assigns partial computations to the worker such that the overall result can be recovered from only the non-straggling workers. Gradient codes are designed to tolerate a fixed number of stragglers. Since the number of stragglers in practice is random and unknown a priori, tolerating a fixed number of stragglers can yield a sub-optimal computation load and can result in higher latency. We propose a gradient coding scheme that can tolerate a flexible number of stragglers by carefully concatenating gradient codes for different straggler tolerance. By proper task scheduling and small additional signaling, our scheme adapts the computation load of the workers to the actual number of stragglers. We analyze the latency of our proposed scheme and show that it has a significantly lower latency than gradient codes.
• Abstract（参考訳）: ストラグラーと呼ばれる低速で非応答なワーカノードの存在下での分散学習を考える。 ストラグラーの効果を緩和するために、勾配符号は作業者に部分的な計算を冗長に割り当て、その結果は非作業者のみから回収できる。 勾配符号は固定数のストラグラーを許容するように設計されている。 実際には、ストラグラーの数がランダムで未知であるため、固定数のストラグラーを許容することは、準最適計算負荷を生じさせ、より高いレイテンシをもたらす。 本研究では,異なるストラグラー耐性のための勾配符号を慎重に結合することにより,フレキシブルなトラグラー数に許容できる勾配符号化方式を提案する。 適切なタスクスケジューリングと小さな追加のシグナリングにより、このスキームは作業者の計算負荷を実際のストラグラー数に適応させる。 提案手法のレイテンシを分析し,勾配符号よりも遅延が有意に低いことを示す。

関連論文リスト

• DEFT: Exploiting Gradient Norm Difference between Model Layers for Scalable Gradient Sparsification [0.6091702876917281]
  勾配スペーシフィケーションは分散ディープラーニングにおける過剰な通信トラフィックを減らすために広く採用されているソリューションである。 本稿では、勾配選択タスクをサブタスクに分割し、労働者に分散する新しい勾配スペーシフィケーションスキームDEFTを提案する。 既存のスパリファイアよりも勾配選択の速度において,DEFTはトレーニング性能が大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2023-07-07T10:29:25Z)
• Optimization-based Block Coordinate Gradient Coding for Mitigating Partial Stragglers in Distributed Learning [58.91954425047425]
  本稿では,分散学習における部分トラグラーの緩和を目的とした,新たな勾配符号化方式を提案する。 L の符号パラメータを L に表わした勾配座標符号化方式を提案する。
  論文  参考訳（メタデータ） (2022-06-06T09:25:40Z)
• Lightweight Projective Derivative Codes for Compressed Asynchronous Gradient Descent [6.055286666916789]
  本稿では, 偏微分自体を符号化し, さらに, 導出語に対して損失圧縮を行うことにより, 符号を最適化するアルゴリズムを提案する。 この符号化理論の適用性は、勾配降下に基づく学習アルゴリズムにおいてノイズは許容可能であり、時には有用である、という最適化研究における観測事実の幾何学的帰結である。
  論文  参考訳（メタデータ） (2022-01-31T04:08:53Z)
• Gradient Coding with Dynamic Clustering for Straggler Mitigation [57.9123881133818]
  GC-DCは、前回のイテレーションにおけるストラグラーの振る舞いに基づいて、各クラスタ内のストラグラーワーカ数を規制する。 本稿では,GC-DCが従来のGC方式に比べて通信負荷を増大させることなく,各イテレーションの平均完了時間(各イテレーション)を大幅に改善できることを数値的に示す。
  論文  参考訳（メタデータ） (2020-11-03T18:52:15Z)
• Sparse Communication for Training Deep Networks [56.441077560085475]
  同期勾配降下(SGD)は、ディープラーニングモデルの分散トレーニングに最もよく用いられる手法である。 このアルゴリズムでは、各ワーカーは他のワーカーと局所勾配を共有し、すべてのワーカーの平均勾配を使ってパラメータを更新する。 いくつかの圧縮スキームについて検討し、3つの重要なパラメータが性能に与える影響を同定する。
  論文  参考訳（メタデータ） (2020-09-19T17:28:11Z)
• Approximate Gradient Coding with Optimal Decoding [22.069731881164895]
  分散最適化問題では、グラデーションコーディングと呼ばれる手法が、ストラグリングマシンの効果を軽減するために用いられている。 近年の研究では、データの複製係数が低すぎる符号化スキームに関する近似勾配符号化について研究している。 拡張器グラフに基づく新しい近似勾配符号を導入し、各マシンが正確に2ブロックのデータポイントを受信する。
  論文  参考訳（メタデータ） (2020-06-17T03:46:27Z)
• Age-Based Coded Computation for Bias Reduction in Distributed Learning [57.9123881133818]
  コード計算は、分散学習の高速化に使用することができる。 勾配ベクトルの部分回復は、各反復時の計算時間をさらに短縮することができる。 重なり合う行動が時間とともに相関すると、推定バイアスが特に顕著になる。
  論文  参考訳（メタデータ） (2020-06-02T17:51:11Z)
• Communication-Efficient Gradient Coding for Straggler Mitigation in Distributed Learning [17.454251607446555]
  サーバがワーカマシン間で勾配計算を分散するグラデーションベースのメソッドの分散実装では、2つの制限を克服する必要がある。 Ye氏とAbe氏(ICML 2018)は、ワーカ毎の計算負荷、ワーカ毎の通信オーバーヘッド、ストラグラートレランスの基本的なトレードオフを特徴付ける、コーディング理論のパラダイムを提案した。 これらの欠点を克服するための通信効率のよい勾配符号化フレームワークを開発した。
  論文  参考訳（メタデータ） (2020-05-14T17:57:13Z)
• Straggler-aware Distributed Learning: Communication Computation Latency Trade-off [56.08535873173518]
  ストラグワーカーは冗長な計算を割り当て、データと計算をまたいでコーディングすることで許容できる。 既存のほとんどのスキームでは、各非ストラグリングワーカーは、全ての計算を完了した後、1イテレーションごとに1つのメッセージをパラメータサーバ(PS)に送信する。 このような制限を課すことで、ストレグリング動作の不正確な予測による過剰計算と、ストレグラー/非ストレグラーとしての作業員の処理による未使用の2つの主な欠点が生じる。
  論文  参考訳（メタデータ） (2020-04-10T08:39:36Z)
• Variance Reduction with Sparse Gradients [82.41780420431205]
  SVRGやSpiderBoostのような分散還元法では、大きなバッチ勾配と小さなバッチ勾配が混在している。 我々は、新しい空間演算子:ランダムトップk演算子を導入する。 我々のアルゴリズムは、画像分類、自然言語処理、スパース行列分解など様々なタスクにおいて、一貫してSpiderBoostより優れています。
  論文  参考訳（メタデータ） (2020-01-27T08:23:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。