論文の概要: Communication-Efficient Gradient Coding for Straggler Mitigation in Distributed Learning

• arxiv url: http://arxiv.org/abs/2005.07184v1
• Date: Thu, 14 May 2020 17:57:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-03 05:38:18.887428
• Title: Communication-Efficient Gradient Coding for Straggler Mitigation in Distributed Learning
• Title（参考訳）: 分散学習におけるストラグラー緩和のための通信効率の高い勾配符号化
• Authors: Swanand Kadhe, O. Ozan Koyluoglu, and Kannan Ramchandran
• Abstract要約: サーバがワーカマシン間で勾配計算を分散するグラデーションベースのメソッドの分散実装では、2つの制限を克服する必要がある。 Ye氏とAbe氏(ICML 2018)は、ワーカ毎の計算負荷、ワーカ毎の通信オーバーヘッド、ストラグラートレランスの基本的なトレードオフを特徴付ける、コーディング理論のパラダイムを提案した。 これらの欠点を克服するための通信効率のよい勾配符号化フレームワークを開発した。
• 参考スコア（独自算出の注目度）: 17.454251607446555
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Distributed implementations of gradient-based methods, wherein a server distributes gradient computations across worker machines, need to overcome two limitations: delays caused by slow running machines called 'stragglers', and communication overheads. Recently, Ye and Abbe [ICML 2018] proposed a coding-theoretic paradigm to characterize a fundamental trade-off between computation load per worker, communication overhead per worker, and straggler tolerance. However, their proposed coding schemes suffer from heavy decoding complexity and poor numerical stability. In this paper, we develop a communication-efficient gradient coding framework to overcome these drawbacks. Our proposed framework enables using any linear code to design the encoding and decoding functions. When a particular code is used in this framework, its block-length determines the computation load, dimension determines the communication overhead, and minimum distance determines the straggler tolerance. The flexibility of choosing a code allows us to gracefully trade-off the straggler threshold and communication overhead for smaller decoding complexity and higher numerical stability. Further, we show that using a maximum distance separable (MDS) code generated by a random Gaussian matrix in our framework yields a gradient code that is optimal with respect to the trade-off and, in addition, satisfies stronger guarantees on numerical stability as compared to the previously proposed schemes. Finally, we evaluate our proposed framework on Amazon EC2 and demonstrate that it reduces the average iteration time by 16% as compared to prior gradient coding schemes.
• Abstract（参考訳）: サーバがワーカーマシンにまたがって勾配計算を分散する勾配ベースのメソッドの分散実装では、"ストラグラー"と呼ばれる遅い実行マシンによる遅延と通信オーバーヘッドという2つの制限を克服する必要がある。 ye と abbe [icml 2018] は先日,ワーカ当たりの計算負荷,ワーカ当たりの通信オーバーヘッド,ストラグラー耐性といった基本的なトレードオフを特徴付ける,コーディング理論のパラダイムを提案した。 しかし、それらの符号化方式は高いデコード複雑さと低い数値安定性に苦しむ。 本稿では,これらの欠点を克服する通信効率のよい勾配符号化フレームワークを開発する。 提案するフレームワークでは,任意の線形コードを用いてエンコーディングとデコード関数を設計できる。 このフレームワークで特定のコードを使用する場合、そのブロック長が計算負荷を決定し、次元が通信オーバーヘッドを決定し、最小距離がストラグラー耐性を決定する。 コードの選択の柔軟性により、より小さな復号複雑さと高い数値安定性のために、ストラグラーしきい値と通信オーバーヘッドを優雅にトレードオフできる。 さらに, ランダムガウス行列が生成する最大距離分離性(mds)符号を用いることで, トレードオフに対して最適である勾配符号が得られること, また, 提案手法と比較して数値安定性の保証が強くなることを示す。 最後に,提案フレームワークをAmazon EC2上で評価し,従来の勾配符号化方式と比較して平均イテレーション時間を16%短縮することを示した。

関連論文リスト

• Accelerating Error Correction Code Transformers [56.75773430667148]
  本稿では,トランスを用いたデコーダの高速化手法を提案する。 最新のハードウェアでは、90%の圧縮比を実現し、算術演算エネルギー消費を少なくとも224倍削減する。
  論文  参考訳（メタデータ） (2024-10-08T11:07:55Z)
• Factor Graph Optimization of Error-Correcting Codes for Belief Propagation Decoding [62.25533750469467]
  低密度パリティ・チェック (LDPC) コードは、他の種類のコードに対していくつかの利点がある。 提案手法は,既存の人気符号の復号性能を桁違いに向上させる。
  論文  参考訳（メタデータ） (2024-06-09T12:08:56Z)
• Practical Conformer: Optimizing size, speed and flops of Conformer for on-Device and cloud ASR [67.63332492134332]
  我々は、デバイス上の制約を満たすのに十分小さく、TPUを高速に推論できる最適化されたコンバータを設計する。 提案するエンコーダは、デバイス上では強力なスタンドアロンエンコーダとして、また高性能なASRパイプラインの第1部として利用することができる。
  論文  参考訳（メタデータ） (2023-03-31T23:30:48Z)
• Nested Gradient Codes for Straggler Mitigation in Distributed Machine Learning [21.319460501659666]
  グラディエントコードは、一定数のストラグラーを許容するように設計されている。 フレキシブルなトラグラー数に許容できる勾配符号化方式を提案する。 適切なタスクスケジューリングと小さな追加シグナリングにより、作業者の負荷を実際のストラグラー数に適応させる。
  論文  参考訳（メタデータ） (2022-12-16T16:56:51Z)
• Optimization-based Block Coordinate Gradient Coding for Mitigating Partial Stragglers in Distributed Learning [58.91954425047425]
  本稿では,分散学習における部分トラグラーの緩和を目的とした,新たな勾配符号化方式を提案する。 L の符号パラメータを L に表わした勾配座標符号化方式を提案する。
  論文  参考訳（メタデータ） (2022-06-06T09:25:40Z)
• Lightweight Projective Derivative Codes for Compressed Asynchronous Gradient Descent [6.055286666916789]
  本稿では, 偏微分自体を符号化し, さらに, 導出語に対して損失圧縮を行うことにより, 符号を最適化するアルゴリズムを提案する。 この符号化理論の適用性は、勾配降下に基づく学習アルゴリズムにおいてノイズは許容可能であり、時には有用である、という最適化研究における観測事実の幾何学的帰結である。
  論文  参考訳（メタデータ） (2022-01-31T04:08:53Z)
• Distributed Learning and Democratic Embeddings: Polynomial-Time Source Coding Schemes Can Achieve Minimax Lower Bounds for Distributed Gradient Descent under Communication Constraints [46.17631511884969]
  我々は、n次元ユークリッド空間においてベクトルを圧縮する問題を考える。 数値化器の被覆効率が次元独立であるか、あるいは非常に弱い対数依存であるという意味では、民主主義的および民主的に近いソースコーディングスキームが(ほぼ)最適であることを示す。 分散最適化アルゴリズムDGD-DEFを提案する。このアルゴリズムは,提案した符号化戦略を用いて,(ほぼ)定数要素内における最小収束率を実現する。
  論文  参考訳（メタデータ） (2021-03-13T00:04:11Z)
• Approximate Gradient Coding with Optimal Decoding [22.069731881164895]
  分散最適化問題では、グラデーションコーディングと呼ばれる手法が、ストラグリングマシンの効果を軽減するために用いられている。 近年の研究では、データの複製係数が低すぎる符号化スキームに関する近似勾配符号化について研究している。 拡張器グラフに基づく新しい近似勾配符号を導入し、各マシンが正確に2ブロックのデータポイントを受信する。
  論文  参考訳（メタデータ） (2020-06-17T03:46:27Z)
• Straggler-aware Distributed Learning: Communication Computation Latency Trade-off [56.08535873173518]
  ストラグワーカーは冗長な計算を割り当て、データと計算をまたいでコーディングすることで許容できる。 既存のほとんどのスキームでは、各非ストラグリングワーカーは、全ての計算を完了した後、1イテレーションごとに1つのメッセージをパラメータサーバ(PS)に送信する。 このような制限を課すことで、ストレグリング動作の不正確な予測による過剰計算と、ストレグラー/非ストレグラーとしての作業員の処理による未使用の2つの主な欠点が生じる。
  論文  参考訳（メタデータ） (2020-04-10T08:39:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。