論文の概要: Coded Distributed Computing with Partial Recovery

• arxiv url: http://arxiv.org/abs/2007.02191v2
• Date: Mon, 6 Dec 2021 16:04:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-13 13:59:14.181012
• Title: Coded Distributed Computing with Partial Recovery
• Title（参考訳）: 部分回復を伴う符号化分散コンピューティング
• Authors: Emre Ozfatura and Sennur Ulukus and Deniz Gunduz
• Abstract要約: 部分回復型符号化計算(CCPR)と呼ばれる新しい符号化行列ベクトル乗法を導入する。 CCPRは計算時間と復号化の複雑さを減らし、精度と計算速度のトレードオフを可能にする。 次に、この手法をより一般的な計算タスクの分散実装に拡張し、部分的回復を伴う符号化通信方式を提案する。
• 参考スコア（独自算出の注目度）: 56.08535873173518
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Coded computation techniques provide robustness against straggling workers in distributed computing. However, most of the existing schemes require exact provisioning of the straggling behaviour and ignore the computations carried out by straggling workers. Moreover, these schemes are typically designed to recover the desired computation results accurately, while in many machine learning and iterative optimization algorithms, faster approximate solutions are known to result in an improvement in the overall convergence time. In this paper, we first introduce a novel coded matrix-vector multiplication scheme, called coded computation with partial recovery (CCPR), which benefits from the advantages of both coded and uncoded computation schemes, and reduces both the computation time and the decoding complexity by allowing a trade-off between the accuracy and the speed of computation. We then extend this approach to distributed implementation of more general computation tasks by proposing a coded communication scheme with partial recovery, where the results of subtasks computed by the workers are coded before being communicated. Numerical simulations on a large linear regression task confirm the benefits of the proposed distributed computation scheme with partial recovery in terms of the trade-off between the computation accuracy and latency.
• Abstract（参考訳）: 符号化計算技術は分散コンピューティングにおけるストラグリングワーカーに対する堅牢性を提供する。 しかし、既存のスキームのほとんどは、ストラグリング動作の正確なプロビジョニングを必要とし、ストラグリングワーカーによる計算を無視する。 さらに、これらのスキームは所望の計算結果を正確に回復するように設計され、多くの機械学習や反復最適化アルゴリズムでは、より高速な近似解が全体の収束時間の改善をもたらすことが知られている。 本稿では,まず,符号化計算と非符号化計算の双方の利点を享受し,計算精度と計算速度のトレードオフを可能とし,計算時間と復号の複雑さを低減した,符号化行列ベクトル乗算方式であるccpr(coded computational with partial recovery)を提案する。 次に,このアプローチをより一般的な計算タスクの分散実装に拡張し,部分的回復を伴う符号化通信方式を提案し,作業者が計算したサブタスクの結果を通信前に符号化する。 大規模線形回帰タスクにおける数値シミュレーションは,計算精度とレイテンシのトレードオフの観点から,部分的回復を伴う分散計算方式の利点を検証した。

関連論文リスト

• Randomized Polar Codes for Anytime Distributed Machine Learning [66.46612460837147]
  本稿では,低速な計算ノードに対して堅牢で,線形演算の近似計算と精度の両立が可能な分散コンピューティングフレームワークを提案する。 本稿では,復号化のための計算複雑性を低く保ちながら,実数値データを扱うための逐次復号アルゴリズムを提案する。 大規模行列乗算やブラックボックス最適化など,様々な文脈において,このフレームワークの潜在的な応用を実証する。
  論文  参考訳（メタデータ） (2023-09-01T18:02:04Z)
• Fast and Straggler-Tolerant Distributed SGD with Reduced Computation Load [11.069252535469644]
  勾配降下(SGD)のような最適化手順は、ストラグラーと呼ばれる非応答性や遅い労働者の影響を軽減するために利用することができる。 これは、ワーカのサブセットがアルゴリズムの各イテレーションで計算を完了するのを待つだけで実現できる。 我々は,アルゴリズムの実行時間を通じて,作業者数と計算負荷の両方を適応させる新しいスキームを構築した。
  論文  参考訳（メタデータ） (2023-04-17T20:12:18Z)
• Optimization-based Block Coordinate Gradient Coding for Mitigating Partial Stragglers in Distributed Learning [58.91954425047425]
  本稿では,分散学習における部分トラグラーの緩和を目的とした,新たな勾配符号化方式を提案する。 L の符号パラメータを L に表わした勾配座標符号化方式を提案する。
  論文  参考訳（メタデータ） (2022-06-06T09:25:40Z)
• Parallel Scheduling Self-attention Mechanism: Generalization and Optimization [0.76146285961466]
  本稿では,SAT(Satisfiability check)ソルバによって解決された小インスタンスの最適スケジューリングから導いた一般スケジューリングアルゴリズムを提案する。 余剰計算をスキップする際のさらなる最適化戦略も推進され、元の計算の約25%と50%の削減が達成される。 提案アルゴリズムは、入力ベクトルの数がアーキテクチャで利用可能な演算ユニットの数に割り切れる限り、問題のサイズにかかわらず適用可能である。
  論文  参考訳（メタデータ） (2020-12-02T12:04:16Z)
• Iterative Algorithm Induced Deep-Unfolding Neural Networks: Precoding Design for Multiuser MIMO Systems [59.804810122136345]
  本稿では,AIIDNN(ディープ・アンフォールディング・ニューラルネット)を一般化した,ディープ・アンフォールディングのためのフレームワークを提案する。 古典的重み付き最小二乗誤差(WMMSE)反復アルゴリズムの構造に基づく効率的なIAIDNNを提案する。 提案したIAIDNNは,計算複雑性を低減した反復WMMSEアルゴリズムの性能を効率よく向上することを示す。
  論文  参考訳（メタデータ） (2020-06-15T02:57:57Z)
• Age-Based Coded Computation for Bias Reduction in Distributed Learning [57.9123881133818]
  コード計算は、分散学習の高速化に使用することができる。 勾配ベクトルの部分回復は、各反復時の計算時間をさらに短縮することができる。 重なり合う行動が時間とともに相関すると、推定バイアスが特に顕著になる。
  論文  参考訳（メタデータ） (2020-06-02T17:51:11Z)
• Straggler-aware Distributed Learning: Communication Computation Latency Trade-off [56.08535873173518]
  ストラグワーカーは冗長な計算を割り当て、データと計算をまたいでコーディングすることで許容できる。 既存のほとんどのスキームでは、各非ストラグリングワーカーは、全ての計算を完了した後、1イテレーションごとに1つのメッセージをパラメータサーバ(PS)に送信する。 このような制限を課すことで、ストレグリング動作の不正確な予測による過剰計算と、ストレグラー/非ストレグラーとしての作業員の処理による未使用の2つの主な欠点が生じる。
  論文  参考訳（メタデータ） (2020-04-10T08:39:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。