論文の概要: Age-Based Coded Computation for Bias Reduction in Distributed Learning
- arxiv url: http://arxiv.org/abs/2006.01816v1
- Date: Tue, 2 Jun 2020 17:51:11 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-26 01:27:59.453981
- Title: Age-Based Coded Computation for Bias Reduction in Distributed Learning
- Title(参考訳): 分散学習におけるバイアス削減のための年齢コード計算
- Authors: Emre Ozfatura and Baturalp Buyukates and Deniz Gunduz and Sennur
Ulukus
- Abstract要約: コード計算は、分散学習の高速化に使用することができる。
勾配ベクトルの部分回復は、各反復時の計算時間をさらに短縮することができる。
重なり合う行動が時間とともに相関すると、推定バイアスが特に顕著になる。
- 参考スコア(独自算出の注目度): 57.9123881133818
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Coded computation can be used to speed up distributed learning in the
presence of straggling workers. Partial recovery of the gradient vector can
further reduce the computation time at each iteration; however, this can result
in biased estimators, which may slow down convergence, or even cause
divergence. Estimator bias will be particularly prevalent when the straggling
behavior is correlated over time, which results in the gradient estimators
being dominated by a few fast servers. To mitigate biased estimators, we design
a $timely$ dynamic encoding framework for partial recovery that includes an
ordering operator that changes the codewords and computation orders at workers
over time. To regulate the recovery frequencies, we adopt an $age$ metric in
the design of the dynamic encoding scheme. We show through numerical results
that the proposed dynamic encoding strategy increases the timeliness of the
recovered computations, which as a result, reduces the bias in model updates,
and accelerates the convergence compared to the conventional static partial
recovery schemes.
- Abstract(参考訳): コード化された計算は、乱雑な労働者の存在下で分散学習をスピードアップするために使用できる。
勾配ベクトルの部分的なリカバリは、各イテレーションでの計算時間をさらに短縮することができるが、これは偏りのある推定器となり、収束を遅くしたり、あるいは分岐を引き起こすこともある。
階層的振舞いが時間とともに相関すると、推定器のバイアスが特に顕著になるため、勾配推定器は数台の高速サーバに支配されることになる。
偏りのある推定器を緩和するために,時間とともに作業者のコードワードや計算順序を変更する順序演算子を含む部分回復のための動的符号化フレームワークを設計する。
回復周波数を調節するために、動的符号化方式の設計に$age$のメートル法を採用する。
提案した動的符号化手法は, モデル更新のバイアスを低減し, 従来の静的部分的復元方式と比較して収束を加速させる。
関連論文リスト
- Randomized Polar Codes for Anytime Distributed Machine Learning [66.46612460837147]
本稿では,低速な計算ノードに対して堅牢で,線形演算の近似計算と精度の両立が可能な分散コンピューティングフレームワークを提案する。
本稿では,復号化のための計算複雑性を低く保ちながら,実数値データを扱うための逐次復号アルゴリズムを提案する。
大規模行列乗算やブラックボックス最適化など,様々な文脈において,このフレームワークの潜在的な応用を実証する。
論文 参考訳(メタデータ) (2023-09-01T18:02:04Z) - Fast and Straggler-Tolerant Distributed SGD with Reduced Computation
Load [11.069252535469644]
勾配降下(SGD)のような最適化手順は、ストラグラーと呼ばれる非応答性や遅い労働者の影響を軽減するために利用することができる。
これは、ワーカのサブセットがアルゴリズムの各イテレーションで計算を完了するのを待つだけで実現できる。
我々は,アルゴリズムの実行時間を通じて,作業者数と計算負荷の両方を適応させる新しいスキームを構築した。
論文 参考訳(メタデータ) (2023-04-17T20:12:18Z) - Temporal Difference Learning with Compressed Updates: Error-Feedback
meets Reinforcement Learning [32.937264507807214]
一般的な強化学習アルゴリズムは、同様の摂動に対して堅牢であることを示す。
我々の研究は、一般圧縮演算子と線形関数近似とマルコフサンプリングを併用したタンデムの誤差フィードバックを初めて考慮したものである。
論文 参考訳(メタデータ) (2023-01-03T04:09:38Z) - Nested Gradient Codes for Straggler Mitigation in Distributed Machine
Learning [21.319460501659666]
グラディエントコードは、一定数のストラグラーを許容するように設計されている。
フレキシブルなトラグラー数に許容できる勾配符号化方式を提案する。
適切なタスクスケジューリングと小さな追加シグナリングにより、作業者の負荷を実際のストラグラー数に適応させる。
論文 参考訳(メタデータ) (2022-12-16T16:56:51Z) - Loop Unrolled Shallow Equilibrium Regularizer (LUSER) -- A
Memory-Efficient Inverse Problem Solver [26.87738024952936]
逆問題では、潜在的に破損し、しばしば不適切な測定結果から、いくつかの基本的な関心のシグナルを再構築することを目的としている。
浅い平衡正規化器(L)を用いたLUアルゴリズムを提案する。
これらの暗黙のモデルは、より深い畳み込みネットワークと同じくらい表現力があるが、トレーニング中にはるかにメモリ効率が良い。
論文 参考訳(メタデータ) (2022-10-10T19:50:37Z) - Gradient Coding with Dynamic Clustering for Straggler Mitigation [57.9123881133818]
GC-DCは、前回のイテレーションにおけるストラグラーの振る舞いに基づいて、各クラスタ内のストラグラーワーカ数を規制する。
本稿では,GC-DCが従来のGC方式に比べて通信負荷を増大させることなく,各イテレーションの平均完了時間(各イテレーション)を大幅に改善できることを数値的に示す。
論文 参考訳(メタデータ) (2020-11-03T18:52:15Z) - Coded Distributed Computing with Partial Recovery [56.08535873173518]
部分回復型符号化計算(CCPR)と呼ばれる新しい符号化行列ベクトル乗法を導入する。
CCPRは計算時間と復号化の複雑さを減らし、精度と計算速度のトレードオフを可能にする。
次に、この手法をより一般的な計算タスクの分散実装に拡張し、部分的回復を伴う符号化通信方式を提案する。
論文 参考訳(メタデータ) (2020-07-04T21:34:49Z) - Accelerated Convergence for Counterfactual Learning to Rank [65.63997193915257]
IPS重み付き勾配を持つSGD手法の収束速度は、IPS重みによる大きなばらつきに悩まされることを示す。
本稿では,従来のIPS重み付け勾配降下法よりも優れた収束性を有する新しい学習アルゴリズムであるCounterSampleを提案する。
我々は、CounterSampleがより早く収束し、理論的な結果と経験的な結果とを補完することを証明する。
論文 参考訳(メタデータ) (2020-05-21T12:53:36Z) - Straggler-aware Distributed Learning: Communication Computation Latency
Trade-off [56.08535873173518]
ストラグワーカーは冗長な計算を割り当て、データと計算をまたいでコーディングすることで許容できる。
既存のほとんどのスキームでは、各非ストラグリングワーカーは、全ての計算を完了した後、1イテレーションごとに1つのメッセージをパラメータサーバ(PS)に送信する。
このような制限を課すことで、ストレグリング動作の不正確な予測による過剰計算と、ストレグラー/非ストレグラーとしての作業員の処理による未使用の2つの主な欠点が生じる。
論文 参考訳(メタデータ) (2020-04-10T08:39:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。