論文の概要: Variants on Block Design Based Gradient Codes for Adversarial Stragglers

• arxiv url: http://arxiv.org/abs/2105.05231v1
• Date: Tue, 11 May 2021 17:49:05 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-12 15:31:03.804390
• Title: Variants on Block Design Based Gradient Codes for Adversarial Stragglers
• Title（参考訳）: ブロック設計に基づく逆ストラグラーの勾配符号の変種
• Authors: Animesh Sakorikar and Lele Wang
• Abstract要約: グラデーションコーディングは、分散機械学習アプリケーションにおいて、ストラグラーとして知られる遅いマシンや非応答マシンに対して堅牢性を提供する。 最近、Kadheら。 不完全なブロック設計に基づくグラデーションコードを提案し、バランスの取れた逆ブロック設計 (BIBD) と呼ばれる。 本稿では,この制限を克服し,BIBD勾配符号の優れた性能を維持しつつ,幅広いパラメータに対して存在する勾配符号を構築することを目的とする。
• 参考スコア（独自算出の注目度）: 3.5661843925286574
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Gradient coding is a coding theoretic framework to provide robustness against slow or unresponsive machines, known as stragglers, in distributed machine learning applications. Recently, Kadhe et al. proposed a gradient code based on a combinatorial design, called balanced incomplete block design (BIBD), which is shown to outperform many existing gradient codes in worst-case adversarial straggling scenarios. However, parameters for which such BIBD constructions exist are very limited. In this paper, we aim to overcome such limitations and construct gradient codes which exist for a wide range of parameters while retaining the superior performance of BIBD gradient codes. Two such constructions are proposed, one based on a probabilistic construction that relax the stringent BIBD gradient code constraints, and the other based on taking the Kronecker product of existing gradient codes. Theoretical error bounds for worst-case adversarial straggling scenarios are derived. Simulations show that the proposed constructions can outperform existing gradient codes with similar redundancy per data piece.
• Abstract（参考訳）: グラディエントコーディング(Gradient coding)は、分散機械学習アプリケーションにおいて、遅い、あるいはレスポンシブなマシンに対して堅牢性を提供するコーディング理論フレームワークである。 最近、Kadheら。 組み合わさった不完全ブロック設計(BIBD)と呼ばれる、組合せ設計に基づく勾配コードを提案した。 しかし、そのようなBIBD構造が存在するパラメータは非常に限られている。 本稿では,この制限を克服し,BIBD勾配符号の優れた性能を維持しつつ,幅広いパラメータに対して存在する勾配符号を構築することを目的とする。 そのような2つの構成法が提案され、1つは、厳密なBIBD勾配符号制約を緩和する確率的構造に基づくものであり、もう1つは既存の勾配符号のKronecker積を取ることに基づくものである。 最悪の逆行シナリオに対する理論的誤差境界が導出される。 シミュレーションにより,提案手法はデータ単位の冗長性に類似した既存の勾配符号よりも優れていることが示された。

関連論文リスト

• Factor Graph Optimization of Error-Correcting Codes for Belief Propagation Decoding [62.25533750469467]
  低密度パリティ・チェック (LDPC) コードは、他の種類のコードに対していくつかの利点がある。 提案手法は,既存の人気符号の復号性能を桁違いに向上させる。
  論文  参考訳（メタデータ） (2024-06-09T12:08:56Z)
• Learning Linear Block Error Correction Codes [62.25533750469467]
  本稿では,バイナリ線形ブロック符号の統一エンコーダデコーダトレーニングを初めて提案する。 また,コード勾配の効率的なバックプロパゲーションのために,自己注意マスキングを行うトランスフォーマーモデルを提案する。
  論文  参考訳（メタデータ） (2024-05-07T06:47:12Z)
• Belief Propagation Decoding of Quantum LDPC Codes with Guided Decimation [55.8930142490617]
  BPガイドデシミテーション(BPGD)に基づくQLDPC符号のデコーダを提案する。 BPGDは非収束によるBP故障率を著しく低下させる。
  論文  参考訳（メタデータ） (2023-12-18T05:58:07Z)
• Optimization-based Block Coordinate Gradient Coding for Mitigating Partial Stragglers in Distributed Learning [58.91954425047425]
  本稿では,分散学習における部分トラグラーの緩和を目的とした,新たな勾配符号化方式を提案する。 L の符号パラメータを L に表わした勾配座標符号化方式を提案する。
  論文  参考訳（メタデータ） (2022-06-06T09:25:40Z)
• Towards Extremely Fast Bilevel Optimization with Self-governed Convergence Guarantees [42.514612465664605]
  既存の明示的かつ暗黙的なグラディエントベースのBLOを均一に理解するための単一レベル定式化を提案する。 我々の収束結果の顕著な特徴は、元の非加速GBLOバージョンと比較して、高速なBAGDCは定常性に対する非漸近収束理論を統一的に認めることである。
  論文  参考訳（メタデータ） (2022-05-20T09:46:10Z)
• Bias-Variance Tradeoffs in Single-Sample Binary Gradient Estimators [100.58924375509659]
  ストレートスルー (ST) 推定器はその単純さと効率性から人気を得た。 計算の複雑さを低く保ちながら、STよりも改善するいくつかの手法が提案された。 我々は、トレードオフを理解し、元来主張された特性を検証するために、これらの手法のバイアスとばらつきの理論解析を行う。
  論文  参考訳（メタデータ） (2021-10-07T15:16:07Z)
• Fault-tolerant logical gates in holographic stabilizer codes are severely restricted [0.0]
  本研究では, 耐障害性を有するゲートの集合について検討し, ホログラフィック安定化器符号の有用性について検討した。 安定的に実装可能な論理演算の集合が十分に局所化された論理サブシステムに対してクリフォード群に含まれることを示す。
  論文  参考訳（メタデータ） (2021-03-24T18:00:05Z)
• Approximate Gradient Coding with Optimal Decoding [22.069731881164895]
  分散最適化問題では、グラデーションコーディングと呼ばれる手法が、ストラグリングマシンの効果を軽減するために用いられている。 近年の研究では、データの複製係数が低すぎる符号化スキームに関する近似勾配符号化について研究している。 拡張器グラフに基づく新しい近似勾配符号を導入し、各マシンが正確に2ブロックのデータポイントを受信する。
  論文  参考訳（メタデータ） (2020-06-17T03:46:27Z)
• Cogradient Descent for Bilinear Optimization [124.45816011848096]
  双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。 一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。 本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
  論文  参考訳（メタデータ） (2020-06-16T13:41:54Z)
• Communication-Efficient Gradient Coding for Straggler Mitigation in Distributed Learning [17.454251607446555]
  サーバがワーカマシン間で勾配計算を分散するグラデーションベースのメソッドの分散実装では、2つの制限を克服する必要がある。 Ye氏とAbe氏(ICML 2018)は、ワーカ毎の計算負荷、ワーカ毎の通信オーバーヘッド、ストラグラートレランスの基本的なトレードオフを特徴付ける、コーディング理論のパラダイムを提案した。 これらの欠点を克服するための通信効率のよい勾配符号化フレームワークを開発した。
  論文  参考訳（メタデータ） (2020-05-14T17:57:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。