論文の概要: Pipelined Gradient Coding

• arxiv url: http://arxiv.org/abs/2607.20739v1
• Date: Wed, 22 Jul 2026 21:36:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-24 18:26:25.223577
• Title: Pipelined Gradient Coding
• Title（参考訳）: パイプライン勾配符号化
• Abstract要約: 大規模な機械学習では、分散トレーニングは通常、複数のワーカーが、異なるデータセットパーティション上でモデルの勾配を評価する。 従来のグラデーションコーディング(GC)は、ワーカー間でデータセットパーティションを重複させることで、ストラグラーから欠落したグラデーションを置き換えることによって、この問題に対処する。 しかし、GCは各ステップで複数のデータセットパーティションの勾配を評価する必要がある。 本稿では,複数のステップにまたがる勾配評価を行うためのGCパイプラインを提案する。
• 参考スコア（独自算出の注目度）: 3.381709265589592
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In large-scale machine learning, distributed training commonly involves multiple workers evaluating the gradients of the model on different dataset partitions. A common challenge is the presence of straggling workers, which may significantly slow down training. Traditional gradient coding (GC) addresses this by duplicating dataset partitions across workers, allowing for the replacement of missing gradients from stragglers. However, GC requires workers to evaluate gradients on multiple dataset partitions in each step, potentially increasing overall training time. In this paper, we propose to pipeline GC, such that gradient evaluation is segmented across multiple steps and each worker evaluates gradients on just a single dataset partition per step. We develop the pipelined version for fractional repetition (FR) and cyclic repetition (CR), two representative dataset placement schemes in GC, and prove convergence guarantees for both. Through extensive simulations and experiments on cloud infrastructure, our schemes not only significantly reduce training time but also accelerate convergence compared to GC and other baselines.
• Abstract（参考訳）: 大規模な機械学習では、分散トレーニングは通常、複数のワーカーが、異なるデータセットパーティション上でモデルの勾配を評価する。 一般的な課題は、ストレグリングワーカーの存在であり、トレーニングを著しく遅くする可能性がある。 従来のグラデーションコーディング(GC)は、ワーカー間でデータセットパーティションを重複させることで、ストラグラーから欠落したグラデーションを置き換えることによって、この問題に対処する。 しかし、GCは各ステップで複数のデータセットパーティションの勾配を評価する必要があるため、全体的なトレーニング時間が増加する可能性がある。 本稿では,複数のステップにまたがって勾配評価を行い,各ワーカが1ステップ毎に1つのデータセット分割だけに基づいて勾配評価を行うようなGCパイプラインを提案する。 分数繰り返し (FR) と巡回繰り返し (CR) のためのパイプラインバージョンを開発し、GCにおける2つの代表的なデータセット配置スキームを作成し、両者の収束保証を証明した。 クラウドインフラストラクチャに関する広範なシミュレーションや実験を通じて、我々のスキームはトレーニング時間を著しく短縮するだけでなく、GCや他のベースラインと比較して収束を加速する。

関連論文リスト

• Closed-Form Spectral Regularization for Multi-Task Model Merging [96.82449201305234]
  モデルマージは、個別に調整された複数の専門家をトレーニングデータなしで単一のマルチタスクモデルに結合する。 State-of-the-art merging method formulate merging as a layer-wise interference problem。 本稿では,逐次降下の勾配-流路に一致するソフト指数フィルタを組み合わせた閉形式手法SWUDIを提案する。
  論文  参考訳（メタデータ） (2026-06-05T14:00:47Z)
• Rethinking and Accelerating Graph Condensation: A Training-Free Approach with Class Partition [49.41718583061147]
  グラフ凝縮(Graph condensation)は、大きなグラフを小さいが情報的な凝縮グラフに置き換えるための、データ中心のソリューションである。 既存のGCメソッドは、複雑な最適化プロセス、過剰なコンピューティングリソースとトレーニング時間を必要とする。 我々は、CGC(Class-partitioned Graph Condensation)と呼ばれるトレーニング不要なGCフレームワークを提案する。 CGCはOgbn-productsグラフを30秒以内に凝縮し、102$Xから104$Xまでのスピードアップを実現し、精度は4.2%まで向上した。
  論文  参考訳（メタデータ） (2024-05-22T14:57:09Z)
• Linear Speedup of Incremental Aggregated Gradient Methods on Streaming Data [38.54333970135826]
  本稿では,大規模分散最適化のためのインクリメンタル・アグリゲード・グラデーション(IAG)方式について考察する。 ストリーミングIAG法は,作業者が頻繁な更新を行う場合の線形高速化を実現する。
  論文  参考訳（メタデータ） (2023-09-10T10:08:52Z)
• Sequential Gradient Coding For Straggler Mitigation [28.090458692750023]
  分散コンピューティングでは、遅いノード(ストラグラー)がボトルネックとなる。 グラディエント符号化(GC)は、誤り訂正符号の原理を用いて、ストラグラーの存在下で勾配計算を分散する効率的な手法である。 本稿では,GCと比較して性能向上を示す2つのスキームを提案する。
  論文  参考訳（メタデータ） (2022-11-24T21:12:49Z)
• Gradient Boosted Binary Histogram Ensemble for Large-scale Regression [60.16351608335641]
  本研究では,2値ヒストグラム分割とアンサンブル学習に基づくテキストグラディエント2値ヒストグラムアンサンブル(GBBHE)と呼ばれる大規模回帰問題に対する勾配向上アルゴリズムを提案する。 実験では, 勾配向上回帰木 (GBRT) などの他の最先端アルゴリズムと比較して, GBBHEアルゴリズムは大規模データセット上での実行時間が少なく, 有望な性能を示す。
  論文  参考訳（メタデータ） (2021-06-03T17:05:40Z)
• Gradient Coding with Dynamic Clustering for Straggler-Tolerant Distributed Learning [55.052517095437]
  勾配降下(GD)は、複数の労働者にデータセットを分散することで学習タスクの並列化に広く用いられている。 分散同期gdにおけるイテレーション完了時間ごとの重要なパフォーマンスボトルネックは$straggling$ workersである。 コード化された分散技術は、最近ストラグラーを緩和し、労働者に冗長な計算を割り当てることでgdイテレーションを高速化するために導入された。 本稿では,従来のトラグリング動作に依存する可能性のあるコードの中から,冗長なデータを労働者に割り当てて選択する動的GC方式を提案する。
  論文  参考訳（メタデータ） (2021-03-01T18:51:29Z)
• Gradient Coding with Dynamic Clustering for Straggler Mitigation [57.9123881133818]
  GC-DCは、前回のイテレーションにおけるストラグラーの振る舞いに基づいて、各クラスタ内のストラグラーワーカ数を規制する。 本稿では,GC-DCが従来のGC方式に比べて通信負荷を増大させることなく,各イテレーションの平均完了時間(各イテレーション)を大幅に改善できることを数値的に示す。
  論文  参考訳（メタデータ） (2020-11-03T18:52:15Z)
• Sparse Communication for Training Deep Networks [56.441077560085475]
  同期勾配降下(SGD)は、ディープラーニングモデルの分散トレーニングに最もよく用いられる手法である。 このアルゴリズムでは、各ワーカーは他のワーカーと局所勾配を共有し、すべてのワーカーの平均勾配を使ってパラメータを更新する。 いくつかの圧縮スキームについて検討し、3つの重要なパラメータが性能に与える影響を同定する。
  論文  参考訳（メタデータ） (2020-09-19T17:28:11Z)
• DaSGD: Squeezing SGD Parallelization Performance in Distributed Training Using Delayed Averaging [4.652668321425679]
  ミニバッチ勾配降下(SGD)アルゴリズムでは、作業者は前方/後方の伝搬を停止する必要がある。 DaSGDはSGDとフォワード/バックの伝搬を並列化し、通信オーバーヘッドの100%を隠蔽する。
  論文  参考訳（メタデータ） (2020-05-31T05:43:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。