論文の概要: Approximate Gradient Coding for Distributed Learning with Heterogeneous Stragglers

• arxiv url: http://arxiv.org/abs/2510.22539v1
• Date: Sun, 26 Oct 2025 05:32:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 15:28:15.239947
• Title: Approximate Gradient Coding for Distributed Learning with Heterogeneous Stragglers
• Title（参考訳）: 不均一ストラグラーを用いた分散学習のための近似勾配符号化
• Authors: Heekang Song, Wan Choi,
• Abstract要約: 分散学習におけるストラグラー問題を軽減するため,最適に構造化された勾配符号化方式を提案する。 提案手法はストラグラーの影響を著しく低減し,既存の手法と比較して収束を加速する。
• 参考スコア（独自算出の注目度）: 8.873449722727026
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we propose an optimally structured gradient coding scheme to mitigate the straggler problem in distributed learning. Conventional gradient coding methods often assume homogeneous straggler models or rely on excessive data replication, limiting performance in real-world heterogeneous systems. To address these limitations, we formulate an optimization problem minimizing residual error while ensuring unbiased gradient estimation by explicitly considering individual straggler probabilities. We derive closed-form solutions for optimal encoding and decoding coefficients via Lagrangian duality and convex optimization, and propose data allocation strategies that reduce both redundancy and computation load. We also analyze convergence behavior for $\lambda$-strongly convex and $\mu$-smooth loss functions. Numerical results show that our approach significantly reduces the impact of stragglers and accelerates convergence compared to existing methods.
• Abstract（参考訳）: 本稿では,分散学習におけるストラグラー問題を軽減するため,最適に構造化された勾配符号化手法を提案する。 従来の勾配符号化法は、しばしば同質ストラグラーモデルを仮定するか、あるいは過剰なデータ複製に依存し、実世界の異種システムの性能を制限する。 これらの制約に対処するために、個別のストラグラー確率を明示的に考慮し、不偏勾配推定を確保しつつ、残差を最小化する最適化問題を定式化する。 ラグランジアン双対性と凸最適化による最適符号化および復号係数の閉形式解を導出し、冗長性と計算負荷の両方を削減するデータ割り当て戦略を提案する。 また、$\lambda$-strongly convexと$\mu$-smooth loss関数の収束挙動を解析する。 その結果,提案手法はトラグラーの影響を著しく低減し,既存の手法に比べて収束を加速することがわかった。

関連論文リスト

• Alternating Minimization Schemes for Computing Rate-Distortion-Perception Functions with $f$-Divergence Perception Constraints [9.788112471288057]
  離散メモリレスソースに対するRDPF(Ralse-Distortion-Perception Function)の計算について検討した。 凸プログラミング問題に対する最適パラメトリック解を特徴付ける。 必要かつ十分な条件を導出することにより、両スキームがグローバルな最適解を保証できることが示される。
  論文  参考訳（メタデータ） (2024-08-27T12:50:12Z)
• Optimal Guarantees for Algorithmic Reproducibility and Gradient Complexity in Convex Optimization [55.115992622028685]
  以前の研究は、一階法はより良い収束率(漸進収束率)をトレードオフする必要があることを示唆している。 最適複雑性と準最適収束保証の両方を、滑らかな凸最小化と滑らかな凸最小化問題に対して達成できることを実証する。
  論文  参考訳（メタデータ） (2023-10-26T19:56:52Z)
• Consistent Approximations in Composite Optimization [0.0]
  我々は最適化問題の一貫した近似のためのフレームワークを開発する。 このフレームワークは幅広い最適化のために開発されている。 プログラム解析法は、拡張非線形プログラミングソリューションを例証する。
  論文  参考訳（メタデータ） (2022-01-13T23:57:08Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• Sparse Signal Reconstruction for Nonlinear Models via Piecewise Rational Optimization [27.080837460030583]
  劣化した信号を非線形歪みと限られたサンプリングレートで再構成する手法を提案する。 本手法は,不正確な適合項と罰則として定式化する。 シミュレーションの利点の観点から,この問題の活用方法を示す。
  論文  参考訳（メタデータ） (2020-10-29T09:05:19Z)
• Conditional gradient methods for stochastically constrained convex minimization [54.53786593679331]
  構造凸最適化問題に対する条件勾配に基づく2つの新しい解法を提案する。 私たちのフレームワークの最も重要な特徴は、各イテレーションで制約のサブセットだけが処理されることです。 提案アルゴリズムは, 条件勾配のステップとともに, 分散の低減と平滑化に頼り, 厳密な収束保証を伴っている。
  論文  参考訳（メタデータ） (2020-07-07T21:26:35Z)
• Cogradient Descent for Bilinear Optimization [124.45816011848096]
  双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。 一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。 本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
  論文  参考訳（メタデータ） (2020-06-16T13:41:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。