論文の概要: Byzantine-Robust Distributed SGD: A Unified Analysis and Tight Error Bounds

• arxiv url: http://arxiv.org/abs/2604.10179v1
• Date: Sat, 11 Apr 2026 12:17:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-14 20:13:15.893149
• Title: Byzantine-Robust Distributed SGD: A Unified Analysis and Tight Error Bounds
• Title（参考訳）: Byzantine-Robust分散SGD:統一解析とタイトエラー境界
• Authors: Boyuan Ruan, Xiaoyu Wang, Ya-Feng Liu,
• Abstract要約: Byzantine-robust分散最適化は、悪意ある労働者の影響を軽減するために堅牢な集約ルールに依存している。 解析の結果,一般的なデータでは誤差が発生するが,局所運動量は誤差を確実に低減することがわかった。 実験結果は我々の理論的な発見を裏付ける。
• 参考スコア（独自算出の注目度）: 25.551274002349555
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Byzantine-robust distributed optimization relies on robust aggregation rules to mitigate the influence of malicious Byzantine workers. Despite the proliferation of such rules, a unified convergence analysis framework that accommodates general data heterogeneity is lacking. In this work, we provide a thorough convergence theory of Byzantine-robust distributed stochastic gradient descent (SGD), analyzing variants both with and without local momentum. We establish the convergence rates for nonconvex smooth objectives and those satisfying the Polyak-Lojasiewicz condition under a general data heterogeneity assumption. Our analysis reveals that while stochasticity and data heterogeneity introduce unavoidable error floors, local momentum provably reduces the error component induced by stochasticity. Furthermore, we derive matching lower bounds to demonstrate that the upper bounds obtained in our analysis are tight and characterize the fundamental limits of Byzantine resilience under stochasticity and data heterogeneity. Empirical results support our theoretical findings.
• Abstract（参考訳）: ビザンティン・ロバスト分散最適化は、悪質なビザンティン労働者の影響を軽減するために、堅牢な集約ルールに依存している。 このような規則の拡散にもかかわらず、一般データの不均一性に対応する統合収束分析フレームワークは欠如している。 本研究では、局所運動量と非局所運動量の両方を解析し、ビザンチン・ロバスト分布確率勾配勾配(SGD)の完全収束理論を提供する。 非凸な滑らかな目的に対する収束率と、一般データ不均一性仮定の下でポリアック・ロジャシエヴィチ条件を満たすものを確立する。 解析の結果、確率性とデータの不均一性は避けられないエラーフロアをもたらすが、局所運動量は確率によって引き起こされる誤差成分を確実に減少させることがわかった。 さらに, 解析で得られた上限値が厳密であること, 確率性とデータ不均一性の下でのビザンチンレジリエンスの基本的限界を特徴付けるために, 一致した下界を導出する。 実験結果は我々の理論的な発見を裏付ける。

関連論文リスト

• Sharp Convergence Rates for Masked Diffusion Models [53.117058231393834]
  制約を克服するオイラー法に対する全変分に基づく解析法を開発した。 その結果、スコア推定の仮定を緩和し、パラメータ依存性を改善し、収束保証を確立する。 全体としては,CTMC軌道に沿った直接テレビによる誤り分解と,FHSのためのデカップリングに基づく経路解析を導入している。
  論文  参考訳（メタデータ） (2026-02-26T00:47:51Z)
• From Tail Universality to Bernstein-von Mises: A Unified Statistical Theory of Semi-Implicit Variational Inference [0.12183405753834557]
  半単純変分推論 (SIVI) は$q() = int k(| z) r(dz)$ という形の近似後部を構成する 本稿では,このような家族に対する「近似最適化統計学」を統一的に展開する。
  論文  参考訳（メタデータ） (2025-12-05T19:26:25Z)
• A Geometric Unification of Distributionally Robust Covariance Estimators: Shrinking the Spectrum by Inflating the Ambiguity Set [20.166217494056916]
  制約的な仮定を課さずに共分散推定器を構築するための原理的手法を提案する。 頑健な推定器は効率的に計算可能で一貫したものであることを示す。 合成および実データに基づく数値実験により、我々の頑健な推定器は最先端の推定器と競合していることが示された。
  論文  参考訳（メタデータ） (2024-05-30T15:01:18Z)
• Federated Learning Resilient to Byzantine Attacks and Data Heterogeneity [59.17297282373628]
  本稿では、データに対する悪意ある攻撃の文脈におけるグラディエント学習(FL)について述べる。 本稿では,収束解析と損失関数の中央値を用いた新しい平均ロバストアルゴリズム(RAGA)を提案する。
  論文  参考訳（メタデータ） (2024-03-20T08:15:08Z)
• Last-Iterate Convergence of Adaptive Riemannian Gradient Descent for Equilibrium Computation [52.73824786627612]
  本稿では,テクスト幾何学的強単調ゲームに対する新たな収束結果を確立する。 我々のキーとなる結果は、RGDがテクスト幾何学的手法で最終定位線形収束を実現することを示しています。 全体として、ユークリッド設定を超えるゲームに対して、幾何学的に非依存な最終点収束解析を初めて提示する。
  論文  参考訳（メタデータ） (2023-06-29T01:20:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。