論文の概要: Byzantine-Robust Distributed SGD: A Unified Analysis and Tight Error Bounds

• arxiv url: http://arxiv.org/abs/2604.10179v1
• Date: Sat, 11 Apr 2026 12:17:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-14 20:13:15.893149
• Title: Byzantine-Robust Distributed SGD: A Unified Analysis and Tight Error Bounds
• Title（参考訳）: Byzantine-Robust分散SGD:統一解析とタイトエラー境界
• Abstract要約: Byzantine-robust分散最適化は、悪意ある労働者の影響を軽減するために堅牢な集約ルールに依存している。 解析の結果,一般的なデータでは誤差が発生するが,局所運動量は誤差を確実に低減することがわかった。 実験結果は我々の理論的な発見を裏付ける。
• 参考スコア（独自算出の注目度）: 25.551274002349555
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Byzantine-robust distributed optimization relies on robust aggregation rules to mitigate the influence of malicious Byzantine workers. Despite the proliferation of such rules, a unified convergence analysis framework that accommodates general data heterogeneity is lacking. In this work, we provide a thorough convergence theory of Byzantine-robust distributed stochastic gradient descent (SGD), analyzing variants both with and without local momentum. We establish the convergence rates for nonconvex smooth objectives and those satisfying the Polyak-Lojasiewicz condition under a general data heterogeneity assumption. Our analysis reveals that while stochasticity and data heterogeneity introduce unavoidable error floors, local momentum provably reduces the error component induced by stochasticity. Furthermore, we derive matching lower bounds to demonstrate that the upper bounds obtained in our analysis are tight and characterize the fundamental limits of Byzantine resilience under stochasticity and data heterogeneity. Empirical results support our theoretical findings.
• Abstract（参考訳）: ビザンティン・ロバスト分散最適化は、悪質なビザンティン労働者の影響を軽減するために、堅牢な集約ルールに依存している。 このような規則の拡散にもかかわらず、一般データの不均一性に対応する統合収束分析フレームワークは欠如している。 本研究では、局所運動量と非局所運動量の両方を解析し、ビザンチン・ロバスト分布確率勾配勾配(SGD)の完全収束理論を提供する。 非凸な滑らかな目的に対する収束率と、一般データ不均一性仮定の下でポリアック・ロジャシエヴィチ条件を満たすものを確立する。 解析の結果、確率性とデータの不均一性は避けられないエラーフロアをもたらすが、局所運動量は確率によって引き起こされる誤差成分を確実に減少させることがわかった。 さらに, 解析で得られた上限値が厳密であること, 確率性とデータ不均一性の下でのビザンチンレジリエンスの基本的限界を特徴付けるために, 一致した下界を導出する。 実験結果は我々の理論的な発見を裏付ける。

関連論文リスト

• Generalized nonparametric regression in reproducing kernel Hilbert spaces: Consistency and rates of convergence [0.0]
  我々は再生空間におけるM-levの包括的理論を開発する。 ソボ空間に対しては、混合滑らか性関数を持つ滑らか性空間に接続する新たなレートを得る。
  論文  参考訳（メタデータ） (2026-06-22T08:12:31Z)
• Sharp Convergence Rates for Masked Diffusion Models [53.117058231393834]
  制約を克服するオイラー法に対する全変分に基づく解析法を開発した。 その結果、スコア推定の仮定を緩和し、パラメータ依存性を改善し、収束保証を確立する。 全体としては,CTMC軌道に沿った直接テレビによる誤り分解と,FHSのためのデカップリングに基づく経路解析を導入している。
  論文  参考訳（メタデータ） (2026-02-26T00:47:51Z)
• Stability and Generalization of Push-Sum Based Decentralized Optimization over Directed Graphs [55.77845440440496]
  プッシュベースの分散通信は、情報交換が非対称である可能性のある通信ネットワークの最適化を可能にする。 我々は、グラディエント・プッシュ(SGP)アルゴリズムのための統一的な一様安定性フレームワークを開発する。 重要な技術的要素は、2つの量に束縛された不均衡認識の一般化である。
  論文  参考訳（メタデータ） (2026-02-24T05:32:03Z)
• From Tail Universality to Bernstein-von Mises: A Unified Statistical Theory of Semi-Implicit Variational Inference [0.12183405753834557]
  半単純変分推論 (SIVI) は$q() = int k(| z) r(dz)$ という形の近似後部を構成する 本稿では,このような家族に対する「近似最適化統計学」を統一的に展開する。
  論文  参考訳（メタデータ） (2025-12-05T19:26:25Z)
• Geometric Convergence Analysis of Variational Inference via Bregman Divergences [3.7098038388802252]
  Vari rigorous Inference (VI)は、Low Evidence (ELBO)による推論のためのスケーラブルなフレームワークを提供する 指数関数的家族分布を利用して客観収束を解析するための新たな理論的枠組みを確立する。
  論文  参考訳（メタデータ） (2025-10-17T11:30:05Z)
• A Geometric Unification of Distributionally Robust Covariance Estimators: Shrinking the Spectrum by Inflating the Ambiguity Set [20.166217494056916]
  制約的な仮定を課さずに共分散推定器を構築するための原理的手法を提案する。 頑健な推定器は効率的に計算可能で一貫したものであることを示す。 合成および実データに基づく数値実験により、我々の頑健な推定器は最先端の推定器と競合していることが示された。
  論文  参考訳（メタデータ） (2024-05-30T15:01:18Z)
• Collaborative Heterogeneous Causal Inference Beyond Meta-analysis [68.4474531911361]
  異種データを用いた因果推論のための協調的逆確率スコア推定器を提案する。 異質性の増加に伴うメタアナリシスに基づく手法に対して,本手法は有意な改善を示した。
  論文  参考訳（メタデータ） (2024-04-24T09:04:36Z)
• Federated Learning Resilient to Byzantine Attacks and Data Heterogeneity [59.17297282373628]
  本稿では、データに対する悪意ある攻撃の文脈におけるグラディエント学習(FL)について述べる。 本稿では,収束解析と損失関数の中央値を用いた新しい平均ロバストアルゴリズム(RAGA)を提案する。
  論文  参考訳（メタデータ） (2024-03-20T08:15:08Z)
• Last-Iterate Convergence of Adaptive Riemannian Gradient Descent for Equilibrium Computation [52.73824786627612]
  本稿では,テクスト幾何学的強単調ゲームに対する新たな収束結果を確立する。 我々のキーとなる結果は、RGDがテクスト幾何学的手法で最終定位線形収束を実現することを示しています。 全体として、ユークリッド設定を超えるゲームに対して、幾何学的に非依存な最終点収束解析を初めて提示する。
  論文  参考訳（メタデータ） (2023-06-29T01:20:44Z)
• Accounting for Unobserved Confounding in Domain Generalization [107.0464488046289]
  本稿では,データセットの組み合わせから頑健で一般化可能な予測モデルを学習する際の問題点について検討する。 堅牢なモデルを学ぶことの課題の一部は、保存されていない共同設立者の影響にある。 異なるモダリティの医療データに対するアプローチの実証的性能を実証する。
  論文  参考訳（メタデータ） (2020-07-21T08:18:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。