論文の概要: Byzantine-Robust Optimization under $(L_0, L_1)$-Smoothness

• arxiv url: http://arxiv.org/abs/2603.12512v1
• Date: Thu, 12 Mar 2026 23:09:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-16 17:38:11.803448
• Title: Byzantine-Robust Optimization under $(L_0, L_1)$-Smoothness
• Title（参考訳）: L_0, L_1)$-Smoothnessにおけるビザンチン-ロバスト最適化
• Authors: Arman Bolatov, Samuel Horváth, Martin Takáč, Eduard Gorbunov,
• Abstract要約: Byz-NSGDMは、ビザンツ労働者に対するロバスト性を達成する運動量を持つ正規化勾配降下法である。 我々は、Byz-NSGDMが、ロバスト性係数と勾配に比例したビザンチンバイアスフロアまで$O(K-1/4)の収束率を達成することを証明した。 アブレーション研究により、Byz-NSGDMは幅広い運動量と学習速度の選択において堅牢であることが示された。
• 参考スコア（独自算出の注目度）: 22.24139858284042
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We consider distributed optimization under Byzantine attacks in the presence of $(L_0,L_1)$-smoothness, a generalization of standard $L$-smoothness that captures functions with state-dependent gradient Lipschitz constants. We propose Byz-NSGDM, a normalized stochastic gradient descent method with momentum that achieves robustness against Byzantine workers while maintaining convergence guarantees. Our algorithm combines momentum normalization with Byzantine-robust aggregation enhanced by Nearest Neighbor Mixing (NNM) to handle both the challenges posed by $(L_0,L_1)$-smoothness and Byzantine adversaries. We prove that Byz-NSGDM achieves a convergence rate of $O(K^{-1/4})$ up to a Byzantine bias floor proportional to the robustness coefficient and gradient heterogeneity. Experimental validation on heterogeneous MNIST classification, synthetic $(L_0,L_1)$-smooth optimization, and character-level language modeling with a small GPT model demonstrates the effectiveness of our approach against various Byzantine attack strategies. An ablation study further shows that Byz-NSGDM is robust across a wide range of momentum and learning rate choices.
• Abstract（参考訳）: 我々は、状態依存的な勾配リプシッツ定数を持つ関数をキャプチャする標準的な$L$-smoothnessの一般化である$(L_0,L_1)$-smoothnessの存在下で、ビザンティン攻撃下での分散最適化を考える。 本研究では, 収束保証を維持しつつ, ビザンチン労働者に対するロバスト性を実現するモーメントを有する正規化確率勾配降下法であるByz-NSGDMを提案する。 我々のアルゴリズムは、運動量正規化と、Nearest Neighbor Mixing (NNM) によって強化されたビザンチン-ロバスト集約を組み合わせ、$(L_0,L_1)$-smoothness と Byzantine の敵の双方の課題に対処する。 我々は、Byz-NSGDMが、ロバスト性係数と勾配不均一性に比例したビザンチンバイアスフロアまで$O(K^{-1/4})の収束率を達成することを証明した。 ヘテロジニアスなMNIST分類,合成$(L_0,L_1)$-smooth最適化,および小さなGPTモデルを用いた文字レベル言語モデリングの実験的検証により,バイザンティン攻撃戦略に対するアプローチの有効性が示された。 アブレーション研究により、Byz-NSGDMは幅広い運動量と学習速度の選択において堅牢であることが示された。

関連論文リスト

• Improved High-probability Convergence Guarantees of Decentralized SGD [74.39742894097348]
  平均二乗誤差(MSE)と同じ条件下で,$mathttDSGD$がHPに収束することを示す。 改良された分析によりユーザ数が線形アップし,$mathttDSGD$がHPの意味で性能を維持していることを示す。
  論文  参考訳（メタデータ） (2025-10-07T17:15:08Z)
• Generalized Gradient Norm Clipping & Non-Euclidean $(L_0,L_1)$-Smoothness [51.302674884611335]
  本研究は、急勾配と条件勾配のアプローチを組み合わせることでノルムクリッピングを一般化するハイブリッド非ユークリッド最適化手法を提案する。 本稿では、ディープラーニングのためのアルゴリズムのインスタンス化について論じ、画像分類と言語モデリングにおけるそれらの特性を実証する。
  論文  参考訳（メタデータ） (2025-06-02T17:34:29Z)
• Efficient Federated Learning against Byzantine Attacks and Data Heterogeneity via Aggregating Normalized Gradients [27.433334322019675]
  Federated Learning (FL)は、クライアントが生データを共有せずに、協力的にモデルをトレーニングすることを可能にする。 FLはByzantine攻撃やデータ不均一性の反復に弱いため、パフォーマンスが著しく低下する可能性がある。 フェデレート正規化勾配アルゴリズム (Federated Normalized Gradients Algorithm, NGA) を提案する。 既存手法に対するベンチマーク収束の実験結果
  論文  参考訳（メタデータ） (2024-08-18T16:50:39Z)
• E$^2$M: Double Bounded $α$-Divergence Optimization for Tensor-based Discrete Density Estimation [3.9633191508712398]
  本稿では、E$2Mアルゴリズムと呼ばれる予測最大化(EM)アルゴリズムの一般化を提案する。 Kullback-Leibler (KL) の発散に基づく代理対象の最小化に最適化を緩和することでこの問題を回避する。 このアプローチは、CP、Tucker、Trainフォーマットなど、さまざまな低ランク構造に対してフレキシブルなモデリングを提供します。
  論文  参考訳（メタデータ） (2024-05-28T14:28:28Z)
• Dynamic Byzantine-Robust Learning: Adapting to Switching Byzantine Workers [10.632248569865236]
  Byzantine-robust学習は、フォールトトレラントな分散機械学習フレームワークとして注目されている。 我々はダイナブロ(DynaBRO)という,ラウンドごとのサブ線形数の変化に耐えられる新しい手法を提案する。 本手法では,マルチレベルモンテカルロ勾配法をサーバに適用し,ワーカー更新を頑健に集約する。
  論文  参考訳（メタデータ） (2024-02-05T12:26:01Z)
• Gradient-Free Methods for Deterministic and Stochastic Nonsmooth Nonconvex Optimization [94.19177623349947]
  非滑らかな非最適化問題は、機械学習とビジネス製造に現れる。 2つのコア課題は、有限収束を保証する効率的な方法の開発を妨げる。 GFMとSGFMの2相版も提案され, 改良された大規模評価結果が得られた。
  論文  参考訳（メタデータ） (2022-09-12T06:53:24Z)
• Optimal Extragradient-Based Bilinearly-Coupled Saddle-Point Optimization [116.89941263390769]
  滑らかな凸凹凸結合型サドル点問題, $min_mathbfxmax_mathbfyF(mathbfx) + H(mathbfx,mathbfy)$ を考える。 漸進的勾配指数(AG-EG)降下指数アルゴリズムについて述べる。
  論文  参考訳（メタデータ） (2022-06-17T06:10:20Z)
• Byzantine-Resilient Non-Convex Stochastic Gradient Descent [61.6382287971982]
  敵対的レジリエントな分散最適化。 機械は独立して勾配を計算し 協力することができます 私達のアルゴリズムは新しい集中の技術およびサンプル複雑性に基づいています。 それは非常に実用的です:それはないときすべての前の方法の性能を改善します。 セッティングマシンがあります。
  論文  参考訳（メタデータ） (2020-12-28T17:19:32Z)
• Federated Variance-Reduced Stochastic Gradient Descent with Robustness to Byzantine Attacks [74.36161581953658]
  本稿では、悪質なビザンツ攻撃が存在する場合のネットワーク上での学習のための分散有限サム最適化について論じる。 このような攻撃に対処するため、これまでのほとんどのレジリエントなアプローチは、勾配降下(SGD)と異なる頑健な集約ルールを組み合わせている。 本研究は,ネットワーク上の有限サム最適化を含むタスクを学習するための,ビザンチン攻撃耐性分散(Byrd-)SAGAアプローチを提案する。
  論文  参考訳（メタデータ） (2019-12-29T19:46:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。