論文の概要: Robustifying Asynchronous SGD via Soft Throttling

• arxiv url: http://arxiv.org/abs/2609.39357v1
• Date: Wed, 30 Sep 2026 09:16:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.508456
• Title: Robustifying Asynchronous SGD via Soft Throttling
• Title（参考訳）: ソフトスロットリングによる非同期SGDのロバスト化
• Abstract要約: 非同期SGDは分散学習の一般的なアルゴリズムであり、各クライアントの勾配更新が到着時に適用される。 非同期SGDをByzantine-Robustで一般化したThrottleを紹介します。
• 参考スコア（独自算出の注目度）: 21.498163550061065
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Asynchronous SGD is a popular algorithm for distributed learning where each client's gradient update is applied on arrival. This leads to a speed-up, but also an increased vulnerability to attacks, as fast clients can dominate the total update. We introduce Throttle, a Byzantine-robust generalization of asynchronous SGD where the key idea is to exponentially down-weight updates from faster clients by a factor $q$. Both asynchronous SGD ($q=1$) and synchronous Byzantine-robust SGD ($q\to\infty$) correspond to specific settings of Throttle. We provide a theoretical analysis of the convergence rate and validate the robustness to attacks both theoretically and empirically. Remarkably, our experiments show that this down-weighting mechanism can also improve performance over standard asynchronous SGD even in the non-Byzantine setting.
• Abstract（参考訳）: 非同期SGDは分散学習の一般的なアルゴリズムであり、各クライアントの勾配更新が到着時に適用される。 これはスピードアップにつながりますが、攻撃に対する脆弱性の増大につながります。 非同期SGDをByzantine-Robustで一般化したThrottleを紹介します。 非同期SGD(q=1$)と同期Byzantine-robust SGD(q\to\infty$)はどちらも、Throttleの特定の設定に対応する。 本研究では,収束速度の理論解析を行い,理論的および実験的に攻撃に対するロバスト性を検証した。 注目すべきことに、このダウンウェイト機構は、非ビザンチン環境においても、標準的な非同期SGDよりも性能が向上することを示す。

関連論文リスト

• Optimization Trade-offs in Asynchronous Federated Learning: A Stochastic Networks Approach [2.0200069355804264]
  非同期アルゴリズムは、到着時に更新を処理することで、更新スループットを向上する。 収束を低下させる勾配の安定化と、不均一なデータの下でより高速なクライアントへのバイアス。 我々は,クライアントとサーバのランダムな計算時間を共同でモデル化する汎用AsyncSGDのキューネットワークフレームワークを開発した。
  論文  参考訳（メタデータ） (2026-03-27T09:53:53Z)
• Kuramoto-FedAvg: Using Synchronization Dynamics to Improve Federated Learning Optimization under Statistical Heterogeneity [0.0]
  不均一(非IID)クライアントデータのフェデレーション学習は、クライアントのドリフトによる収束が遅い。 重み集約ステップを同期問題として再構成するフェデレート最適化アルゴリズムである倉本FedAvgを提案する。
  論文  参考訳（メタデータ） (2025-05-26T07:16:00Z)
• Ringmaster ASGD: The First Asynchronous SGD with Optimal Time Complexity [92.1840862558718]
  Ringmaster ASGDは任意に不均一な計算時間の下で最適な時間複雑性を達成する。 これにより、このようなシナリオにおける時間複雑性の理論的な下限を満たす最初の非同期SGD法となる。
  論文  参考訳（メタデータ） (2025-01-27T16:07:26Z)
• Asynchronous Federated Learning with Incentive Mechanism Based on Contract Theory [5.502596101979607]
  本稿では,契約理論に基づくインセンティブ機構を統合した新しい非同期FLフレームワークを提案する。 攻撃対象のローカルSGDよりも精度が1.35%向上した。
  論文  参考訳（メタデータ） (2023-10-10T09:17:17Z)
• Towards Understanding the Generalizability of Delayed Stochastic Gradient Descent [63.43247232708004]
  非同期で実行される勾配降下は、大規模機械学習モデルのトレーニングにおいて重要な役割を果たす。 既存の一般化誤差境界は悲観的であり、非同期遅延と一般化の相関を明らかにすることはできない。 我々の理論的結果は、非同期遅延は遅延SGDアルゴリズムの一般化誤差を低減することを示唆している。
  論文  参考訳（メタデータ） (2023-08-18T10:00:27Z)
• Asynchronous SGD Beats Minibatch SGD Under Arbitrary Delays [8.46491234455848]
  ステップの数だけでなく、ステップの遅延にもよらず、同じ非同期勾配の保証がずっと良いことを証明しています。 そこで本研究では,「仮想ステップ」と「遅延反復」に基づいて,両凸非適応勾配に対する最先端保証を導出する手法を提案する。
  論文  参考訳（メタデータ） (2022-06-15T16:28:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。