論文の概要: Decentralized SGD under Heavy-Tailed Noise: Optimal Convergence Rates and the Role of Gradient Clipping

• arxiv url: http://arxiv.org/abs/2610.10527v1
• Date: Wed, 07 Oct 2026 17:57:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:23.099464
• Title: Decentralized SGD under Heavy-Tailed Noise: Optimal Convergence Rates and the Role of Gradient Clipping
• Title（参考訳）: 重音下での分散SGDの最適収束速度とグラディエントクリッピングの役割
• Abstract要約: 重尾線形ノイズは、クリッピングや正規化といった手法を用いて、現代の機械学習で広く観測されている。 近年の研究では、準最適非最適最適化と重み付き雑音下での正規化の両方が示されている。 分散した設定では正規化されているが、$ttDSGD$は失敗し、高次の用語では$ttDSGD$は成功します。
• 参考スコア（独自算出の注目度）: 69.90407799170687
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Heavy-tailed noise has been widely observed in modern machine learning, motivating the use of methods like gradient clipping and normalization. While these methods are well understood in centralized settings, much less is known in decentralized ones, where applying a nonlinearity to local gradients affects both optimization and consensus. Recent works on decentralized non-convex optimization have studied both clipping and normalization under heavy-tailed noise, with clipping yielding suboptimal rates and normalization needing local momentum or mini-batches to converge. This raises the question: can a baseline decentralized method using a nonlinearity achieve optimal convergence rates under heavy-tailed noise? We answer affirmatively with clipped decentralized SGD ($\mathtt{DSGD}$). For smooth non-convex costs under bounded $p$-th moment noise, $p \in (1,2]$, we show that clipped $\mathtt{DSGD}$ achieves order-optimal rates both with high probability and in expectation. Moreover, we establish a linear speed-up in the number of agents, which, to our knowledge, has not been shown for decentralized methods with clipping. The key technical ingredient is a sharp analysis of the consensus gap that exploits the structure of clipping, relegating network effects to higher-order terms. Our results highlight an important distinction between clipping and normalization in decentralized settings: while normalized $\mathtt{DSGD}$ can fail to converge, clipping retains magnitude information, enabling $\mathtt{DSGD}$ to be convergent and order-optimal. Numerical experiments validate our theory.
• Abstract（参考訳）: ヘビーテールドノイズは現代の機械学習で広く観測されており、勾配クリッピングや正規化といった手法の使用を動機付けている。 これらの手法は中央集権的な環境ではよく理解されているが、局所的な勾配に非線形性を適用する場合、最適化とコンセンサスの両方に影響を及ぼす分散化ではあまり知られていない。 分散非凸最適化に関する最近の研究は、重尾雑音下でのクリッピングと正規化の両方を研究しており、クリッピングは、局所運動量やミニバッチを必要とする準最適速度と正規化をもたらす。 これは、非線形性を用いたベースライン分散手法が重み付き雑音下で最適収束率を達成できるかという疑問を提起する。 我々は、切り離された分散SGD(\mathtt{DSGD}$)で肯定的に答える。 有界な$p$-thモーメントノイズ($p \in (1,2]$)の下での滑らかな非凸コストに対して、クリップされた$\mathtt{DSGD}$は高い確率と期待の両方でオーダー最適率を達成することを示す。 さらに, クリッピングによる分散手法では, エージェント数の線形高速化が図られていない。 重要な技術的要素は、クリッピングの構造を利用したコンセンサスギャップの鋭い分析であり、高次項へのネットワーク効果の回帰である。 正規化される$\matht{DSGD}$は収束に失敗するが、クリッピングは大きさ情報を保持し、$\matht{DSGD}$は収束と順序最適化を可能にする。 数値実験は我々の理論を検証した。

関連論文リスト

• Near-Optimal Decentralized Stochastic Convex Optimization over Networks [25.69933113941911]
  我々は分散スムーズな凸最適化について研究し、そこでは労働者が固定ゴシップネットワーク上で通信する。 我々は、このレートを最大$smashMlesssim sqrt,N3/4$ワーカーに保存する、高速化された分散化手法を導入する。 線形スパン分散一階法に一致する下界を定め, 対数係数に最適であることを示す。
  論文  参考訳（メタデータ） (2026-06-03T11:42:01Z)
• High-Probability Convergence in Decentralized Stochastic Optimization with Gradient Tracking [69.90407799170687]
  分散最適化における高確率収束保証について検討する。 その結果, 地平線上の条件は, 比較時間と同一であることがわかった。
  論文  参考訳（メタデータ） (2026-04-30T22:45:21Z)
• Differentially Private Clipped-SGD: High-Probability Convergence with Arbitrary Clipping Level [18.723330586196997]
  本研究では,DPのクリッピングレベルが固定された最初の高確率収束解析法を提案する。 提案手法は,固定クリッピングレベルにおいて,既存の方法よりも高速に近傍最適解に収束することを示す。 この地区は、DPが導入した騒音とバランスが取れており、収束速度とプライバシー保証のトレードオフが洗練されている。
  論文  参考訳（メタデータ） (2025-07-31T12:48:29Z)
• Smoothed Normalization for Efficient Distributed Private Optimization [54.197255548244705]
  フェデレートされた学習は、参加者のプライバシを備えた機械学習モデルを可能にする。 トレーニングやフィードバックのない問題に対して、差分にプライベートな分散手法は存在しない。 証明可能な収束保証付き分散アルゴリズム$alpha$-$sf NormEC$を導入する。
  論文  参考訳（メタデータ） (2025-02-19T07:10:32Z)
• Nonlinear Stochastic Gradient Descent and Heavy-tailed Noise: A Unified Framework and High-probability Guarantees [56.80920351680438]
  本研究では,重音の存在下でのオンライン学習における高確率収束について検討する。 ノイズモーメントを仮定することなく、幅広い種類の非線形性を保証する。
  論文  参考訳（メタデータ） (2024-10-17T18:25:28Z)
• High-probability Convergence Bounds for Nonlinear Stochastic Gradient Descent Under Heavy-tailed Noise [59.25598762373543]
  重み付き雑音の存在下でのストリーミングデータにおける学習の精度保証について検討した。 解析的に、与えられた問題に対する設定の選択に$ta$を使うことができることを実証する。
  論文  参考訳（メタデータ） (2023-10-28T18:53:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。