論文の概要: Federated Stochastic Minimax Optimization under Heavy-Tailed Noises

• arxiv url: http://arxiv.org/abs/2511.04456v1
• Date: Thu, 06 Nov 2025 15:27:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-07 20:17:53.477424
• Title: Federated Stochastic Minimax Optimization under Heavy-Tailed Noises
• Title（参考訳）: 重音下でのフェデレート確率最小値最適化
• Authors: Xinwen Zhang, Hongchang Gao,
• Abstract要約: 局所的な更新のために有界勾配を統合した:-NSGDA と Mu-DA の2つのアルゴリズムを提案する。 両方のアルゴリズムは、より穏やかな条件下で、ミニマックスフェデレーションの重み付きノイズに効果的に対処するように設計されている。 我々の知る限りでは、これらは厳密な理論的保証が与えられた最初のミニマックス最適化アルゴリズムである。
• 参考スコア（独自算出の注目度）: 23.850171320924574
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Heavy-tailed noise has attracted growing attention in nonconvex stochastic optimization, as numerous empirical studies suggest it offers a more realistic assumption than standard bounded variance assumption. In this work, we investigate nonconvex-PL minimax optimization under heavy-tailed gradient noise in federated learning. We propose two novel algorithms: Fed-NSGDA-M, which integrates normalized gradients, and FedMuon-DA, which leverages the Muon optimizer for local updates. Both algorithms are designed to effectively address heavy-tailed noise in federated minimax optimization, under a milder condition. We theoretically establish that both algorithms achieve a convergence rate of $O({1}/{(TNp)^{\frac{s-1}{2s}}})$. To the best of our knowledge, these are the first federated minimax optimization algorithms with rigorous theoretical guarantees under heavy-tailed noise. Extensive experiments further validate their effectiveness.
• Abstract（参考訳）: 重み付きノイズは、標準的な有界分散仮定よりも現実的な仮定を提供することを示す多くの実証的な研究により、非凸確率最適化において注目を集めている。 本研究では,フェデレート学習における重み付き勾配雑音下での非凸PL極小最適化について検討する。 本稿では,正規化勾配を統合したFed-NSGDA-Mと,ローカル更新にMuonオプティマイザを利用するFedMuon-DAの2つの新しいアルゴリズムを提案する。 両方のアルゴリズムは、より穏やかな条件下で、フェデレートされたミニマックス最適化において、重み付きノイズに効果的に対処するように設計されている。 理論的には、どちらのアルゴリズムも$O({1}/{(TNp)^{\frac{s-1}{2s}}})$の収束率を得る。 我々の知る限り、これらは重尾ノイズの下で厳密な理論的保証を持つ最初のフェデレーションされたミニマックス最適化アルゴリズムである。 大規模な実験は、その効果をさらに検証する。

関連論文リスト

• Second-order Optimization under Heavy-Tailed Noise: Hessian Clipping and Sample Complexity Limits [53.773695219320125]
  重み付き雑音下での2階最適化の理論的理解に向けて第一歩を踏み出す。 勾配とヘッセン切断に基づく新しいアルゴリズムを導入し、基本限界にほぼ一致する高い確率上の境界を証明した。
  論文  参考訳（メタデータ） (2025-10-12T16:36:54Z)
• Nonconvex Decentralized Stochastic Bilevel Optimization under Heavy-Tailed Noises [27.097405340259325]
  既存の分散最適化手法では、低レベル損失関数は強い凸であり、勾配ノイズは有限分散である。 これは、重み付き雑音の下で厳密な理論的保証を持つ最初の分散二レベルアルゴリズムである。
  論文  参考訳（メタデータ） (2025-09-19T02:51:19Z)
• Adaptive Algorithms with Sharp Convergence Rates for Stochastic Hierarchical Optimization [31.032959636901086]
  階層最適化問題に対する新しい適応アルゴリズムを提案する。 我々のアルゴリズムは、ノイズレベルの事前の知識なしに、鋭い収束率を達成する。 合成および深層学習タスクの実験は,提案アルゴリズムの有効性を実証する。
  論文  参考訳（メタデータ） (2025-09-18T20:17:18Z)
• Gradient Normalization Provably Benefits Nonconvex SGD under Heavy-Tailed Noise [60.92029979853314]
  重み付き雑音下でのグラディエントDescence(SGD)の収束を確実にする上での勾配正規化とクリッピングの役割について検討する。 我々の研究は、重尾雑音下でのSGDの勾配正規化の利点を示す最初の理論的証拠を提供する。 我々は、勾配正規化とクリッピングを取り入れた加速SGD変種を導入し、さらに重み付き雑音下での収束率を高めた。
  論文  参考訳（メタデータ） (2024-10-21T22:40:42Z)
• Distributed Extra-gradient with Optimal Complexity and Communication Guarantees [60.571030754252824]
  複数のプロセッサ/ワーカー/クライアントがローカルなデュアルベクトルにアクセス可能なマルチGPU設定において、モノトン変分不等式(VI)問題を考察する。 モノトーンVI問題に対するデファクトアルゴリズムであるExtra-gradientは、通信効率が良くないように設計されている。 そこで本稿では,VI の解法に適した非バイアスで適応的な圧縮手法である量子化一般化外部勾配 (Q-GenX) を提案する。
  論文  参考訳（メタデータ） (2023-08-17T21:15:04Z)
• Can Decentralized Stochastic Minimax Optimization Algorithms Converge Linearly for Finite-Sum Nonconvex-Nonconcave Problems? [56.62372517641597]
  分散化されたミニマックス最適化は、幅広い機械学習に応用されているため、ここ数年で活発に研究されている。 本稿では,非コンカブ問題に対する2つの新しい分散化ミニマックス最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-04-24T02:19:39Z)
• Accelerating Noisy VQE Optimization with Gaussian Processes [0.0]
  本稿では,ガウス過程(GP)をサロゲートモデルとして用いてノイズの影響を低減する。 ImFilは最先端で勾配のない手法であり、比較研究ではノイズの多いVQE問題よりも優れていることが示されている。 ノイズが存在する場合、GP+ImFilアプローチはスタンドアローンImFilよりも少ない評価で真の大域最小値に近い結果が得られることを示す。
  論文  参考訳（メタデータ） (2022-04-15T05:01:14Z)
• Optimizing Information-theoretical Generalization Bounds via Anisotropic Noise in SGLD [73.55632827932101]
  SGLDにおけるノイズ構造を操作することにより,情報理論の一般化を最適化する。 低経験的リスクを保証するために制約を課すことで、最適なノイズ共分散が期待される勾配共分散の平方根であることを証明する。
  論文  参考訳（メタデータ） (2021-10-26T15:02:27Z)
• High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
  アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。 非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。 そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
  論文  参考訳（メタデータ） (2021-06-10T17:54:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。