論文の概要: Adaptive Federated Optimization Across Smooth and Nonsmooth Regimes

• arxiv url: http://arxiv.org/abs/2610.39716v1
• Date: Thu, 29 Oct 2026 09:47:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-31 05:25:12.488465
• Title: Adaptive Federated Optimization Across Smooth and Nonsmooth Regimes
• Title（参考訳）: スムースおよび非スムースレジーム間の適応的フェデレーション最適化
• Abstract要約: 我々は,AdaGradスタイルの手法が集中最適化における滑らかさの順序と定数の両方に同時に適応可能であることを示す。 光尾の緩やかな雑音の仮定の下では、これらの保証は追加の対数係数とノイズに依存した条件で設定にまで拡張される。
• 参考スコア（独自算出の注目度）: 5.62215540069613
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: AdaGrad-style methods can simultaneously adapt to both the order and constants of smoothness in centralized optimization. However, existing extensions to federated optimization with heterogeneous client objectives and multiple local steps require the smoothness order to be specified in advance. We address this limitation with AdaFed, a federated method that adapts across several regimes under a single choice of parameters. In the deterministic setting, AdaFed achieves an $O(1/T)$ convergence rate for both smooth nonconvex and smooth convex objectives, and an $O(1/\sqrt{T})$ rate for Lipschitz nonsmooth convex objectives up to logarithmic factors. Under a light-tailed stochastic-gradient noise assumption, these guarantees extend to the stochastic setting with additional logarithmic factors and noise-dependent terms. Experiments across the three problem classes further support our theoretical findings.
• Abstract（参考訳）: AdaGradスタイルの手法は、集中最適化における滑らかさの順序と定数の両方に同時に適応することができる。 しかし、不均一なクライアント目的と複数のローカルステップを持つフェデレーション最適化への既存の拡張は、事前にスムーズな順序を指定する必要がある。 AdaFedは、パラメータの1つの選択の下で複数のレシスタンスに適応するフェデレーション方式である。 決定論的設定では、AdaFed は滑らかな非凸と滑らかな凸の目的の両方に対して$O(1/T)$収束率を達成し、Lipschitz の非滑らかな凸の目的に対して$O(1/\sqrt{T})$レートを対数係数まで達成する。 光尾の確率-漸進的な雑音仮定の下では、これらの保証は対数的要素とノイズ依存項を追加して確率的設定にまで拡張される。 3つの問題クラスにわたる実験は、我々の理論的な結果をさらに裏付ける。

関連論文リスト

• Stochastic Auto-conditioned Fast Gradient Methods with Optimal Rates [3.083659340977661]
  本稿では,AC-FGMと呼ばれる自動条件付高速勾配法の変種を提案する。 提案手法はリプシッツ定数,地平線,騒音レベルに完全に適応し,適応的なステップサイズ選択と適応的なミニバッチサイズをライン探索なしで実現できる。
  論文  参考訳（メタデータ） (2026-04-07T23:43:48Z)
• RanSOM: Second-Order Momentum with Randomized Scaling for Constrained and Unconstrained Optimization [1.3537117504260623]
  Polyak's Heavy Ballのようなモメンタム法はディープネットワークのトレーニングの標準であるが、設定の曲率に起因したバイアスに悩まされている。 textbfRanSOMは、決定論的ステップサイズを、平均$_t$で分布から引き出されたランダム化ステップに置き換えることで、このバイアスを解消する統合フレームワークである。 我々はこのフレームワークを,制約のない最適化のための textbfRanSOM-E と制約のない最適化のための textbfRanSOM-B の2つのアルゴリズムでインスタンス化する。
  論文  参考訳（メタデータ） (2026-02-06T16:09:36Z)
• Mirror Descent Under Generalized Smoothness [23.5387392871236]
  一般ノルムと双対という観点からヘッセンのノルムを測定する新しい$ell*$-smoothnessの概念を導入する。 我々は、古典的な滑らかさの下でのレートに一致するミラー・ディフレッシュ型アルゴリズムの収束性を確立する。
  論文  参考訳（メタデータ） (2025-02-02T11:23:10Z)
• Methods for Convex $(L_0,L_1)$-Smooth Optimization: Clipping, Acceleration, and Adaptivity [50.25258834153574]
  我々は、(強に)凸 $(L0)$-smooth 関数のクラスに焦点を当て、いくつかの既存のメソッドに対する新しい収束保証を導出する。 特に,スムーズなグラディエント・クリッピングを有するグラディエント・ディフレッシュと,ポリアク・ステップサイズを有するグラディエント・ディフレッシュのコンバージェンス・レートの改善を導出した。
  論文  参考訳（メタデータ） (2024-09-23T13:11:37Z)
• STORM+: Fully Adaptive SGD with Momentum for Nonconvex Optimization [74.1615979057429]
  本研究では,スムーズな損失関数に対する期待値である非バッチ最適化問題について検討する。 我々の研究は、学習率と運動量パラメータを適応的に設定する新しいアプローチとともに、STORMアルゴリズムの上に構築されている。
  論文  参考訳（メタデータ） (2021-11-01T15:43:36Z)
• High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
  アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。 非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。 そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
  論文  参考訳（メタデータ） (2021-06-10T17:54:21Z)
• Convergence of adaptive algorithms for weakly convex constrained optimization [59.36386973876765]
  モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。 我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
  論文  参考訳（メタデータ） (2020-06-11T17:43:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。