論文の概要: How Edge of Stability Hinders SCAFFOLD in Federated Optimization

• arxiv url: http://arxiv.org/abs/2608.25873v1
• Date: Wed, 26 Aug 2026 14:45:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-27 14:15:15.869901
• Title: How Edge of Stability Hinders SCAFFOLD in Federated Optimization
• Title（参考訳）: フェデレート最適化における安定性のエッジとSCAFFOLD
• Abstract要約: SCAFFOLDは通常、より単純なFedAvgよりもパフォーマンスが良くないことを示す。 このギャップは、エッジ・オブ・安定性(EoS)の存在と、フェデレート最適化におけるプログレッシブ・シャープ化によるものである。 我々は,世界目標の勾配を推定するSCAFFOLDの能力が,EoSで著しく劣化していることを観察した。
• 参考スコア（独自算出の注目度）: 48.656242232026756
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In federated learning, it is well known that heterogeneous data can (in theory) slow down optimization, and much effort has been directed at designing optimization algorithms that are unaffected by data heterogeneity, such as the SCAFFOLD algorithm. Yet, despite strong theoretical guarantees, SCAFFOLD does not usually outperform the much simpler FedAvg in practice. In this work, we propose that this gap is due to the presence of Edge of Stability (EoS) and progressive sharpening in federated optimization, supported by extensive empirical probing. First, we find that EoS-like dynamics occur with both FedAvg and SCAFFOLD under a variety of architectures and hyperparameters. We observe that the equilibrium value of the sharpness is inversely proportional to the learning rate (as in GD), and interestingly, the degree of data heterogeneity (but not the number of local steps) also affects the equilibrium value. Most importantly, we observe that SCAFFOLD's ability to estimate the gradient of the global objective is severely degraded at the EoS, as measured by the correlation between sharpness and SCAFFOLD's error in estimating the global gradient along the optimization trajectory. This suggests a mechanism for SCAFFOLD's lackluster performance in deep learning: with high sharpness at the EoS, SCAFFOLD cannot reliably estimate the global gradient.
• Abstract（参考訳）: 連合学習では、異種データが(理論上)最適化を遅くすることができることが知られており、SCAFFOLDアルゴリズムのようなデータ異種性の影響を受けない最適化アルゴリズムの設計に多くの努力が注がれている。 しかし、強い理論的な保証にもかかわらず、SCAFFOLDは実際にはより単純なFedAvgよりもパフォーマンスが良くない。 本研究では、このギャップは、エッジ・オブ・安定性(EoS)の存在と、広範囲な経験的探索によって支えられた、フェデレーション最適化におけるプログレッシブ・シャープニングによるものであることを示唆する。 まず、様々なアーキテクチャやハイパーパラメータの下で、EoSライクなダイナミクスがFedAvgとSCAFFOLDの両方で起こります。 我々は、シャープネスの平衡値が学習率(GDなど)に逆比例していることを観察し、興味深いことに、データ不均一性の度合い(局所的なステップの数ではなく)も平衡値に影響を与える。 最も重要なことは、最適化軌道に沿った大域勾配を推定する際のシャープネスとSCAFFOLDの誤差の相関から、大域目標の勾配を推定するSCAFFOLDの能力は、EoSで著しく劣化していることである。 このことは、深層学習におけるSCAFFOLDの欠如する性能のメカニズムを示唆している。

関連論文リスト

• Taming the Instability: A Robust Second-Order Optimizer for Federated Learning over Non-IID Data [77.19117648492104]
  We present Federated Robust Curvature Optimization (FedRCO), a novel second-order optimization framework designed to improve convergence speed and reduce communication cost。 FedRCOは、効率的な近似曲率と証明可能な安定性メカニズムを統合することで、これらの課題に対処する。 我々は,FedRCOが,最先端の1次法と2次法のどちらよりも高い精度と高速な収束を実現しつつ,多種多様な非IIDシナリオに対して優れたロバスト性を実現することを示す。
  論文  参考訳（メタデータ） (2026-03-30T11:37:46Z)
• Gradient Compression May Hurt Generalization: A Remedy by Synthetic Data Guided Sharpness Aware Minimization [42.77143251031899]
  フェデレート学習(FL)における勾配圧縮は、無視可能な性能劣化を伴う通信効率を大幅に向上させる。 我々は,大域的モデル軌道を利用して合成データを構築し,大域的摂動の正確な推定を容易にするFedSynSAMを提案する。
  論文  参考訳（メタデータ） (2026-02-12T05:08:49Z)
• NDCG-Consistent Softmax Approximation with Accelerated Convergence [67.10365329542365]
  本稿では,ランキングの指標と直接一致した新たな損失定式化を提案する。 提案したRG損失を高効率な Alternating Least Squares (ALS) 最適化手法と統合する。 実世界のデータセットに対する実証的な評価は、我々のアプローチが同等または上位のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2025-06-11T06:59:17Z)
• Decentralized Nonconvex Composite Federated Learning with Gradient Tracking and Momentum [78.27945336558987]
  分散サーバ(DFL)はクライアント・クライアント・アーキテクチャへの依存をなくす。 非滑らかな正規化はしばしば機械学習タスクに組み込まれる。 本稿では,これらの問題を解決する新しいDNCFLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-04-17T08:32:25Z)
• Federated Smoothing Proximal Gradient for Quantile Regression with Non-Convex Penalties [3.269165283595478]
  IoT(Internet-of-Things)の分散センサーは、大量のスパースデータを生成する。 本稿では, 滑らか化機構をそのビューに統合し, 精度と計算速度を両立させる, 結合型滑らか化近位勾配(G)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-08-10T21:50:19Z)
• Achieving Constraints in Neural Networks: A Stochastic Augmented Lagrangian Approach [49.1574468325115]
  DNN(Deep Neural Networks)の正規化は、一般化性の向上とオーバーフィッティングの防止に不可欠である。 制約付き最適化問題としてトレーニングプロセスのフレーミングによるDNN正規化に対する新しいアプローチを提案する。 我々はAugmented Lagrangian (SAL) 法を用いて、より柔軟で効率的な正規化機構を実現する。
  論文  参考訳（メタデータ） (2023-10-25T13:55:35Z)
• On the Unreasonable Effectiveness of Federated Averaging with Heterogeneous Data [39.600069116159695]
  既存の理論では、フェデレーション学習におけるフェデレーション平均化(FedAvg)アルゴリズムの性能は、データの不均一性が低下すると予想している。 本稿では,従来の理論的予測と矛盾するFedAvgの有効性について述べる。
  論文  参考訳（メタデータ） (2022-06-09T18:25:25Z)
• CAFE: Learning to Condense Dataset by Aligning Features [72.99394941348757]
  本稿ではCAFE(Aligning features)によるCondenseデータセットの新しいスキームを提案する。 このアプローチの核心は、さまざまなスケールにわたる実データと合成データから機能を整合させる効果的な戦略です。 提案したCAFEを様々なデータセットで検証し,概ね最先端技術であることを示す。
  論文  参考訳（メタデータ） (2022-03-03T05:58:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。