論文の概要: On the Role of Server Momentum in Federated Learning

• arxiv url: http://arxiv.org/abs/2312.12670v1
• Date: Tue, 19 Dec 2023 23:56:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-21 17:29:07.802918
• Title: On the Role of Server Momentum in Federated Learning
• Title（参考訳）: 連合学習におけるサーバモメンタムの役割について
• Authors: Jianhui Sun, Xidong Wu, Heng Huang, Aidong Zhang
• Abstract要約: a)フェデレートラーニング(FL)において未探索な大量のモーメントスキームを網羅するサーバモーメントの一般的な枠組みを提案する。 提案するフレームワークに対して厳密な収束解析を行う。
• 参考スコア（独自算出の注目度）: 85.54616432098706
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated Averaging (FedAvg) is known to experience convergence issues when encountering significant clients system heterogeneity and data heterogeneity. Server momentum has been proposed as an effective mitigation. However, existing server momentum works are restrictive in the momentum formulation, do not properly schedule hyperparameters and focus only on system homogeneous settings, which leaves the role of server momentum still an under-explored problem. In this paper, we propose a general framework for server momentum, that (a) covers a large class of momentum schemes that are unexplored in federated learning (FL), (b) enables a popular stagewise hyperparameter scheduler, (c) allows heterogeneous and asynchronous local computing. We provide rigorous convergence analysis for the proposed framework. To our best knowledge, this is the first work that thoroughly analyzes the performances of server momentum with a hyperparameter scheduler and system heterogeneity. Extensive experiments validate the effectiveness of our proposed framework.
• Abstract（参考訳）: Federated Averaging (FedAvg)は、重要なクライアントシステムの不均一性とデータ不均一性に遭遇する際に収束問題を経験することが知られている。 サーバのモーメントは効果的な緩和として提案されている。 しかし、既存のサーバの運動量は運動量定式化において制限的であり、ハイパーパラメータを適切にスケジュールせず、システムの均質な設定にのみ焦点をあてる。 本稿では,サーバの運動量に関する一般的な枠組みを提案する。 (a)フェデレーション学習(fl)において未熟な運動量スキームの大規模クラスをカバーしている。 (b)人気のあるステージワイズハイパーパラメータスケジューラを可能にする。 c)ヘテロジニアスおよび非同期ローカルコンピューティングを可能にする。 提案するフレームワークに対して厳密な収束解析を行う。 我々の知る限り、これはハイパーパラメータスケジューラとシステム不均一性を用いてサーバの運動量のパフォーマンスを徹底的に解析する最初の研究である。 広範な実験により,提案手法の有効性が検証された。

関連論文リスト

• LoRA-Ensemble: Efficient Uncertainty Modelling for Self-attention Networks [52.46420522934253]
  本稿では,自己注意ネットワークのためのパラメータ効率の高いディープアンサンブル手法であるLoRA-Ensembleを紹介する。 全メンバー間で重みを共有できる1つの事前学習型自己注意ネットワークを利用することで、注意投影のために、メンバー固有の低ランク行列を訓練する。 提案手法は明示的なアンサンブルよりも優れたキャリブレーションを示し,様々な予測タスクやデータセットに対して類似あるいは良好な精度を実現する。
  論文  参考訳（メタデータ） (2024-05-23T11:10:32Z)
• Scalable Federated Unlearning via Isolated and Coded Sharding [76.12847512410767]
  フェデレートされたアンラーニングは、クライアントレベルのデータエフェクトを削除するための有望なパラダイムとして登場した。 本稿では,分散シャーディングと符号化コンピューティングに基づく,スケーラブルなフェデレーション・アンラーニング・フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-29T08:41:45Z)
• Client Orchestration and Cost-Efficient Joint Optimization for NOMA-Enabled Hierarchical Federated Learning [55.49099125128281]
  半同期クラウドモデルアグリゲーションの下で非直交多重アクセス(NOMA)を実現するHFLシステムを提案する。 提案手法は,HFLの性能改善と総コスト削減に関するベンチマークよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-11-03T13:34:44Z)
• Asynchronous Federated Learning with Incentive Mechanism Based on Contract Theory [5.502596101979607]
  本稿では,契約理論に基づくインセンティブ機構を統合した新しい非同期FLフレームワークを提案する。 攻撃対象のローカルSGDよりも精度が1.35%向上した。
  論文  参考訳（メタデータ） (2023-10-10T09:17:17Z)
• Momentum Benefits Non-IID Federated Learning Simply and Provably [22.800862422479913]
  フェデレートラーニングは大規模機械学習の強力なパラダイムである。 FedAvgとSCAFFOLDは、これらの課題に対処する2つの顕著なアルゴリズムである。 本稿では,FedAvgとSCAFFOLDの性能向上のための運動量の利用について検討する。
  論文  参考訳（メタデータ） (2023-06-28T18:52:27Z)
• FedSkip: Combatting Statistical Heterogeneity with Federated Skip Aggregation [95.85026305874824]
  我々はFedSkipと呼ばれるデータ駆動型アプローチを導入し、フェデレーション平均化を定期的にスキップし、ローカルモデルをクロスデバイスに分散することで、クライアントの最適化を改善する。 我々は、FedSkipがはるかに高い精度、より良いアグリゲーション効率、競合する通信効率を達成することを示すために、さまざまなデータセットに関する広範な実験を行う。
  論文  参考訳（メタデータ） (2022-12-14T13:57:01Z)
• Asynchronous Hierarchical Federated Learning [10.332084068006345]
  大量のサーバトラフィック、長い収束期間、信頼できない精度の問題を解決するために、非同期階層型フェデレーション学習を提案する。 特別な集約装置を選択して階層的な学習を可能にし、サーバの負担を大幅に軽減することができる。 CIFAR-10画像分類タスクにおける提案アルゴリズムの評価を行った。
  論文  参考訳（メタデータ） (2022-05-31T18:42:29Z)
• Federated Stochastic Gradient Descent Begets Self-Induced Momentum [151.4322255230084]
  Federated Learning(FL)は、モバイルエッジシステムに適用可能な、新興の機械学習手法である。 このような条件下での勾配降下(SGD)への走行は,大域的な集約プロセスに運動量的な項を加えるとみなすことができる。
  論文  参考訳（メタデータ） (2022-02-17T02:01:37Z)
• Hybrid intelligence for dynamic job-shop scheduling with deep reinforcement learning and attention mechanism [28.28095225164155]
  我々は、DJSPをマルコフ決定過程(MDP)として定式化し、強化学習(RL)に対処する。 本稿では,分割グラフを状態とするフレキシブルなハイブリッドフレームワークを提案する。 我々は、有名なOR-Libraryに基づく公開ベンチマークであるGymjspを紹介し、RLおよびDJSP研究コミュニティのための標準化されたオフザシェルフ施設を提供する。
  論文  参考訳（メタデータ） (2022-01-03T09:38:13Z)
• Byzantine-robust Federated Learning through Spatial-temporal Analysis of Local Model Updates [6.758334200305236]
  フェデレートラーニング(FL)は、複数の分散クライアント(モバイルデバイスなど)が、クライアントにローカルにトレーニングデータを保持しながら、協調的に集中的なモデルをトレーニングすることを可能にする。 本稿では,これらの障害と攻撃を空間的・時間的観点から緩和することを提案する。 具体的には、パラメータ空間におけるそれらの幾何学的性質を活用することにより、不正な更新を検出し、排除するためにクラスタリングに基づく手法を用いる。
  論文  参考訳（メタデータ） (2021-07-03T18:48:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。