論文の概要: FAGH: Accelerating Federated Learning with Approximated Global Hessian
- arxiv url: http://arxiv.org/abs/2403.11041v1
- Date: Sat, 16 Mar 2024 23:24:03 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-19 20:27:00.472147
- Title: FAGH: Accelerating Federated Learning with Approximated Global Hessian
- Title（参考訳）: FAGH: 近似グローバルヘッセンによるフェデレーション学習の高速化
- Authors: Mrinmay Sen, A. K. Qin, Krishna Mohan C,
- Abstract要約: FLトレーニングを高速化するために,大域的ヘッセン法(FAGH)を用いたFLを提案する。
FAGHは、グローバルモデルトレーニングの収束を加速し、通信ラウンドの数を減らし、トレーニング時間を短縮する。
特に、FAGHは最先端のFLトレーニング方法よりも優れています。
- 参考スコア（独自算出の注目度）: 0.27309692684728615
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In federated learning (FL), the significant communication overhead due to the slow convergence speed of training the global model poses a great challenge. Specifically, a large number of communication rounds are required to achieve the convergence in FL. One potential solution is to employ the Newton-based optimization method for training, known for its quadratic convergence rate. However, the existing Newton-based FL training methods suffer from either memory inefficiency or high computational costs for local clients or the server. To address this issue, we propose an FL with approximated global Hessian (FAGH) method to accelerate FL training. FAGH leverages the first moment of the approximated global Hessian and the first moment of the global gradient to train the global model. By harnessing the approximated global Hessian curvature, FAGH accelerates the convergence of global model training, leading to the reduced number of communication rounds and thus the shortened training time. Experimental results verify FAGH's effectiveness in decreasing the number of communication rounds and the time required to achieve the pre-specified objectives of the global model performance in terms of training and test losses as well as test accuracy. Notably, FAGH outperforms several state-of-the-art FL training methods.
- Abstract（参考訳）: フェデレートラーニング(FL)では、トレーニングの収束速度の遅いため、グローバルモデルが大きな課題となる。
具体的には、FLの収束を達成するために、多数の通信ラウンドが必要である。
潜在的な解決策の1つは、ニュートンの2次収束率(英語版)で知られるトレーニングに最適化法を用いることである。
しかし、既存のニュートンベースのFLトレーニング手法は、ローカルクライアントやサーバのメモリ不足や高い計算コストに悩まされている。
この問題に対処するために, FLトレーニングを高速化するための大域的ヘッセン法(FAGH)を用いたFLを提案する。
FAGHは、近似された大域ヘッセンの最初のモーメントと、大域勾配の最初のモーメントを活用して、大域模型を訓練する。
近似された大域ヘッセン曲率を利用することで、FAGHはグローバルモデルトレーニングの収束を加速し、通信ラウンドの減少と訓練時間の短縮につながる。
実験結果から,FAGHの通信ラウンド数削減効果と,訓練やテスト損失,テスト精度の観点から,グローバルモデル性能の事前目標達成に要する時間について検証した。
特に、FAGHは最先端のFLトレーニング方法よりも優れています。
関連論文リスト
- Over-the-Air Fair Federated Learning via Multi-Objective Optimization [52.295563400314094]
本稿では,公平なFLモデルを訓練するためのOTA-FFL(Over-the-air Fair Federated Learning Algorithm)を提案する。
OTA-FFLの公正性とロバストな性能に対する優位性を示す実験を行った。
論文 参考訳（メタデータ） (2025-01-06T21:16:51Z) - Local Superior Soups: A Catalyst for Model Merging in Cross-Silo Federated Learning [33.88701368538447]
我々は「ローカル・スーパー・スープ」と呼ばれる革新的モデルに基づくローカル・トレーニング手法を提案する。
提案手法は, 異なるクライアント間でのローカルトレーニングを強化し, 接続された低損失盆地の探索を奨励する。
広範に使われているFLデータセットにまたがって,その有効性と効率を実証した。
論文 参考訳（メタデータ） (2024-10-31T06:20:17Z) - Achieving Linear Speedup in Asynchronous Federated Learning with
Heterogeneous Clients [30.135431295658343]
フェデレートラーニング(FL)は、異なるクライアントにローカルに保存されているデータを交換したり転送したりすることなく、共通のグローバルモデルを学ぶことを目的としている。
本稿では,DeFedAvgという,効率的な連邦学習(AFL)フレームワークを提案する。
DeFedAvgは、望まれる線形スピードアップ特性を達成する最初のAFLアルゴリズムであり、高いスケーラビリティを示している。
論文 参考訳（メタデータ） (2024-02-17T05:22:46Z) - Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。
FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。
そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
論文 参考訳（メタデータ） (2023-11-12T11:01:10Z) - TimelyFL: Heterogeneity-aware Asynchronous Federated Learning with
Adaptive Partial Training [17.84692242938424]
TimelyFLは、適応的な部分的トレーニングを備えた、異種対応の非同期フェデレートラーニングフレームワークである。
我々は、TimelyFLが参加率を21.13%改善し、収束率を1.28倍から2.89倍向上させ、テスト精度を6.25%向上させることを示した。
論文 参考訳（メタデータ） (2023-04-14T06:26:08Z) - Revisiting Communication-Efficient Federated Learning with Balanced
Global and Local Updates [14.851898446967672]
本研究では,地域研修の数とグローバルアグリゲーションの数との最適なトレードオフを調査し,分析する。
提案手法は予測精度の点で性能が向上し,ベースライン方式よりもはるかに高速に収束する。
論文 参考訳（メタデータ） (2022-05-03T13:05:26Z) - Fine-tuning Global Model via Data-Free Knowledge Distillation for
Non-IID Federated Learning [86.59588262014456]
フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。
サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。
私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
論文 参考訳（メタデータ） (2022-03-17T11:18:17Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳（メタデータ） (2022-03-05T02:31:32Z) - Delay Minimization for Federated Learning Over Wireless Communication
Networks [172.42768672943365]
無線通信ネットワーク上でのフェデレーション学習(FL)における遅延計算の問題について検討した。
最適解を得るために,二項探索アルゴリズムを提案する。
シミュレーションの結果,提案アルゴリズムは従来のFL法と比較して最大27.3%遅延を低減できることがわかった。
論文 参考訳（メタデータ） (2020-07-05T19:00:07Z) - Federated Learning With Quantized Global Model Updates [84.55126371346452]
モバイル端末がローカルデータセットを使用してグローバルモデルをトレーニングできるフェデレーション学習について検討する。
本稿では,大域的モデルと局所的モデル更新の両方を,送信前に量子化する損失FL(LFL)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-06-18T16:55:20Z) - Continual Local Training for Better Initialization of Federated Models [14.289213162030816]
フェデレートラーニング(Federated Learning、FL)とは、機械学習モデルを分散システムで直接訓練する学習パラダイムである。
一般的なFLアルゴリズムであるemphFederated Averaging (FedAvg)は重みのばらつきに悩まされている。
本稿では,この問題に対処するための局所的な継続的トレーニング戦略を提案する。
論文 参考訳（メタデータ） (2020-05-26T12:27:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。