Fugu-MT 論文翻訳(概要): Accelerated Training of Federated Learning via Second-Order Methods

論文の概要: Accelerated Training of Federated Learning via Second-Order Methods

arxiv url: http://arxiv.org/abs/2505.23588v1
Date: Thu, 29 May 2025 16:00:34 GMT
ステータス: 翻訳完了
システム内更新日: 2025-05-30 18:14:07.964939
Title: Accelerated Training of Federated Learning via Second-Order Methods
Title（参考訳）: 2次手法によるフェデレーション学習の高速化
Authors: Mrinmay Sen, Sidhant R Nair, C Krishna Mohan,
Abstract要約: 本稿では,フェデレートラーニング(FL)における2次最適化手法について検討する。これは、収束の遅い重要な課題と、グローバルモデルから最適なパフォーマンスを達成するのに必要な過剰な通信ラウンドに対処する。
参考スコア（独自算出の注目度）: 2.1165011830664673
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This paper explores second-order optimization methods in Federated Learning (FL), addressing the critical challenges of slow convergence and the excessive communication rounds required to achieve optimal performance from the global model. While existing surveys in FL primarily focus on challenges related to statistical and device label heterogeneity, as well as privacy and security concerns in first-order FL methods, less attention has been given to the issue of slow model training. This slow training often leads to the need for excessive communication rounds or increased communication costs, particularly when data across clients are highly heterogeneous. In this paper, we examine various FL methods that leverage second-order optimization to accelerate the training process. We provide a comprehensive categorization of state-of-the-art second-order FL methods and compare their performance based on convergence speed, computational cost, memory usage, transmission overhead, and generalization of the global model. Our findings show the potential of incorporating Hessian curvature through second-order optimization into FL and highlight key challenges, such as the efficient utilization of Hessian and its inverse in FL. This work lays the groundwork for future research aimed at developing scalable and efficient federated optimization methods for improving the training of the global model in FL.
Abstract（参考訳）: 本稿では,フェデレートラーニング(FL)における2次最適化手法について検討し,収束の遅さと,グローバルモデルから最適な性能を達成するために必要な通信ラウンドの過度な問題に対処する。 FLにおける既存の調査は、統計学とデバイスラベルの不均一性に関する問題と、一階のFLメソッドにおけるプライバシとセキュリティに関する懸念に重点を置いているが、遅いモデルトレーニングの問題にはあまり関心が向けられていない。この遅いトレーニングは、特にクライアント間のデータが非常に異質な場合に、過剰な通信ラウンドや通信コストの増大につながることが多い。本稿では,2次最適化を利用して学習過程を高速化する様々なFL法について検討する。我々は、最先端の2次FL法を包括的に分類し、収束速度、計算コスト、メモリ使用量、送信オーバーヘッド、グローバルモデルの一般化に基づく性能の比較を行う。本研究は,2次最適化によるヘッセン曲率のFLへの導入の可能性を示し,ヘッセン曲率の有効利用やFLにおける逆転といった重要な課題を浮き彫りにした。本研究は、FLにおけるグローバルモデルのトレーニングを改善するために、スケーラブルで効率的なフェデレーション最適化手法を開発することを目的とした将来の研究の基盤となる。

関連論文リスト

Over-the-Air Fair Federated Learning via Multi-Objective Optimization [52.295563400314094]
本稿では,公平なFLモデルを訓練するためのOTA-FFL(Over-the-air Fair Federated Learning Algorithm)を提案する。 OTA-FFLの公正性とロバストな性能に対する優位性を示す実験を行った。
論文参考訳（メタデータ） (2025-01-06T21:16:51Z)
Understanding Generalization of Federated Learning: the Trade-off between Model Stability and Optimization [22.577751005038543]
Federated Learning(FL)は、複数のデバイスで機械学習モデルをトレーニングする分散学習アプローチである。 FLはデータの不均一性のためにしばしば課題に直面し、クライアント間の一貫性のないローカルオプティマに繋がる。本稿ではアルゴリズムに依存した過剰リスク最小化のための革新的な一般化ダイナミクス解析フレームワークLibraを紹介する。
論文参考訳（メタデータ） (2024-11-25T11:43:22Z)
FADAS: Towards Federated Adaptive Asynchronous Optimization [56.09666452175333]
フェデレートラーニング(FL)は、プライバシ保護機械学習のトレーニングパラダイムとして広く採用されている。本稿では、非同期更新を適応的フェデレーション最適化と証明可能な保証に組み込む新しい手法であるFADASについて紹介する。提案アルゴリズムの収束率を厳格に確立し,FADASが他の非同期FLベースラインよりも優れていることを示す実験結果を得た。
論文参考訳（メタデータ） (2024-07-25T20:02:57Z)
FedEGG: Federated Learning with Explicit Global Guidance [90.04705121816185]
フェデレートラーニング(FL)は、そのプライバシー保護の性質から、多様なアプリケーションにとって大きな可能性を秘めている。既存の手法は、最適化ベースのクライアント制約、適応的なクライアント選択、事前訓練されたモデルや合成データの使用によってこれらの課題に対処するのに役立つ。我々はbftextFedEGGを提案する。bftextFedEGGは、よく定義された、容易に収束できる学習タスクを用いて、グローバルガイドタスクを構築する新しいFLアルゴリズムである。
論文参考訳（メタデータ） (2024-04-18T04:25:21Z)
FAGH: Accelerating Federated Learning with Approximated Global Hessian [0.27309692684728615]
FLトレーニングを高速化するために,大域的ヘッセン法(FAGH)を用いたFLを提案する。 FAGHは、グローバルモデルトレーニングの収束を加速し、通信ラウンドの数を減らし、トレーニング時間を短縮する。特に、FAGHは最先端のFLトレーニング方法よりも優れています。
論文参考訳（メタデータ） (2024-03-16T23:24:03Z)
Communication-Efficient Heterogeneous Federated Learning with Generalized Heavy-Ball Momentum [9.205317127088168]
Federated Learning(FL)は、プライバシ制約のあるシナリオにおける分散データから学ぶための最先端のアプローチとして登場した。既存のアプローチは十分に堅牢ではなく、大規模シナリオではうまく機能せず、通信効率が良くない。本稿では,GHBMの適応的,通信効率の良い副設計インスタンスとして,GHBM(Generalized Heavy-Ball Momentum)を提案する。
論文参考訳（メタデータ） (2023-11-30T14:17:57Z)
Semi-Federated Learning: Convergence Analysis and Optimization of A Hybrid Learning Framework [70.83511997272457]
本稿では,ベースステーション(BS)とデバイスの両方を活用するセミフェデレーション学習(SemiFL)パラダイムを提案し,中央集権学習(CL)とFLのハイブリッド実装を提案する。我々はこの難解な問題を解くための2段階のアルゴリズムを提案し、ビームフォーマに閉形式解を提供する。
論文参考訳（メタデータ） (2023-10-04T03:32:39Z)
Faster Adaptive Federated Learning [84.38913517122619]
フェデレートラーニングは分散データの出現に伴って注目を集めている。本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
論文参考訳（メタデータ） (2022-12-02T05:07:50Z)
Over-the-Air Federated Learning via Second-Order Optimization [37.594140209854906]
フェデレートラーニング(FL)は、無線ネットワーク上でのタスク指向のデータトラフィックを、限られた無線リソースによって引き起こす可能性がある。本稿では,通信ラウンドを同時に削減し,低レイテンシなグローバルモデルアグリゲーションを実現するために,空対2次フェデレーション最適化アルゴリズムを提案する。
論文参考訳（メタデータ） (2022-03-29T12:39:23Z)
Accelerating Federated Learning with a Global Biased Optimiser [16.69005478209394]
Federated Learning(FL)は、クライアントデバイスを離れるトレーニングデータなしでモデルを協調訓練する機械学習の分野における最近の開発である。本稿では,FedGBO(Federated Global Biased Optimiser)アルゴリズムを用いて,適応最適化手法をFLに適用する手法を提案する。 FedGBOは、FLの局所的なトレーニングフェーズにおいて、グローバルバイアス付きオプティマイザ値のセットを適用することでFLを加速し、非IIDデータからのクライアントドリフトを減少させる。
論文参考訳（メタデータ） (2021-08-20T12:08:44Z)
Dynamic Attention-based Communication-Efficient Federated Learning [85.18941440826309]
フェデレートラーニング(FL)は、グローバル機械学習モデルをトレーニングするためのソリューションを提供する。 FLは、クライアントデータの分散が非IIDであるときに性能劣化に悩まされる。本稿では,この劣化に対処するために,新しい適応トレーニングアルゴリズムであるtextttAdaFL$を提案する。
論文参考訳（メタデータ） (2021-08-12T14:18:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。