論文の概要: Distributed Quasi-Newton Method for Fair and Fast Federated Learning

• arxiv url: http://arxiv.org/abs/2501.10877v1
• Date: Sat, 18 Jan 2025 20:59:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-22 14:21:36.744756
• Title: Distributed Quasi-Newton Method for Fair and Fast Federated Learning
• Title（参考訳）: 公平かつ高速なフェデレーション学習のための分散準ニュートン法
• Authors: Shayan Mohajer Hamidi, Linfeng Ye,
• Abstract要約: フェデレートラーニング(FL)は、エッジデバイス/クライアントが中央サーバの協調の下で、機械学習モデルを協調的かつ反復的にトレーニングすることを可能にする。 textbfdistributed textbfquasi-textbfNewton textbffederated Learning (DQN-Fed) と呼ばれる新しい2次FLフレームワークを導入する。 このアプローチは、FL文脈における準ニュートン法の高速収束特性を活用しつつ、公平性を確保することを目指している。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Federated learning (FL) is a promising technology that enables edge devices/clients to collaboratively and iteratively train a machine learning model under the coordination of a central server. The most common approach to FL is first-order methods, where clients send their local gradients to the server in each iteration. However, these methods often suffer from slow convergence rates. As a remedy, second-order methods, such as quasi-Newton, can be employed in FL to accelerate its convergence. Unfortunately, similarly to the first-order FL methods, the application of second-order methods in FL can lead to unfair models, achieving high average accuracy while performing poorly on certain clients' local datasets. To tackle this issue, in this paper we introduce a novel second-order FL framework, dubbed \textbf{d}istributed \textbf{q}uasi-\textbf{N}ewton \textbf{fed}erated learning (DQN-Fed). This approach seeks to ensure fairness while leveraging the fast convergence properties of quasi-Newton methods in the FL context. Specifically, DQN-Fed helps the server update the global model in such a way that (i) all local loss functions decrease to promote fairness, and (ii) the rate of change in local loss functions aligns with that of the quasi-Newton method. We prove the convergence of DQN-Fed and demonstrate its \textit{linear-quadratic} convergence rate. Moreover, we validate the efficacy of DQN-Fed across a range of federated datasets, showing that it surpasses state-of-the-art fair FL methods in fairness, average accuracy and convergence speed.
• Abstract（参考訳）: Federated Learning(FL)は、エッジデバイス/クライアントが中央サーバの調整の下で機械学習モデルを協調的かつ反復的にトレーニングできるようにする、有望な技術である。 FLに対する最も一般的なアプローチは、クライアントが各イテレーションでローカル勾配をサーバに送信する、一階述語メソッドである。 しかし、これらの手法は、しばしば緩やかな収束率に悩まされる。 準ニュートンのような二階法は、FLにおいて収束を加速するために用いられる。 残念なことに、一階法と同様に、FLにおける二階法の適用は不公平なモデルにつながり、特定のクライアントのローカルデータセットに不適切な性能を保ちながら、高い平均精度を達成する。 この問題に対処するため,本稿では,新しい2次FLフレームワークである「textbf{d}istributed \textbf{q}uasi-\textbf{N}ewton \textbf{fed}erated learning (DQN-Fed)」を紹介する。 このアプローチは、FL文脈における準ニュートン法の高速収束特性を活用しつつ、公平性を確保することを目指している。 具体的には、DQN-Fedはサーバがグローバルモデルをこのような方法で更新するのに役立つ。 (i)全ての局所損失関数は、公平性を促進するために減少し、 (2)局所損失関数の変化率は準ニュートン法と一致する。 DQN-Fedの収束を証明し、その収束率を実証する。 さらに,DQN-Fedの有効性をフェデレートしたデータセットで検証し,正当性,平均精度,収束速度において最先端のFL法を超えることを示す。

関連論文リスト

• Over-the-Air Fair Federated Learning via Multi-Objective Optimization [52.295563400314094]
  本稿では,公平なFLモデルを訓練するためのOTA-FFL(Over-the-air Fair Federated Learning Algorithm)を提案する。 OTA-FFLの公正性とロバストな性能に対する優位性を示す実験を行った。
  論文  参考訳（メタデータ） (2025-01-06T21:16:51Z)
• GP-FL: Model-Based Hessian Estimation for Second-Order Over-the-Air Federated Learning [52.295563400314094]
  2次法は学習アルゴリズムの収束率を改善するために広く採用されている。 本稿では,無線チャネルに適した新しい2次FLフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-05T04:27:41Z)
• Enhancing Convergence in Federated Learning: A Contribution-Aware Asynchronous Approach [0.0]
  Federated Learning(FL)は、クライアントがプライバシを保持しながらデータ上でモデルをトレーニングできる分散機械学習パラダイムである。 フェデレート平均化(FedAvg)やその変種などのFLアルゴリズムは、多くのシナリオにおいてよく収束することが示されている。 しかし、これらの手法ではクライアントがローカル更新を同期的にサーバにアップロードする必要があるため、現実的なFL設定では遅くて信頼性が低い。 本稿では、受信した更新の安定性と統計的不均一性を考慮に入れたコントリビューション対応非同期FL法を提案する。
  論文  参考訳（メタデータ） (2024-02-16T12:10:53Z)
• FedDA: Faster Framework of Local Adaptive Gradient Methods via Restarted Dual Averaging [104.41634756395545]
  フェデレートラーニング(Federated Learning, FL)は、大規模な分散データに取り組むための新たな学習パラダイムである。 局所適応勾配法のための新しいフレームワークである textbfFedDA を提案する。 textbfFedDA-MVR は適応FLアルゴリズムとしては初めてこの速度を実現することを示す。
  論文  参考訳（メタデータ） (2023-02-13T05:10:30Z)
• FedNew: A Communication-Efficient and Privacy-Preserving Newton-Type Method for Federated Learning [75.46959684676371]
  我々は、クライアントからPSにヘッセン情報を送信する必要がないFedNewという新しいフレームワークを紹介した。 FedNewは勾配情報を隠蔽し、既存の最先端技術と比べてプライバシー保護のアプローチをもたらす。
  論文  参考訳（メタデータ） (2022-06-17T15:21:39Z)
• FedPrune: Towards Inclusive Federated Learning [1.308951527147782]
  フェデレートラーニング(Federated Learning, FL)は、分散データの共有モデルをプライバシ保護形式でトレーニングする分散学習技術である。 我々は,この課題に対処するシステムであるFedPruneを提案する。 Central Limit Theoremからの洞察を利用することで、FedPruneは非IIDデータよりも堅牢なパフォーマンスを実現する新しい集約テクニックを取り入れている。
  論文  参考訳（メタデータ） (2021-10-27T06:33:38Z)
• Faster Non-Convex Federated Learning via Global and Local Momentum [57.52663209739171]
  textttFedGLOMOは最初の(一階)FLtexttFedGLOMOアルゴリズムです。 クライアントとサーバ間の通信においても,我々のアルゴリズムは確実に最適である。
  論文  参考訳（メタデータ） (2020-12-07T21:05:31Z)
• Over-the-Air Federated Learning from Heterogeneous Data [107.05618009955094]
  フェデレートラーニング(Federated Learning、FL)は、集中型モデルの分散ラーニングのためのフレームワークである。 我々は,共通局所勾配勾配勾配(SGD)FLアルゴリズムを強化するコンバージェント OTA FL (COTAF) アルゴリズムを開発した。 我々は,COTAFにより誘導されるプリコーディングが,OTA FLを用いて訓練されたモデルの収束率と精度を顕著に向上させることを示す。
  論文  参考訳（メタデータ） (2020-09-27T08:28:25Z)
• VAFL: a Method of Vertical Asynchronous Federated Learning [40.423372614317195]
  水平学習(FL)は、同じ機能のセットを共有するマルチクライアントデータを扱う。 垂直FLは、異なるクライアントからの摂動を組み合わせたより良い予測器を訓練する。
  論文  参考訳（メタデータ） (2020-07-12T20:09:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。