論文の概要: Fed-Sophia: A Communication-Efficient Second-Order Federated Learning Algorithm

• arxiv url: http://arxiv.org/abs/2406.06655v1
• Date: Mon, 10 Jun 2024 09:57:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-12 20:44:57.178545
• Title: Fed-Sophia: A Communication-Efficient Second-Order Federated Learning Algorithm
• Title（参考訳）: Fed-Sophia: コミュニケーション効率の良い2次フェデレーション学習アルゴリズム
• Authors: Ahmed Elbakary, Chaouki Ben Issaid, Mohammad Shehab, Karim Seddik, Tamer ElBatt, Mehdi Bennis,
• Abstract要約: フェデレーション学習(Federated Learning)は、複数のデバイスが、ローカル更新のみを共有することで、パラメータサーバの助けを借りて協調的に学習する、機械学習アプローチである。 この領域では勾配に基づく最適化手法が広く採用されているが、二階法が示す曲率情報は収束のガイドと高速化に不可欠である。 本稿では,フェデレートされた大規模モデルにおける曲率情報の導入を可能にする,スケーラブルな2次法を提案する。
• 参考スコア（独自算出の注目度）: 28.505671833986067
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated learning is a machine learning approach where multiple devices collaboratively learn with the help of a parameter server by sharing only their local updates. While gradient-based optimization techniques are widely adopted in this domain, the curvature information that second-order methods exhibit is crucial to guide and speed up the convergence. This paper introduces a scalable second-order method, allowing the adoption of curvature information in federated large models. Our method, coined Fed-Sophia, combines a weighted moving average of the gradient with a clipping operation to find the descent direction. In addition to that, a lightweight estimation of the Hessian's diagonal is used to incorporate the curvature information. Numerical evaluation shows the superiority, robustness, and scalability of the proposed Fed-Sophia scheme compared to first and second-order baselines.
• Abstract（参考訳）: フェデレーション学習(Federated Learning)は、複数のデバイスが、ローカル更新のみを共有することで、パラメータサーバの助けを借りて協調的に学習する、機械学習アプローチである。 この領域では勾配に基づく最適化手法が広く採用されているが、二階法が示す曲率情報は収束のガイドと高速化に不可欠である。 本稿では,フェデレートされた大規模モデルにおける曲率情報の導入を可能にする,スケーラブルな2次法を提案する。 提案手法はFed-Sophiaと呼ばれ,勾配の重み付き移動平均とクリッピング演算を組み合わせ,降下方向を求める。 それに加えて、曲率情報を組み込むためにヘッセン対角線の軽量な推定が用いられる。 数値評価は, 提案したFed-Sophiaスキームの1次および2次ベースラインと比較して, 優位性, 堅牢性, 拡張性を示す。

関連論文リスト

• A Historical Trajectory Assisted Optimization Method for Zeroth-Order Federated Learning [24.111048817721592]
  フェデレートラーニングは分散勾配降下技術に大きく依存している。 勾配情報が得られない状況では、勾配をゼロ次情報から推定する必要がある。 勾配推定法を改善するための非等方的サンプリング法を提案する。
  論文  参考訳（メタデータ） (2024-09-24T10:36:40Z)
• Towards Hyper-parameter-free Federated Learning [1.3682156035049038]
  グローバルモデル更新の自動スケーリングのためのアルゴリズムを導入する。 第1のアルゴリズムでは、クライアントにおける降下検知ステップサイズ体制が、サーバの目的に対して降下を保証することが保証される。 第2のアルゴリズムは、サンプリングされたクライアントの目的値の平均値が、スケーリング係数を計算するのに必要な値サーバの実用的で効果的な代用であることを示している。
  論文  参考訳（メタデータ） (2024-08-30T09:35:36Z)
• Adaptive Federated Learning Over the Air [108.62635460744109]
  オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。 解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
  論文  参考訳（メタデータ） (2024-03-11T09:10:37Z)
• On Principled Local Optimization Methods for Federated Learning [2.628859872479184]
  論文は、以下の3つの方向において、局所的手法の理論的基礎を前進させることを目的としている。 まず、フェデレートラーニングで最も人気のあるアルゴリズムであるFedAvgのシャープバウンドを確立する。 次に,FedAc(Federated Accelerated Descent)を提案する。
  論文  参考訳（メタデータ） (2024-01-24T03:57:45Z)
• Stochastic Unrolled Federated Learning [85.6993263983062]
  本稿では,UnRolled Federated Learning (SURF)を導入する。 提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
  論文  参考訳（メタデータ） (2023-05-24T17:26:22Z)
• FedDA: Faster Framework of Local Adaptive Gradient Methods via Restarted Dual Averaging [104.41634756395545]
  フェデレートラーニング(Federated Learning, FL)は、大規模な分散データに取り組むための新たな学習パラダイムである。 局所適応勾配法のための新しいフレームワークである textbfFedDA を提案する。 textbfFedDA-MVR は適応FLアルゴリズムとしては初めてこの速度を実現することを示す。
  論文  参考訳（メタデータ） (2023-02-13T05:10:30Z)
• Faster Adaptive Federated Learning [84.38913517122619]
  フェデレートラーニングは分散データの出現に伴って注目を集めている。 本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
  論文  参考訳（メタデータ） (2022-12-02T05:07:50Z)
• Optimization-Based Separations for Neural Networks [57.875347246373956]
  本研究では,2層のシグモダルアクティベーションを持つディープ2ニューラルネットワークを用いて,ボールインジケータ関数を効率よく学習できることを示す。 これは最適化に基づく最初の分離結果であり、より強力なアーキテクチャの近似の利点は、実際に確実に現れる。
  論文  参考訳（メタデータ） (2021-12-04T18:07:47Z)
• Second-Order Guarantees in Federated Learning [49.17137296715029]
  フェデレーション学習は,分散データからの集中学習として有用なものだ。 本稿では,集中型および分散型設定における2次最適性アルゴリズムについて述べる。
  論文  参考訳（メタデータ） (2020-12-02T19:30:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。