論文の概要: Towards Hyper-parameter-free Federated Learning

• arxiv url: http://arxiv.org/abs/2408.17145v1
• Date: Fri, 30 Aug 2024 09:35:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-02 15:48:34.366844
• Title: Towards Hyper-parameter-free Federated Learning
• Title（参考訳）: ハイパーパラメータフリーフェデレーションラーニングを目指して
• Authors: Geetika, Drishya Uniyal, Bapi Chatterjee,
• Abstract要約: グローバルモデル更新の自動スケーリングのためのアルゴリズムを導入する。 第1のアルゴリズムでは、クライアントにおける降下検知ステップサイズ体制が、サーバの目的に対して降下を保証することが保証される。 第2のアルゴリズムは、サンプリングされたクライアントの目的値の平均値が、スケーリング係数を計算するのに必要な値サーバの実用的で効果的な代用であることを示している。
• 参考スコア（独自算出の注目度）: 1.3682156035049038
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The adaptive synchronization techniques in federated learning (FL) for scaled global model updates show superior performance over the vanilla federated averaging (FedAvg) scheme. However, existing methods employ additional tunable hyperparameters on the server to determine the scaling factor. A contrasting approach is automated scaling analogous to tuning-free step-size schemes in stochastic gradient descent (SGD) methods, which offer competitive convergence rates and exhibit good empirical performance. In this work, we introduce two algorithms for automated scaling of global model updates. In our first algorithm, we establish that a descent-ensuring step-size regime at the clients ensures descent for the server objective. We show that such a scheme enables linear convergence for strongly convex federated objectives. Our second algorithm shows that the average of objective values of sampled clients is a practical and effective substitute for the objective function value at the server required for computing the scaling factor, whose computation is otherwise not permitted. Our extensive empirical results show that the proposed methods perform at par or better than the popular federated learning algorithms for both convex and non-convex problems. Our work takes a step towards designing hyper-parameter-free federated learning.
• Abstract（参考訳）: 大規模グローバルモデル更新のためのフェデレート学習(FL)における適応同期技術は、バニラフェデレート平均化(FedAvg)方式よりも優れた性能を示す。 しかし、既存の手法では、スケーリング係数を決定するために、サーバに調整可能なハイパーパラメータを追加している。 対照的なアプローチは、競合収束率を提供し、優れた経験的性能を示す確率勾配勾配勾配(SGD)法において、チューニング不要なステップサイズスキームに類似した自動スケーリングである。 本研究では,グローバルモデル更新の自動スケーリングのための2つのアルゴリズムを紹介する。 第1のアルゴリズムでは、クライアントにおける降下検知ステップサイズ体制が、サーバの目的に対して降下を保証することが保証される。 このようなスキームは, 強凸フェデレーション対象に対する線形収束を可能にすることを示す。 第2のアルゴリズムは,スケーリング係数の計算に要するサーバの目的関数値に対して,サンプルクライアントの目的値の平均値が実用的で効果的な代用であることを示す。 提案手法は, 凸問題と非凸問題の両方に対して, 一般的なフェデレーション学習アルゴリズムよりも同等以上の性能を示すことを示す。 我々の研究は、ハイパーパラメータフリーなフェデレーションラーニングを設計するための一歩を踏み出した。

関連論文リスト

• Client-Centric Federated Adaptive Optimization [78.30827455292827]
  Federated Learning(FL)は、クライアントが独自のデータをプライベートに保ちながら、協調的にモデルをトレーニングする分散学習パラダイムである。 本稿では,新しいフェデレーション最適化手法のクラスであるフェデレーション中心適応最適化を提案する。
  論文  参考訳（メタデータ） (2025-01-17T04:00:50Z)
• Over-the-Air Fair Federated Learning via Multi-Objective Optimization [52.295563400314094]
  本稿では,公平なFLモデルを訓練するためのOTA-FFL(Over-the-air Fair Federated Learning Algorithm)を提案する。 OTA-FFLの公正性とロバストな性能に対する優位性を示す実験を行った。
  論文  参考訳（メタデータ） (2025-01-06T21:16:51Z)
• Pursuing Overall Welfare in Federated Learning through Sequential Decision Making [10.377683220196873]
  従来のフェデレートラーニングでは、単一のグローバルモデルはすべてのクライアントに対して等しく機能することができない。 我々の研究は、既存の公正を意識したアグリゲーション戦略をオンライン凸最適化フレームワークに統合できることを明らかにした。 AAggFFは、両方の実践的な設定において、既存のメソッドよりもクライアントレベルの公平性が高い。
  論文  参考訳（メタデータ） (2024-05-31T14:15:44Z)
• Adaptive Federated Learning Over the Air [108.62635460744109]
  オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。 解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
  論文  参考訳（メタデータ） (2024-03-11T09:10:37Z)
• Locally Adaptive Federated Learning [30.19411641685853]
  フェデレートラーニング(Federated Learning)とは、複数のクライアントが中央サーバと協調してモデルを学習する分散機械学習のパラダイムである。 Federated Averaging (FedAvg)のような標準的なフェデレーション最適化手法は、クライアント間の一般化を保証する。 本稿では,各クライアント関数の局所的幾何情報を利用する局所的フェデレーション学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-07-12T17:02:32Z)
• Stochastic Unrolled Federated Learning [85.6993263983062]
  本稿では,UnRolled Federated Learning (SURF)を導入する。 提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
  論文  参考訳（メタデータ） (2023-05-24T17:26:22Z)
• FedDA: Faster Framework of Local Adaptive Gradient Methods via Restarted Dual Averaging [104.41634756395545]
  フェデレートラーニング(Federated Learning, FL)は、大規模な分散データに取り組むための新たな学習パラダイムである。 局所適応勾配法のための新しいフレームワークである textbfFedDA を提案する。 textbfFedDA-MVR は適応FLアルゴリズムとしては初めてこの速度を実現することを示す。
  論文  参考訳（メタデータ） (2023-02-13T05:10:30Z)
• Faster Adaptive Federated Learning [84.38913517122619]
  フェデレートラーニングは分散データの出現に伴って注目を集めている。 本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
  論文  参考訳（メタデータ） (2022-12-02T05:07:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。