論文の概要: Client-Centric Federated Adaptive Optimization

• arxiv url: http://arxiv.org/abs/2501.09946v1
• Date: Fri, 17 Jan 2025 04:00:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-20 14:00:11.439546
• Title: Client-Centric Federated Adaptive Optimization
• Title（参考訳）: クライアント中心の適応最適化
• Authors: Jianhui Sun, Xidong Wu, Heng Huang, Aidong Zhang,
• Abstract要約: Federated Learning(FL)は、クライアントが独自のデータをプライベートに保ちながら、協調的にモデルをトレーニングする分散学習パラダイムである。 本稿では,新しいフェデレーション最適化手法のクラスであるフェデレーション中心適応最適化を提案する。
• 参考スコア（独自算出の注目度）: 78.30827455292827
• License:
• Abstract: Federated Learning (FL) is a distributed learning paradigm where clients collaboratively train a model while keeping their own data private. With an increasing scale of clients and models, FL encounters two key challenges, client drift due to a high degree of statistical/system heterogeneity, and lack of adaptivity. However, most existing FL research is based on unrealistic assumptions that virtually ignore system heterogeneity. In this paper, we propose Client-Centric Federated Adaptive Optimization, which is a class of novel federated adaptive optimization approaches. We enable several features in this framework such as arbitrary client participation, asynchronous server aggregation, and heterogeneous local computing, which are ubiquitous in real-world FL systems but are missed in most existing works. We provide a rigorous convergence analysis of our proposed framework for general nonconvex objectives, which is shown to converge with the best-known rate. Extensive experiments show that our approaches consistently outperform the baseline by a large margin across benchmarks.
• Abstract（参考訳）: Federated Learning(FL)は、クライアントが独自のデータをプライベートに保ちながら、協調的にモデルをトレーニングする分散学習パラダイムである。 クライアントとモデルの規模が大きくなるにつれて、FLは2つの重要な課題に直面します。 しかし、既存のFL研究のほとんどは、システム不均一性を事実上無視する非現実的な仮定に基づいている。 本稿では,新しい適応最適化手法のクラスであるクライアント中心適応最適化を提案する。 このフレームワークでは、任意のクライアント参加、非同期サーバ集約、および現実世界のFLシステムではユビキタスだが、既存のほとんどの作業では欠落している異種ローカルコンピューティングなど、いくつかの機能を有効にする。 提案する一般の非凸目的のためのフレームワークの厳密な収束解析を行い、最もよく知られた速度に収束することが示される。 大規模な実験により、我々のアプローチはベンチマーク間で大きなマージンでベースラインを一貫して上回ります。

関連論文リスト

• FLASH: Federated Learning Across Simultaneous Heterogeneities [54.80435317208111]
  FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。 ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。 最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
  論文  参考訳（メタデータ） (2024-02-13T20:04:39Z)
• Heterogeneity-Guided Client Sampling: Towards Fast and Efficient Non-IID Federated Learning [14.866327821524854]
  HiCS-FLはサーバがクライアントの出力層を更新してクライアントデータの統計的不均一性を推定する新しいクライアント選択手法である。 非IID設定では、HiCS-FLは最先端のFLクライアント選択方式よりも高速な収束を実現する。
  論文  参考訳（メタデータ） (2023-09-30T00:29:30Z)
• Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
  Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。 本稿では,FedInsという新しいFLアルゴリズムを提案する。 我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-11T09:58:47Z)
• Confidence-aware Personalized Federated Learning via Variational Expectation Maximization [34.354154518009956]
  パーソナライズド・フェデレーション・ラーニング(PFL)のための新しいフレームワークを提案する。 PFLは、クライアント間で共有モデルをトレーニングする分散学習スキームである。 階層的モデリングと変分推論に基づくPFLの新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-21T20:12:27Z)
• Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
  本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
  論文  参考訳（メタデータ） (2023-05-01T20:04:46Z)
• Adaptive Federated Learning via New Entropy Approach [14.595709494370372]
  Federated Learning (FL) は、分散機械学習フレームワークとして注目されている。 本稿では,不均一クライアント間のパラメータ偏差を軽減するために,entropy理論(FedEnt)に基づく適応型FEDerated Learningアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-03-27T07:57:04Z)
• FL Games: A Federated Learning Framework for Distribution Shifts [71.98708418753786]
  フェデレートラーニングは、サーバのオーケストレーションの下で、クライアント間で分散されたデータの予測モデルをトレーニングすることを目的としている。 本稿では,クライアント間で不変な因果的特徴を学習するフェデレーション学習のためのゲーム理論フレームワークFL GAMESを提案する。
  論文  参考訳（メタデータ） (2022-10-31T22:59:03Z)
• Straggler-Resilient Personalized Federated Learning [55.54344312542944]
  フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。 これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。 提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
  論文  参考訳（メタデータ） (2022-06-05T01:14:46Z)
• Gradient Masked Averaging for Federated Learning [24.687254139644736]
  フェデレートラーニングは、統一グローバルモデルの学習を協調するために、異種データを持つ多数のクライアントを可能にする。 標準FLアルゴリズムは、サーバのグローバルモデルを近似するために、モデルパラメータや勾配の更新を平均化する。 本稿では,クライアント更新の標準平均化の代替として,FLの勾配マスク平均化手法を提案する。
  論文  参考訳（メタデータ） (2022-01-28T08:42:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。