論文の概要: Communication-Efficient and Drift-Robust Federated Learning via Elastic Net

• arxiv url: http://arxiv.org/abs/2210.02940v1
• Date: Thu, 6 Oct 2022 14:12:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-07 15:05:31.375016
• Title: Communication-Efficient and Drift-Robust Federated Learning via Elastic Net
• Title（参考訳）: 弾性ネットによる通信効率とドリフトロバスト連関学習
• Authors: Seonhyeong Kim, Jiheon Woo, Daewon Seo, Yongjune Kim
• Abstract要約: Federated Learning(FL)は、データのローカライズを維持しながら、ローカルクライアントのセット上でグローバルモデルをトレーニングする分散手法である。 弾性ネットを利用した通信効率・ドリフト・ロバストFLフレームワークであるFedElasticNetを提案する。 本稿では,通信コストとクライアントのドリフトを同時に解決するフレームワークについて述べる。
• 参考スコア（独自算出の注目度）: 10.27718355111707
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning (FL) is a distributed method to train a global model over a set of local clients while keeping data localized. It reduces the risks of privacy and security but faces important challenges including expensive communication costs and client drift issues. To address these issues, we propose FedElasticNet, a communication-efficient and drift-robust FL framework leveraging the elastic net. It repurposes two types of the elastic net regularizers (i.e., $\ell_1$ and $\ell_2$ penalties on the local model updates): (1) the $\ell_1$-norm regularizer sparsifies the local updates to reduce the communication costs and (2) the $\ell_2$-norm regularizer resolves the client drift problem by limiting the impact of drifting local updates due to data heterogeneity. FedElasticNet is a general framework for FL; hence, without additional costs, it can be integrated into prior FL techniques, e.g., FedAvg, FedProx, SCAFFOLD, and FedDyn. We show that our framework effectively resolves the communication cost and client drift problems simultaneously.
• Abstract（参考訳）: Federated Learning(FL)は、データのローカライズを維持しながら、ローカルクライアントのセット上でグローバルモデルをトレーニングする分散手法である。 プライバシーとセキュリティのリスクを減らすが、高価な通信コストやクライアントのドリフト問題など、重要な課題に直面している。 この問題に対処するため,我々は elastic net を活用した通信効率が高くドリフトロバストflフレームワーク fedelasticnet を提案する。 1) $\ell_1$-norm 正規化器はローカル更新をスパースして通信コストを削減し、(2) $\ell_2$-norm 正規化器はデータの不均一性による局所更新のドリフトの影響を制限してクライアントドリフト問題を解決する。 FedElasticNetはFLの一般的なフレームワークであり、追加のコストなしでFedAvg、FedProx、SCAFFOLD、FedDynといった従来のFL技術に統合することができる。 本フレームワークが通信コストとクライアントドリフト問題を効果的に解決することを示す。

関連論文リスト

• FedGTST: Boosting Global Transferability of Federated Models via Statistics Tuning [26.093271475139417]
  Federated Learning(FL)は、クライアント間のコラボレーションを促進し、データセットを間接的に拡張し、計算コストを分散し、プライバシを保存することで、問題に対処する。 まず、クライアント-サーバ交換プロトコルを導入し、クロスクライアントのJacobianノルムを活用し、転送可能性を高める。 第2に、クライアント間の平均ジャコビアンノルムをサーバ上で増加させ、これを局所正規化器として使用して、クロスクライアントジャコビアン分散を低減する。
  論文  参考訳（メタデータ） (2024-10-16T21:13:52Z)
• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• Achieving Linear Speedup in Asynchronous Federated Learning with Heterogeneous Clients [30.135431295658343]
  フェデレートラーニング(FL)は、異なるクライアントにローカルに保存されているデータを交換したり転送したりすることなく、共通のグローバルモデルを学ぶことを目的としている。 本稿では,DeFedAvgという,効率的な連邦学習(AFL)フレームワークを提案する。 DeFedAvgは、望まれる線形スピードアップ特性を達成する最初のAFLアルゴリズムであり、高いスケーラビリティを示している。
  論文  参考訳（メタデータ） (2024-02-17T05:22:46Z)
• Client Orchestration and Cost-Efficient Joint Optimization for NOMA-Enabled Hierarchical Federated Learning [55.49099125128281]
  半同期クラウドモデルアグリゲーションの下で非直交多重アクセス(NOMA)を実現するHFLシステムを提案する。 提案手法は,HFLの性能改善と総コスト削減に関するベンチマークよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-11-03T13:34:44Z)
• Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
  Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。 本稿では,FedInsという新しいFLアルゴリズムを提案する。 我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-11T09:58:47Z)
• User-Centric Federated Learning: Trading off Wireless Resources for Personalization [18.38078866145659]
  フェデレートラーニング(FL)システムでは、統計的不均一性はアルゴリズム収束時間を増やし、一般化性能を低下させる。 FLが課すプライバシー制約に違反することなく、上記の問題に対処するためには、パーソナライズされたFLメソッドは、データに直接アクセスすることなく、統計的に類似したクライアントを結合する必要がある。 本研究では,容易に利用できる勾配情報に基づいて,FLクライアント毎にパーソナライズされたモデルを生成可能なユーザ中心集約ルールを設計する。 提案アルゴリズムは,平均精度,ノード性能,通信オーバヘッドの訓練において,パーソナライズされたFLベースラインを上回っている。
  論文  参考訳（メタデータ） (2023-04-25T15:45:37Z)
• FedSpeed: Larger Local Interval, Less Communication Round, and Higher Generalization Accuracy [84.45004766136663]
  フェデレートラーニング(Federated Learning)は、分散機械学習フレームワークである。 これは、局所的不整合最適と局所的過度な適合による頑丈なクライアントドリフトによってもたらされる非消滅バイアスに悩まされる。 本稿では,これらの問題による負の影響を軽減するために,新しい実用的手法であるFedSpeedを提案する。
  論文  参考訳（メタデータ） (2023-02-21T03:55:29Z)
• Dynamic Attention-based Communication-Efficient Federated Learning [85.18941440826309]
  フェデレートラーニング(FL)は、グローバル機械学習モデルをトレーニングするためのソリューションを提供する。 FLは、クライアントデータの分散が非IIDであるときに性能劣化に悩まされる。 本稿では,この劣化に対処するために,新しい適応トレーニングアルゴリズムであるtextttAdaFL$を提案する。
  論文  参考訳（メタデータ） (2021-08-12T14:18:05Z)
• RC-SSFL: Towards Robust and Communication-efficient Semi-supervised Federated Learning System [25.84191221776459]
  Federated Learning(FL)は、新たな分散型人工知能パラダイムである。 現在のシステムは、強い前提に大きく依存している: すべてのクライアントは、豊富な真実をラベル付けしたデータを持っている。 実用的ロバスト・コミュニケーション効率の高い半監視FL(RC-SSFL)システム設計を紹介します。
  論文  参考訳（メタデータ） (2020-12-08T14:02:56Z)
• Faster Non-Convex Federated Learning via Global and Local Momentum [57.52663209739171]
  textttFedGLOMOは最初の(一階)FLtexttFedGLOMOアルゴリズムです。 クライアントとサーバ間の通信においても,我々のアルゴリズムは確実に最適である。
  論文  参考訳（メタデータ） (2020-12-07T21:05:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。