論文の概要: Communication-Efficient and Drift-Robust Federated Learning via Elastic
Net
- arxiv url: http://arxiv.org/abs/2210.02940v1
- Date: Thu, 6 Oct 2022 14:12:13 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-07 15:05:31.375016
- Title: Communication-Efficient and Drift-Robust Federated Learning via Elastic
Net
- Title(参考訳): 弾性ネットによる通信効率とドリフトロバスト連関学習
- Authors: Seonhyeong Kim, Jiheon Woo, Daewon Seo, Yongjune Kim
- Abstract要約: Federated Learning(FL)は、データのローカライズを維持しながら、ローカルクライアントのセット上でグローバルモデルをトレーニングする分散手法である。
弾性ネットを利用した通信効率・ドリフト・ロバストFLフレームワークであるFedElasticNetを提案する。
本稿では,通信コストとクライアントのドリフトを同時に解決するフレームワークについて述べる。
- 参考スコア(独自算出の注目度): 10.27718355111707
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) is a distributed method to train a global model over
a set of local clients while keeping data localized. It reduces the risks of
privacy and security but faces important challenges including expensive
communication costs and client drift issues. To address these issues, we
propose FedElasticNet, a communication-efficient and drift-robust FL framework
leveraging the elastic net. It repurposes two types of the elastic net
regularizers (i.e., $\ell_1$ and $\ell_2$ penalties on the local model
updates): (1) the $\ell_1$-norm regularizer sparsifies the local updates to
reduce the communication costs and (2) the $\ell_2$-norm regularizer resolves
the client drift problem by limiting the impact of drifting local updates due
to data heterogeneity. FedElasticNet is a general framework for FL; hence,
without additional costs, it can be integrated into prior FL techniques, e.g.,
FedAvg, FedProx, SCAFFOLD, and FedDyn. We show that our framework effectively
resolves the communication cost and client drift problems simultaneously.
- Abstract(参考訳): Federated Learning(FL)は、データのローカライズを維持しながら、ローカルクライアントのセット上でグローバルモデルをトレーニングする分散手法である。
プライバシーとセキュリティのリスクを減らすが、高価な通信コストやクライアントのドリフト問題など、重要な課題に直面している。
この問題に対処するため,我々は elastic net を活用した通信効率が高くドリフトロバストflフレームワーク fedelasticnet を提案する。
1) $\ell_1$-norm 正規化器はローカル更新をスパースして通信コストを削減し、(2) $\ell_2$-norm 正規化器はデータの不均一性による局所更新のドリフトの影響を制限してクライアントドリフト問題を解決する。
FedElasticNetはFLの一般的なフレームワークであり、追加のコストなしでFedAvg、FedProx、SCAFFOLD、FedDynといった従来のFL技術に統合することができる。
本フレームワークが通信コストとクライアントドリフト問題を効果的に解決することを示す。
関連論文リスト
- Achieving Linear Speedup in Asynchronous Federated Learning with
Heterogeneous Clients [30.135431295658343]
フェデレートラーニング(FL)は、異なるクライアントにローカルに保存されているデータを交換したり転送したりすることなく、共通のグローバルモデルを学ぶことを目的としている。
本稿では,DeFedAvgという,効率的な連邦学習(AFL)フレームワークを提案する。
DeFedAvgは、望まれる線形スピードアップ特性を達成する最初のAFLアルゴリズムであり、高いスケーラビリティを示している。
論文 参考訳(メタデータ) (2024-02-17T05:22:46Z) - FLea: Improving federated learning on scarce and label-skewed data via
privacy-preserving feature augmentation [15.98209321182056]
Federated Learning (FL) は、ローカルデータセットが小さく、ラベルスキューが厳しい場合に、パフォーマンスが低下する手法である。
我々は、プライバシー保護機能との交換をクライアントに促すことにより、過剰適合と局所バイアスに対処する統合フレームワークである textitFLea を提案する。
実験では、TextitFLeaは、モデルパラメータのみを最大17.6%で共有し、データ拡張を最大6.3%で共有するFLメソッドよりも優れており、共有データ拡張に関連するプライバシー上の脆弱性を低減している。
論文 参考訳(メタデータ) (2023-12-04T20:24:09Z) - Client Orchestration and Cost-Efficient Joint Optimization for
NOMA-Enabled Hierarchical Federated Learning [55.49099125128281]
半同期クラウドモデルアグリゲーションの下で非直交多重アクセス(NOMA)を実現するHFLシステムを提案する。
提案手法は,HFLの性能改善と総コスト削減に関するベンチマークよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-11-03T13:34:44Z) - Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-08-11T09:58:47Z) - User-Centric Federated Learning: Trading off Wireless Resources for
Personalization [18.38078866145659]
フェデレートラーニング(FL)システムでは、統計的不均一性はアルゴリズム収束時間を増やし、一般化性能を低下させる。
FLが課すプライバシー制約に違反することなく、上記の問題に対処するためには、パーソナライズされたFLメソッドは、データに直接アクセスすることなく、統計的に類似したクライアントを結合する必要がある。
本研究では,容易に利用できる勾配情報に基づいて,FLクライアント毎にパーソナライズされたモデルを生成可能なユーザ中心集約ルールを設計する。
提案アルゴリズムは,平均精度,ノード性能,通信オーバヘッドの訓練において,パーソナライズされたFLベースラインを上回っている。
論文 参考訳(メタデータ) (2023-04-25T15:45:37Z) - FedSpeed: Larger Local Interval, Less Communication Round, and Higher
Generalization Accuracy [84.45004766136663]
フェデレートラーニング(Federated Learning)は、分散機械学習フレームワークである。
これは、局所的不整合最適と局所的過度な適合による頑丈なクライアントドリフトによってもたらされる非消滅バイアスに悩まされる。
本稿では,これらの問題による負の影響を軽減するために,新しい実用的手法であるFedSpeedを提案する。
論文 参考訳(メタデータ) (2023-02-21T03:55:29Z) - Dynamic Attention-based Communication-Efficient Federated Learning [85.18941440826309]
フェデレートラーニング(FL)は、グローバル機械学習モデルをトレーニングするためのソリューションを提供する。
FLは、クライアントデータの分散が非IIDであるときに性能劣化に悩まされる。
本稿では,この劣化に対処するために,新しい適応トレーニングアルゴリズムであるtextttAdaFL$を提案する。
論文 参考訳(メタデータ) (2021-08-12T14:18:05Z) - Low-Latency Federated Learning over Wireless Channels with Differential
Privacy [142.5983499872664]
フェデレートラーニング(FL)では、モデルトレーニングはクライアントに分散し、ローカルモデルは中央サーバによって集約される。
本稿では,各クライアントの差分プライバシ(DP)要件だけでなく,全体としてのトレーニング性能に制約された無線チャネル上でのFLトレーニング遅延を最小限に抑えることを目的とする。
論文 参考訳(メタデータ) (2021-06-20T13:51:18Z) - RC-SSFL: Towards Robust and Communication-efficient Semi-supervised
Federated Learning System [25.84191221776459]
Federated Learning(FL)は、新たな分散型人工知能パラダイムである。
現在のシステムは、強い前提に大きく依存している: すべてのクライアントは、豊富な真実をラベル付けしたデータを持っている。
実用的ロバスト・コミュニケーション効率の高い半監視FL(RC-SSFL)システム設計を紹介します。
論文 参考訳(メタデータ) (2020-12-08T14:02:56Z) - Faster Non-Convex Federated Learning via Global and Local Momentum [57.52663209739171]
textttFedGLOMOは最初の(一階)FLtexttFedGLOMOアルゴリズムです。
クライアントとサーバ間の通信においても,我々のアルゴリズムは確実に最適である。
論文 参考訳(メタデータ) (2020-12-07T21:05:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。