論文の概要: Towards Heterogeneous Clients with Elastic Federated Learning
- arxiv url: http://arxiv.org/abs/2106.09433v1
- Date: Thu, 17 Jun 2021 12:30:40 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-18 16:08:55.882375
- Title: Towards Heterogeneous Clients with Elastic Federated Learning
- Title(参考訳): エラスティックフェデレーションラーニングによる異種クライアントを目指して
- Authors: Zichen Ma, Yu Lu, Zihan Lu, Wenye Li, Jinfeng Yi, Shuguang Cui
- Abstract要約: フェデレーション学習では、エッジプロセッサやデータウェアハウスなどのデバイスやデータサイロ上で、データをローカルに保ちながら、マシンラーニングモデルをトレーニングする。
本稿では,不均一性に対処する非バイアスアルゴリズムであるElastic Federated Learning (EFL)を提案する。
上流と下流の両方の通信を圧縮する効率的かつ効率的なアルゴリズムである。
- 参考スコア(独自算出の注目度): 45.2715985913761
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning involves training machine learning models over devices or
data silos, such as edge processors or data warehouses, while keeping the data
local. Training in heterogeneous and potentially massive networks introduces
bias into the system, which is originated from the non-IID data and the low
participation rate in reality. In this paper, we propose Elastic Federated
Learning (EFL), an unbiased algorithm to tackle the heterogeneity in the
system, which makes the most informative parameters less volatile during
training, and utilizes the incomplete local updates. It is an efficient and
effective algorithm that compresses both upstream and downstream
communications. Theoretically, the algorithm has convergence guarantee when
training on the non-IID data at the low participation rate. Empirical
experiments corroborate the competitive performance of EFL framework on the
robustness and the efficiency.
- Abstract(参考訳): フェデレーション学習は、データをローカルに保ちながら、エッジプロセッサやデータウェアハウスなど、デバイスやデータサイロ上でマシンラーニングモデルをトレーニングする。
不均一で潜在的に巨大なネットワークでのトレーニングは、非IIDデータと実際の参加率の低いことから、システムにバイアスをもたらす。
本稿では,システム内の不均質性に対処し,最も有益なパラメータを学習中に揮発性を低下させ,不完全局所更新を利用する弾力的フェデレーション学習(elastic federated learning, efl)を提案する。
上流と下流の両方の通信を圧縮する効率的かつ効率的なアルゴリズムである。
理論的には、このアルゴリズムは非IIDデータを低い参加率でトレーニングする際に収束を保証する。
実証実験は、EFLフレームワークの堅牢性と効率性に関する競争性能を裏付けるものである。
関連論文リスト
- An Empirical Study of Efficiency and Privacy of Federated Learning
Algorithms [2.994794762377111]
今日の世界では、IoTネットワークの急速な拡大とスマートデバイスの普及により、相当量の異種データが生成される。
このデータを効果的に扱うためには、プライバシーと効率の両立を保証するために高度なデータ処理技術が必要である。
フェデレーション学習は、モデルをローカルにトレーニングし、データをプライバシを保存するためにサーバに集約する分散学習手法として登場した。
論文 参考訳(メタデータ) (2023-12-24T00:13:41Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳(メタデータ) (2023-09-18T12:35:05Z) - Analysis and Optimization of Wireless Federated Learning with Data
Heterogeneity [72.85248553787538]
本稿では、データの不均一性を考慮した無線FLの性能解析と最適化と、無線リソース割り当てについて述べる。
ロス関数の最小化問題を、長期エネルギー消費と遅延の制約の下で定式化し、クライアントスケジューリング、リソース割り当て、ローカルトレーニングエポック数(CRE)を共同で最適化する。
実世界のデータセットの実験により、提案アルゴリズムは学習精度とエネルギー消費の点で他のベンチマークよりも優れていることが示された。
論文 参考訳(メタデータ) (2023-08-04T04:18:01Z) - Efficient Semi-Supervised Federated Learning for Heterogeneous
Participants [23.664515443297674]
そこで本研究では,SFLをクラスタリング正規化して,未ラベルおよび非IIDクライアントデータを用いたより実践的なシナリオ下でSFLを実行する,新しいセミSFLシステムを提案する。
我々のシステムは、トレーニングデータセットの3.0倍のスピードアップを提供し、通信コストを目標精度まで約70.3%削減する。
論文 参考訳(メタデータ) (2023-07-29T02:35:37Z) - HFedMS: Heterogeneous Federated Learning with Memorable Data Semantics
in Industrial Metaverse [49.1501082763252]
本稿では,新しい産業メタバースに実用FLを取り入れたHFEDMSを提案する。
動的グルーピングとトレーニングモード変換によってデータの均一性を低下させる。
そして、圧縮された履歴データセマンティクスを融合することで、忘れられた知識を補う。
ストリームされた非I.d.FEMNISTデータセットに対して,368個のシミュレーションデバイスを用いて実験を行った。
論文 参考訳(メタデータ) (2022-11-07T04:33:24Z) - Efficient Augmentation for Imbalanced Deep Learning [8.38844520504124]
本研究では、畳み込みニューラルネットワークの内部表現である不均衡画像データについて検討する。
モデルの特徴埋め込みとテストセットの一般化ギャップを測定し、マイノリティクラスではそのギャップが広いことを示す。
この洞察により、不均衡なデータのための効率的な3相CNNトレーニングフレームワークを設計できる。
論文 参考訳(メタデータ) (2022-07-13T09:43:17Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳(メタデータ) (2022-03-05T02:31:32Z) - Straggler-Resilient Federated Learning: Leveraging the Interplay Between
Statistical Accuracy and System Heterogeneity [57.275753974812666]
フェデレーション学習は、データをローカルに保持しながら、クライアントのネットワークに分散したデータサンプルから学習する。
本稿では,学習手順を高速化するために,クライアントデータの統計的特徴を取り入れてクライアントを適応的に選択する,ストラグラー・レジリエントなフェデレーション学習手法を提案する。
論文 参考訳(メタデータ) (2020-12-28T19:21:14Z) - Coded Computing for Federated Learning at the Edge [3.385874614913973]
フェデレートラーニング(FL)は、クライアントデータを集中サーバに移行することなく、クライアントノードでローカルに生成されたデータからグローバルモデルをトレーニングすることを可能にする。
最近の研究は、MECサーバに冗長な計算を割り当てることで、トラグラーを緩和し、線形回帰タスクのトレーニングを高速化することを提案する。
我々は、CFLを分散非線形回帰および多出力ラベルによる分類問題に拡張する難題に対処するCodedFedLを開発した。
論文 参考訳(メタデータ) (2020-07-07T08:20:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。