論文の概要: ISFL: Trustworthy Federated Learning for Non-i.i.d. Data with Local
Importance Sampling
- arxiv url: http://arxiv.org/abs/2210.02119v1
- Date: Wed, 5 Oct 2022 09:43:58 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-06 13:33:08.301912
- Title: ISFL: Trustworthy Federated Learning for Non-i.i.d. Data with Local
Importance Sampling
- Title(参考訳): ISFL:地域重要度サンプリングによる非i.d.データのための信頼できるフェデレーション学習
- Authors: Zheqi Zhu, Pingyi Fan, Chenghui Peng, and Khaled B. Letaief
- Abstract要約: 本稿では,特にニューラルネットワーク(NN)モデルと互換性のある重要サンプリングフェデレーション学習(ISFL)を提案する。
我々の知る限りでは、ISFLは、理論的なNN互換を示す局所的なサンプリングの側面から、最初の非i.d.FLソリューションである。
- 参考スコア(独自算出の注目度): 11.806062800053699
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As a promising integrated computation and communication learning paradigm,
federated learning (FL) carries a periodic sharing from distributed clients.
Due to the non-i.i.d. data distribution on clients, FL model suffers from the
gradient diversity, poor performance, bad convergence, etc. In this work, we
aim to tackle this key issue by adopting data-driven importance sampling (IS)
for local training. We propose a trustworthy framework, named importance
sampling federated learning (ISFL), which is especially compatible with neural
network (NN) models. The framework is evaluated both theoretically and
experimentally. Firstly, we derive the parameter deviation bound between ISFL
and the centralized full-data training to identify the main factors of the
non-i.i.d. dilemmas. We will then formulate the selection of optimal IS weights
as an optimization problem and obtain theoretical solutions. We also employ
water-filling methods to calculate the IS weights and develop the complete ISFL
algorithms. The experimental results on CIFAR-10 fit our proposed theories well
and prove that ISFL reaps higher performance, as well as better convergence on
non-i.i.d. data. To the best of our knowledge, ISFL is the first non-i.i.d. FL
solution from the local sampling aspect which exhibits theoretical NN
compatibility. Furthermore, as a local sampling approach, ISFL can be easily
migrated into emerging FL frameworks.
- Abstract(参考訳): 有望な統合計算とコミュニケーション学習のパラダイムとして、フェデレーション学習(fl)は分散クライアントから定期的に共有される。
クライアント上の非IDデータ分布のため、FLモデルは勾配の多様性、性能の低下、収束不良等に悩まされる。
本稿では,ローカルトレーニングにデータ駆動重要度サンプリング(is)を採用することで,この問題に取り組むことを目的とする。
我々は、特にニューラルネットワーク(nn)モデルと互換性のある、重要度サンプリング連合学習(isfl)という信頼できるフレームワークを提案する。
この枠組みは理論的にも実験的にも評価される。
まず,isflと集中型データトレーニングのパラメータ偏差を導出し,非i.i.d.ジレンマの主な要因を同定する。
次に最適化問題として最適is重みの選択を定式化し、理論的解を得る。
また,is重みの計算やisflアルゴリズムの開発に水充填法を適用した。
cifar-10の実験結果は,提案する理論によく適合し,isflは高い性能と非i.i.d.データへの収束性が向上することを示す。
我々の知る限りでは、ISFLは、理論的なNN互換を示す局所的なサンプリングの側面から、最初の非i.d.FLソリューションである。
さらに、ローカルサンプリングアプローチとして、isflは新たなflフレームワークに容易に移行できる。
関連論文リスト
- Which mode is better for federated learning? Centralized or
Decentralized [64.46017397813549]
集中型と分散型の両方のアプローチは、フェデレートラーニング(FL)における優れたパフォーマンスと優れた応用価値を示している。
しかし、現在の研究では、どちらが優れているかを示す証拠は示されていない。
論文 参考訳(メタデータ) (2023-10-05T11:09:42Z) - Semi-Federated Learning: Convergence Analysis and Optimization of A
Hybrid Learning Framework [70.83511997272457]
本稿では,ベースステーション(BS)とデバイスの両方を活用するセミフェデレーション学習(SemiFL)パラダイムを提案し,中央集権学習(CL)とFLのハイブリッド実装を提案する。
我々はこの難解な問題を解くための2段階のアルゴリズムを提案し、ビームフォーマに閉形式解を提供する。
論文 参考訳(メタデータ) (2023-10-04T03:32:39Z) - NeFL: Nested Federated Learning for Heterogeneous Clients [48.160716521203256]
フェデレートラーニング(FL)は、分散ラーニングにおけるプライバシー維持のための有望なアプローチである。
FLのトレーニングパイプラインでは、遅いクライアント(すなわちストラグラー)がトレーニング時間を遅くし、パフォーマンスを低下させる。
奥行きと幅方向の両方のスケーリングを用いて,モデルをモデルに効率的に分割するフレームワークであるネスト付きフェデレーションラーニング(NeFL)を提案する。
論文 参考訳(メタデータ) (2023-08-15T13:29:14Z) - Automated Federated Learning in Mobile Edge Networks -- Fast Adaptation
and Convergence [83.58839320635956]
フェデレートラーニング(FL)は、モバイルエッジネットワークで機械学習モデルを分散的にトレーニングするために使用することができる。
最近のFLは、モデルに依存しないメタラーニング(MAML)フレームワークで解釈されている。
本稿は,MAMLがFLにもたらすメリットと,モバイルエッジネットワーク上でのメリットの最大化について論じる。
論文 参考訳(メタデータ) (2023-03-23T02:42:10Z) - On the Importance and Applicability of Pre-Training for Federated
Learning [28.238484580662785]
我々は,連合学習のための事前学習を体系的に研究する。
事前学習はFLを改善するだけでなく,その精度のギャップを集中学習に埋めることもできる。
本論文は,FLに対する事前学習の効果を解明する試みとしてまとめる。
論文 参考訳(メタデータ) (2022-06-23T06:02:33Z) - Fine-tuning Global Model via Data-Free Knowledge Distillation for
Non-IID Federated Learning [86.59588262014456]
フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。
サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。
私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
論文 参考訳(メタデータ) (2022-03-17T11:18:17Z) - Towards Federated Learning on Time-Evolving Heterogeneous Data [13.080665001587281]
Federated Learning(FL)は、エッジデバイス上でクライアントデータのローカリティを保証することによって、プライバシを保護する、新たな学習パラダイムである。
異種データの最適化に関する最近の研究にもかかわらず、実世界のシナリオにおける異種データの時間進化の影響は十分に研究されていない。
本稿では,FLの時間発展的不均一性を捉えるために,フレキシブルなフレームワークであるContinual Federated Learning (CFL)を提案する。
論文 参考訳(メタデータ) (2021-12-25T14:58:52Z) - Local Learning Matters: Rethinking Data Heterogeneity in Federated
Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文 参考訳(メタデータ) (2021-11-28T19:03:39Z) - TiFL: A Tier-based Federated Learning System [17.74678728280232]
フェデレートラーニング(FL)は、プライバシ要件に違反することなく、多くのクライアント間で共有モデルを学ぶことを可能にする。
従来のFLシステムのトレーニング時間とモデル精度に,資源とデータの不均一性が大きな影響を与えることを示すケーススタディを実施している。
我々は,TiFLを提案する。TiFLは,クライアントをトレーニングパフォーマンスに基づいて階層に分割し,トレーニングラウンド毎に同一階層から選択する,階層ベースのフェデレートラーニングシステムである。
論文 参考訳(メタデータ) (2020-01-25T01:40:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。