論文の概要: LotteryFL: Personalized and Communication-Efficient Federated Learning
with Lottery Ticket Hypothesis on Non-IID Datasets
- arxiv url: http://arxiv.org/abs/2008.03371v1
- Date: Fri, 7 Aug 2020 20:45:12 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-02 01:13:07.443107
- Title: LotteryFL: Personalized and Communication-Efficient Federated Learning
with Lottery Ticket Hypothesis on Non-IID Datasets
- Title（参考訳）: lotteryfl: 非iidデータセット上での宝くじチケット仮説を用いたパーソナライズとコミュニケーション効率のよい連合学習
- Authors: Ang Li, Jingwei Sun, Binghui Wang, Lin Duan, Sicheng Li, Yiran Chen,
Hai Li
- Abstract要約: フェデレーション学習は、プライバシーを強化した、人気のある分散機械学習パラダイムである。
パーソナライズされたコミュニケーション効率の高いフェデレーション学習フレームワークであるLotteryFLを提案する。
LotteryFLはパーソナライズと通信コストの点で既存のソリューションよりも優れています。
- 参考スコア（独自算出の注目度）: 52.60094373289771
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning is a popular distributed machine learning paradigm with
enhanced privacy. Its primary goal is learning a global model that offers good
performance for the participants as many as possible. The technology is rapidly
advancing with many unsolved challenges, among which statistical heterogeneity
(i.e., non-IID) and communication efficiency are two critical ones that hinder
the development of federated learning. In this work, we propose LotteryFL -- a
personalized and communication-efficient federated learning framework via
exploiting the Lottery Ticket hypothesis. In LotteryFL, each client learns a
lottery ticket network (i.e., a subnetwork of the base model) by applying the
Lottery Ticket hypothesis, and only these lottery networks will be communicated
between the server and clients. Rather than learning a shared global model in
classic federated learning, each client learns a personalized model via
LotteryFL; the communication cost can be significantly reduced due to the
compact size of lottery networks. To support the training and evaluation of our
framework, we construct non-IID datasets based on MNIST, CIFAR-10 and EMNIST by
taking feature distribution skew, label distribution skew and quantity skew
into consideration. Experiments on these non-IID datasets demonstrate that
LotteryFL significantly outperforms existing solutions in terms of
personalization and communication cost.
- Abstract（参考訳）: フェデレーション学習は、プライバシーを強化した、人気のある分散機械学習パラダイムである。
その主な目標は、できるだけ多くの参加者に優れたパフォーマンスを提供するグローバルモデルを学ぶことです。
この技術は、多くの未解決の課題とともに急速に進歩しており、統計的な異質性(例えば、非iid)とコミュニケーション効率は、連合学習の発展を妨げる2つの重要な課題である。
本稿では,Lottery Ticket仮説を利用して,個人化されたコミュニケーション効率の高いフェデレーション学習フレームワークであるLotteryFLを提案する。
LotteryFLでは、各クライアントはLottery Ticket仮説を適用して宝くじのネットワーク(すなわちベースモデルのサブネットワーク)を学習し、これらの宝くじのネットワークのみがサーバとクライアントの間で通信される。
古典的なフェデレーション学習で共有グローバルモデルを学ぶのではなく、各クライアントは lotteryfl を通じてパーソナライズされたモデルを学ぶ。
本研究では,mnist,cifar-10,emnistに基づく非iidデータセットを,特徴分布スキュー,ラベル分布スキュー,量スキューを考慮して構築する。
これらの非IIDデータセットの実験により、LotteryFLはパーソナライゼーションと通信コストの点で既存のソリューションよりも大幅に優れていることが示された。
関連論文リスト
- Communication Efficient ConFederated Learning: An Event-Triggered SAGA
Approach [67.27031215756121]
Federated Learning(FL)は、さまざまなデータソース上のローカルデータを収集することなく、モデルトレーニングをターゲットとする機械学習パラダイムである。
単一のサーバを使用するStandard FLは、限られた数のユーザしかサポートできないため、学習能力の低下につながる。
本研究では,多数のユーザに対応するために,emphConfederated Learning(CFL)と呼ばれるマルチサーバFLフレームワークを検討する。
論文 参考訳（メタデータ） (2024-02-28T03:27:10Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳（メタデータ） (2023-09-18T12:35:05Z) - SemiSFL: Split Federated Learning on Unlabeled and Non-IID Data [34.49090830845118]
フェデレートラーニング(FL)は、複数のクライアントがネットワークエッジでプライベートデータ上で機械学習モデルを協調的にトレーニングできるようにするためのものだ。
クラスタリング正規化を取り入れて,ラベルなしおよび非IIDクライアントデータでSFLを実行する,Semi-supervised SFLシステムを提案する。
本システムは,訓練時間の3.8倍の高速化を実現し,目標精度を達成しつつ通信コストを約70.3%削減し,非IIDシナリオで最大5.8%の精度向上を実現する。
論文 参考訳（メタデータ） (2023-07-29T02:35:37Z) - Knowledge-Enhanced Semi-Supervised Federated Learning for Aggregating
Heterogeneous Lightweight Clients in IoT [34.128674870180596]
フェデレートラーニング(FL)は、複数のクライアントがローカルデータを共有せずに、協調的にモデルをトレーニングすることを可能にする。
pFedKnowは、ニューラルネットワークのプルーニング技術を用いて、軽量なパーソナライズされたクライアントモデルを生成し、通信コストを削減する。
画像とテキストのデータセットによる実験結果から、提案したpFedKnowは最先端のベースラインを上回っていることがわかった。
論文 参考訳（メタデータ） (2023-03-05T13:19:10Z) - Splitfed learning without client-side synchronization: Analyzing
client-side split network portion size to overall performance [4.689140226545214]
Federated Learning (FL)、Split Learning (SL)、SplitFed Learning (SFL)は、分散機械学習における最近の3つの発展である。
本稿では,クライアント側モデル同期を必要としないSFLについて検討する。
MNISTテストセットでのMulti-head Split Learningよりも1%-2%の精度しか得られない。
論文 参考訳（メタデータ） (2021-09-19T22:57:23Z) - Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。
本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。
Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
論文 参考訳（メタデータ） (2021-04-27T18:23:54Z) - Communication-Efficient and Personalized Federated Lottery Ticket
Learning [44.593986790651805]
宝くじ仮説では、ディープニューラルネットワーク(すなわちグラウンドネットワーク)には多数のワークス(すなわち当選チケット)が含まれていると主張している。
通信効率向上のためにダウンリンクブロードキャストを利用したパーソナライズされたコミュニケーション効率の高いフェデレーション宝くじ学習アルゴリズムCELLを提案します。
論文 参考訳（メタデータ） (2021-04-26T12:01:41Z) - WAFFLe: Weight Anonymized Factorization for Federated Learning [88.44939168851721]
データが機密性やプライベート性を持つドメインでは、ローカルデバイスを離れることなく、分散的に学習できるメソッドには大きな価値があります。
本稿では,フェデレートラーニングのためのウェイト匿名化因子化(WAFFLe)を提案する。これは,インド・バフェット・プロセスとニューラルネットワークの重み要因の共有辞書を組み合わせたアプローチである。
論文 参考訳（メタデータ） (2020-08-13T04:26:31Z) - Ternary Compression for Communication-Efficient Federated Learning [17.97683428517896]
フェデレートされた学習は、プライバシ保護とセキュアな機械学習に対する潜在的なソリューションを提供する。
本稿では,第3次フェデレーション平均化プロトコル(T-FedAvg)を提案する。
その結果,提案したT-FedAvgは通信コストの低減に有効であり,非IIDデータの性能も若干向上できることがわかった。
論文 参考訳（メタデータ） (2020-03-07T11:55:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。