論文の概要: Lottery Aware Sparsity Hunting: Enabling Federated Learning on
Resource-Limited Edge
- arxiv url: http://arxiv.org/abs/2208.13092v3
- Date: Wed, 25 Oct 2023 00:31:34 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-28 06:34:13.613259
- Title: Lottery Aware Sparsity Hunting: Enabling Federated Learning on
Resource-Limited Edge
- Title（参考訳）: Lottery Aware Sparsity Hunting: リソース制限エッジ上でのフェデレーション学習の実現
- Authors: Sara Babakniya, Souvik Kundu, Saurav Prakash, Yue Niu, Salman
Avestimehr
- Abstract要約: textitfederated lottery aware sparsity Hunt (FLASH)は、スパースサブモデルのトレーニングのための統一されたスパース学習フレームワークである。
FLASHは、比例通信の利点を得ながら、超低パラメータ密度で性能を維持する。
- 参考スコア（独自算出の注目度）: 17.256563339072546
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Edge devices can benefit remarkably from federated learning due to their
distributed nature; however, their limited resource and computing power poses
limitations in deployment. A possible solution to this problem is to utilize
off-the-shelf sparse learning algorithms at the clients to meet their resource
budget. However, such naive deployment in the clients causes significant
accuracy degradation, especially for highly resource-constrained clients. In
particular, our investigations reveal that the lack of consensus in the
sparsity masks among the clients may potentially slow down the convergence of
the global model and cause a substantial accuracy drop. With these
observations, we present \textit{federated lottery aware sparsity hunting}
(FLASH), a unified sparse learning framework for training a sparse sub-model
that maintains the performance under ultra-low parameter density while yielding
proportional communication benefits. Moreover, given that different clients may
have different resource budgets, we present \textit{hetero-FLASH} where clients
can take different density budgets based on their device resource limitations
instead of supporting only one target parameter density. Experimental analysis
on diverse models and datasets shows the superiority of FLASH in closing the
gap with an unpruned baseline while yielding up to $\mathord{\sim}10.1\%$
improved accuracy with $\mathord{\sim}10.26\times$ fewer communication,
compared to existing alternatives, at similar hyperparameter settings. Code is
available at \url{https://github.com/SaraBabakN/flash_fl}.
- Abstract（参考訳）: エッジデバイスは、分散した性質のため、連合学習から著しく恩恵を受けるが、リソースと計算能力の制限は、デプロイメントにおいて制限をもたらす。
この問題の解決策は、クライアントのリソース予算を満たすために、既製のスパース学習アルゴリズムを利用することである。
しかし、このような単純なクライアント配置は、特にリソースに制約のあるクライアントにとって、大幅な精度の低下を引き起こす。
特に,クライアント間の疎結合マスクのコンセンサスの欠如は,グローバルモデルの収束を遅らせる可能性があり,精度の低下を招く可能性が示唆された。
これらの観察により,超低パラメータ密度で性能を維持するスパースサブモデルの学習のための統一スパース学習フレームワークである \textit{federated lottery aware sparsity hunting} (flash) を提案する。
さらに、異なるクライアントが異なるリソース予算を持つ可能性があることを考慮し、ターゲットパラメータ密度のみをサポートするのではなく、デバイスリソースの制限に基づいて異なる密度予算をクライアントが受けられるようにします。
多様なモデルとデータセットに関する実験分析は、FLASHが未成熟のベースラインとのギャップを埋める上で優位性を示し、$\mathord{\sim}10.1\%$の精度を$\mathord{\sim}10.26\times$同様のハイパーパラメータ設定で既存の代替手段と比較して、より少ない通信を行う。
コードは \url{https://github.com/sarababakn/flash_fl} で入手できる。
関連論文リスト
- FedHPL: Efficient Heterogeneous Federated Learning with Prompt Tuning and Logit Distillation [32.305134875959226]
フェデレートラーニング(FL)は、分散クライアントが中央サーバーでモデルを協調訓練できるプライバシー保護パラダイムである。
我々はパラメータ効率の高い$textbfFed$erated Learning framework for $textbfH$eterogeneous settingsを提案する。
我々のフレームワークは最先端のFLアプローチより優れており、オーバーヘッドもトレーニングラウンドも少なくなっている。
論文 参考訳（メタデータ） (2024-05-27T15:25:32Z) - Client Orchestration and Cost-Efficient Joint Optimization for
NOMA-Enabled Hierarchical Federated Learning [55.49099125128281]
半同期クラウドモデルアグリゲーションの下で非直交多重アクセス(NOMA)を実現するHFLシステムを提案する。
提案手法は,HFLの性能改善と総コスト削減に関するベンチマークよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-11-03T13:34:44Z) - Equitable-FL: Federated Learning with Sparsity for Resource-Constrained
Environment [10.980548731600116]
本稿では,資源制約環境下でうまく機能する疎結合型学習法を提案する。
私たちの目標は、ノードの空間、コンピューティング、帯域幅の不足に関わらず、学習を可能にすることです。
畳み込みニューラルネットワークのトレーニング実験の結果, 等価FLの有効性が検証された。
論文 参考訳（メタデータ） (2023-09-02T08:40:17Z) - Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。
FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。
PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
論文 参考訳（メタデータ） (2023-05-01T20:04:46Z) - $\texttt{FedBC}$: Calibrating Global and Local Models via Federated
Learning Beyond Consensus [66.62731854746856]
フェデレートラーニング(FL)では、デバイス全体にわたるモデル更新の集約を通じて、グローバルモデルを協調的に学習する目的は、ローカル情報を通じたパーソナライズという目標に反対する傾向にある。
本研究では,このトレードオフを多基準最適化により定量的にキャリブレーションする。
私たちは、$texttFedBC$が、スイートデータセット間でグローバルおよびローカルモデルのテスト精度のメトリクスのバランスをとることを実証しています。
論文 参考訳（メタデータ） (2022-06-22T02:42:04Z) - Stochastic Coded Federated Learning with Convergence and Privacy
Guarantees [8.2189389638822]
フェデレートラーニング(FL)は、プライバシを保存する分散機械学習フレームワークとして多くの注目を集めている。
本稿では、トラグラー問題を緩和するために、SCFL(Coded Federated Learning)というコード付きフェデレーション学習フレームワークを提案する。
我々は、相互情報差分プライバシー(MI-DP)によるプライバシー保証を特徴付け、連合学習における収束性能を分析する。
論文 参考訳（メタデータ） (2022-01-25T04:43:29Z) - AdaSplit: Adaptive Trade-offs for Resource-constrained Distributed Deep
Learning [18.3841463794885]
Split Learning (SL)は、クライアントとサーバの間でモデルのトレーニングを分割することで、クライアントの計算負荷を削減する。
AdaSplitは、帯域幅の削減と異種クライアント間のパフォーマンス向上により、SLをリソースの少ないシナリオに効率的にスケーリングすることを可能にする。
論文 参考訳（メタデータ） (2021-12-02T23:33:15Z) - Boosting Federated Learning in Resource-Constrained Networks [1.7010199949406575]
フェデレートラーニング(FL)は、一連のクライアントデバイスが、生データを共有せずに協調的にモデルをトレーニングすることを可能にする。
推測学習アルゴリズムであるGeLを提案する。
資源制約ネットワークにおいて,GeLは経験的収束を最大40%向上させることができることを示す。
論文 参考訳（メタデータ） (2021-10-21T21:23:04Z) - A Bayesian Federated Learning Framework with Online Laplace
Approximation [144.7345013348257]
フェデレートラーニングは、複数のクライアントが協力してグローバルに共有されたモデルを学ぶことを可能にする。
クライアント側とサーバ側の両方の後方部を近似するために,オンラインラプラス近似を用いた新しいFLフレームワークを提案する。
提案手法の利点を実証し,いくつかのベンチマークで最新の結果を得た。
論文 参考訳（メタデータ） (2021-02-03T08:36:58Z) - Blockchain Assisted Decentralized Federated Learning (BLADE-FL):
Performance Analysis and Resource Allocation [119.19061102064497]
ブロックチェーンをFL、すなわちブロックチェーン支援分散学習(BLADE-FL)に統合することで、分散FLフレームワークを提案する。
提案されたBLADE-FLのラウンドでは、各クライアントはトレーニング済みモデルを他のクライアントにブロードキャストし、受信したモデルに基づいてブロックを生成し、次のラウンドのローカルトレーニングの前に生成されたブロックからモデルを集約します。
遅延クライアントがblade-flの学習性能に与える影響を調査し,最適なk,学習パラメータ,遅延クライアントの割合の関係を特徴付ける。
論文 参考訳（メタデータ） (2021-01-18T07:19:08Z) - Blockchain Assisted Decentralized Federated Learning (BLADE-FL) with
Lazy Clients [124.48732110742623]
フェデレートラーニング(FL)にブロックチェーンを統合する新しいフレームワークを提案する。
BLADE-FLは、プライバシー保護、改ざん抵抗、学習の効果的な協力の点で優れたパフォーマンスを持っている。
遅延クライアントは、他人のトレーニングされたモデルを盗聴し、不正行為を隠すために人工的なノイズを加える。
論文 参考訳（メタデータ） (2020-12-02T12:18:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。