Fugu-MT 論文翻訳(概要): Federated Sparse Training: Lottery Aware Model Compression for Resource Constrained Edge

論文の概要: Federated Sparse Training: Lottery Aware Model Compression for Resource Constrained Edge

arxiv url: http://arxiv.org/abs/2208.13092v1
Date: Sat, 27 Aug 2022 21:51:09 GMT
ステータス: 処理完了
システム内更新日: 2022-08-30 14:15:52.824192
Title: Federated Sparse Training: Lottery Aware Model Compression for Resource Constrained Edge
Title（参考訳）: federated sparse training: リソース制約されたエッジに対する宝くじ認識モデル圧縮
Authors: Sara Babakniya, Souvik Kundu, Saurav Prakash, Yue Niu, Salman Avestimehr
Abstract要約: オフザシェルフスパース学習アルゴリズムは、一貫したスパースサーバーマスクのトレーニングを期待して、各クライアントでバイナリスパースマスクをトレーニングする。ナイーブな展開は、密集したモデルによるフェデレーション学習と比較して、かなりの精度の低下をもたらす。本稿では,フェデレートされた宝くじ認識空間探索(FLASH)を提案する。
参考スコア（独自算出の注目度）: 11.850311161456515
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Limited computation and communication capabilities of clients pose significant challenges in federated learning (FL) over resource-limited edge nodes. A potential solution to this problem is to deploy off-the-shelf sparse learning algorithms that train a binary sparse mask on each client with the expectation of training a consistent sparse server mask. However, as we investigate in this paper, such naive deployments result in a significant accuracy drop compared to FL with dense models, especially under low client's resource budget. In particular, our investigations reveal a serious lack of consensus among the trained masks on clients, which prevents convergence on the server mask and potentially leads to a substantial drop in model performance. Based on such key observations, we propose federated lottery aware sparsity hunting (FLASH), a unified sparse learning framework to make the server win a lottery in terms of a sparse sub-model, which can greatly improve performance under highly resource-limited client settings. Moreover, to address the issue of device heterogeneity, we leverage our findings to propose hetero-FLASH, where clients can have different target sparsity budgets based on their device resource limits. Extensive experimental evaluations with multiple models on various datasets (both IID and non-IID) show superiority of our models in yielding up to $\mathord{\sim}10.1\%$ improved accuracy with $\mathord{\sim}10.26\times$ fewer communication costs, compared to existing alternatives, at similar hyperparameter settings.
Abstract（参考訳）: クライアントの計算能力と通信能力の制限は、リソース制限されたエッジノード上での連合学習(fl)において大きな課題をもたらす。この問題の潜在的な解決策は、一貫したスパースサーバーマスクのトレーニングを期待して、各クライアントにバイナリスパースマスクをトレーニングする、オフザシェルフスパース学習アルゴリズムをデプロイすることである。しかし,本稿では,このようなナイーブな展開は,特に低クライアントのリソース予算下では,密集したモデルを持つflと比較して,かなり精度が低下する。特に当社の調査では,クライアント上でトレーニングされたマスク間のコンセンサスが極めて欠如していることが分かり,サーバマスクの収束を防止し,モデルパフォーマンスが大幅に低下する可能性がある。このようなキーとなる観察に基づいて,sparsity hunt(flash)と呼ばれる統一的スパース学習フレームワークを提案する。これは,リソース制限の強いクライアント設定で性能を大幅に向上できる,スパースサブモデルという観点で,サーバが宝くじを勝ち取るためのものだ。さらに,デバイスの不均質性問題に対処するために,我々は,デバイスリソース制限に基づいてクライアントが異なるターゲットスパーシティ予算を持つヘテロフラッシュを提案する。様々なデータセット(IIDと非IIDの両方)上の複数のモデルによる大規模な実験的評価は、同じハイパーパラメータ設定で既存の代替モデルと比較して、より少ない通信コストで、最大$\mathord{\sim}10.1\%の精度で改善された精度で、我々のモデルの優位性を示す。

関連論文リスト

Towards Resource-Efficient Federated Learning in Industrial IoT for Multivariate Time Series Analysis [50.18156030818883]
異常と欠落したデータは、産業応用における厄介な問題を構成する。ディープラーニングによる異常検出が重要な方向として現れている。エッジデバイスで収集されたデータは、ユーザのプライバシを含む。
論文参考訳（メタデータ） (2024-11-06T15:38:31Z)
FedHPL: Efficient Heterogeneous Federated Learning with Prompt Tuning and Logit Distillation [32.305134875959226]
フェデレートラーニング(FL)は、分散クライアントが中央サーバーでモデルを協調訓練できるプライバシー保護パラダイムである。我々はパラメータ効率の高い$textbfFed$erated Learning framework for $textbfH$eterogeneous settingsを提案する。我々のフレームワークは最先端のFLアプローチより優れており、オーバーヘッドもトレーニングラウンドも少なくなっている。
論文参考訳（メタデータ） (2024-05-27T15:25:32Z)
Client Orchestration and Cost-Efficient Joint Optimization for NOMA-Enabled Hierarchical Federated Learning [55.49099125128281]
半同期クラウドモデルアグリゲーションの下で非直交多重アクセス(NOMA)を実現するHFLシステムを提案する。提案手法は,HFLの性能改善と総コスト削減に関するベンチマークよりも優れていることを示す。
論文参考訳（メタデータ） (2023-11-03T13:34:44Z)
Equitable-FL: Federated Learning with Sparsity for Resource-Constrained Environment [10.980548731600116]
本稿では,資源制約環境下でうまく機能する疎結合型学習法を提案する。私たちの目標は、ノードの空間、コンピューティング、帯域幅の不足に関わらず、学習を可能にすることです。畳み込みニューラルネットワークのトレーニング実験の結果, 等価FLの有効性が検証された。
論文参考訳（メタデータ） (2023-09-02T08:40:17Z)
Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
論文参考訳（メタデータ） (2023-05-01T20:04:46Z)
Stochastic Coded Federated Learning with Convergence and Privacy Guarantees [8.2189389638822]
フェデレートラーニング(FL)は、プライバシを保存する分散機械学習フレームワークとして多くの注目を集めている。本稿では、トラグラー問題を緩和するために、SCFL(Coded Federated Learning)というコード付きフェデレーション学習フレームワークを提案する。我々は、相互情報差分プライバシー(MI-DP)によるプライバシー保証を特徴付け、連合学習における収束性能を分析する。
論文参考訳（メタデータ） (2022-01-25T04:43:29Z)
AdaSplit: Adaptive Trade-offs for Resource-constrained Distributed Deep Learning [18.3841463794885]
Split Learning (SL)は、クライアントとサーバの間でモデルのトレーニングを分割することで、クライアントの計算負荷を削減する。 AdaSplitは、帯域幅の削減と異種クライアント間のパフォーマンス向上により、SLをリソースの少ないシナリオに効率的にスケーリングすることを可能にする。
論文参考訳（メタデータ） (2021-12-02T23:33:15Z)
Boosting Federated Learning in Resource-Constrained Networks [1.7010199949406575]
フェデレートラーニング(FL)は、一連のクライアントデバイスが、生データを共有せずに協調的にモデルをトレーニングすることを可能にする。推測学習アルゴリズムであるGeLを提案する。資源制約ネットワークにおいて,GeLは経験的収束を最大40%向上させることができることを示す。
論文参考訳（メタデータ） (2021-10-21T21:23:04Z)
A Bayesian Federated Learning Framework with Online Laplace Approximation [144.7345013348257]
フェデレートラーニングは、複数のクライアントが協力してグローバルに共有されたモデルを学ぶことを可能にする。クライアント側とサーバ側の両方の後方部を近似するために,オンラインラプラス近似を用いた新しいFLフレームワークを提案する。提案手法の利点を実証し,いくつかのベンチマークで最新の結果を得た。
論文参考訳（メタデータ） (2021-02-03T08:36:58Z)
Blockchain Assisted Decentralized Federated Learning (BLADE-FL): Performance Analysis and Resource Allocation [119.19061102064497]
ブロックチェーンをFL、すなわちブロックチェーン支援分散学習(BLADE-FL)に統合することで、分散FLフレームワークを提案する。提案されたBLADE-FLのラウンドでは、各クライアントはトレーニング済みモデルを他のクライアントにブロードキャストし、受信したモデルに基づいてブロックを生成し、次のラウンドのローカルトレーニングの前に生成されたブロックからモデルを集約します。遅延クライアントがblade-flの学習性能に与える影響を調査し,最適なk,学習パラメータ,遅延クライアントの割合の関係を特徴付ける。
論文参考訳（メタデータ） (2021-01-18T07:19:08Z)
Blockchain Assisted Decentralized Federated Learning (BLADE-FL) with Lazy Clients [124.48732110742623]
フェデレートラーニング(FL)にブロックチェーンを統合する新しいフレームワークを提案する。 BLADE-FLは、プライバシー保護、改ざん抵抗、学習の効果的な協力の点で優れたパフォーマンスを持っている。遅延クライアントは、他人のトレーニングされたモデルを盗聴し、不正行為を隠すために人工的なノイズを加える。
論文参考訳（メタデータ） (2020-12-02T12:18:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。