論文の概要: FedSPU: Personalized Federated Learning for Resource-constrained Devices with Stochastic Parameter Update

• arxiv url: http://arxiv.org/abs/2403.11464v2
• Date: Tue, 21 Jan 2025 02:59:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-22 14:15:54.313763
• Title: FedSPU: Personalized Federated Learning for Resource-constrained Devices with Stochastic Parameter Update
• Title（参考訳）: FedSPU:確率的パラメータ更新を伴う資源制約デバイスのための個人化フェデレーション学習
• Authors: Ziru Niu, Hai Dong, A. K. Qin,
• Abstract要約: フェデレートラーニング(PFL)は、高ボリュームの非IDクライアントデータを処理するために、IoTアプリケーションに広く使用されている。 FedSPUはFederated Dropoutを平均7.57%上回っている。 早期停止方式を導入し、高精度を維持しながらトレーニング時間を24.8%から70.4%削減した。
• 参考スコア（独自算出の注目度）: 0.27309692684728615
• License:
• Abstract: Personalized Federated Learning (PFL) is widely employed in IoT applications to handle high-volume, non-iid client data while ensuring data privacy. However, heterogeneous edge devices owned by clients may impose varying degrees of resource constraints, causing computation and communication bottlenecks for PFL. Federated Dropout has emerged as a popular strategy to address this challenge, wherein only a subset of the global model, i.e. a sub-model, is trained on a client's device, thereby reducing computation and communication overheads. Nevertheless, the dropout-based model-pruning strategy may introduce bias, particularly towards non-iid local data. When biased sub-models absorb highly divergent parameters from other clients, performance degradation becomes inevitable. In response, we propose federated learning with stochastic parameter update (FedSPU). Unlike dropout that tailors the global model to small-size local sub-models, FedSPU maintains the full model architecture on each device but randomly freezes a certain percentage of neurons in the local model during training while updating the remaining neurons. This approach ensures that a portion of the local model remains personalized, thereby enhancing the model's robustness against biased parameters from other clients. Experimental results demonstrate that FedSPU outperforms federated dropout by 7.57% on average in terms of accuracy. Furthermore, an introduced early stopping scheme leads to a significant reduction of the training time by 24.8%-70.4% while maintaining high accuracy.
• Abstract（参考訳）: パーソナライズされたフェデレーションラーニング(PFL)は、データプライバシを確保しながら、高ボリュームで非IDクライアントデータを処理するために、IoTアプリケーションで広く使用されている。 しかし、クライアントが所有する異種エッジデバイスは様々なリソース制約を課し、PFLの計算と通信のボトルネックを引き起こす可能性がある。 Federated Dropoutはこの課題に対処するための一般的な戦略として現れており、グローバルモデルのサブセット、すなわちサブモデルのみがクライアントのデバイスでトレーニングされ、計算と通信のオーバーヘッドが軽減される。 それでも、ドロップアウトベースのモデルプルーニング戦略は、特に非IDローカルデータに対するバイアスをもたらす可能性がある。 バイアス付きサブモデルが他のクライアントから高度に分離されたパラメータを吸収すると、性能劣化は避けられないものとなる。 そこで本稿では,確率的パラメータ更新(FedSPU)によるフェデレーション学習を提案する。 グローバルモデルを小さなローカルサブモデルに調整するドロップアウトとは異なり、FedSPUは各デバイスに完全なモデルアーキテクチャを保持するが、トレーニング中にローカルモデルの特定の割合のニューロンをランダムに凍結し、残りのニューロンを更新する。 このアプローチは、ローカルモデルの一部がパーソナライズされたままであることを保証するため、他のクライアントからの偏りのあるパラメータに対するモデルの堅牢性を高める。 実験の結果,FedSPUはFederated Dropoutを平均7.57%の精度で上回った。 さらに、早期停止方式を導入し、高精度を維持しながらトレーニング時間を24.8%から70.4%削減した。

関連論文リスト

• FedImpro: Measuring and Improving Client Update in Federated Learning [77.68805026788836]
  フェデレートラーニング(FL)モデルは、不均一なデータによって引き起こされるクライアントのドリフトを経験することが多い。 我々は、クライアントのドリフトに対する別の視点を示し、改善されたローカルモデルを生成することにより、それを緩和することを目指している。
  論文  参考訳（メタデータ） (2024-02-10T18:14:57Z)
• Mitigating System Bias in Resource Constrained Asynchronous Federated Learning Systems [2.8790600498444032]
  本稿では,AFL(Asynchronous Federated Learning)デプロイメントにおける動的グローバルモデルアグリゲーション手法を提案する。 提案手法は,アップロード頻度に基づいてクライアントモデル更新の重み付けをスコアリングし,その重み付けを調整し,デバイス機能の違いに対応する。
  論文  参考訳（メタデータ） (2024-01-24T10:51:15Z)
• Adaptive Model Pruning and Personalization for Federated Learning over Wireless Networks [72.59891661768177]
  フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。 これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。 このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
  論文  参考訳（メタデータ） (2023-09-04T21:10:45Z)
• Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
  Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。 本稿では,FedInsという新しいFLアルゴリズムを提案する。 我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-11T09:58:47Z)
• Efficient Personalized Federated Learning via Sparse Model-Adaptation [47.088124462925684]
  Federated Learning (FL)は、複数のクライアントに対して、独自のプライベートデータを共有せずに機械学習モデルをトレーニングすることを目的としている。 疎局所モデルを適応的かつ効率的に学習し,効率的なパーソナライズFLのためのpFedGateを提案する。 我々は,pFedGateが最先端手法よりも優れたグローバル精度,個人精度,効率性を同時に達成できることを示す。
  論文  参考訳（メタデータ） (2023-05-04T12:21:34Z)
• Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
  本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
  論文  参考訳（メタデータ） (2023-05-01T20:04:46Z)
• Personalized Federated Learning via Variational Bayesian Inference [6.671486716769351]
  フェデレーション学習は、データ不足とクライアント間の統計的多様性のために、モデル過適合による大きな課題に直面します。 本稿では,pFedBayes というベイズ変分推論を用いた個人化学習手法を提案する。 実験により,提案手法はパーソナライズされたモデルにおいて,他の高度なパーソナライズされた手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2022-06-16T07:37:02Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• FedPrune: Towards Inclusive Federated Learning [1.308951527147782]
  フェデレートラーニング(Federated Learning, FL)は、分散データの共有モデルをプライバシ保護形式でトレーニングする分散学習技術である。 我々は,この課題に対処するシステムであるFedPruneを提案する。 Central Limit Theoremからの洞察を利用することで、FedPruneは非IIDデータよりも堅牢なパフォーマンスを実現する新しい集約テクニックを取り入れている。
  論文  参考訳（メタデータ） (2021-10-27T06:33:38Z)
• Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
  フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。 本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。 Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
  論文  参考訳（メタデータ） (2021-04-27T18:23:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。