論文の概要: FedMap: Iterative Magnitude-Based Pruning for Communication-Efficient Federated Learning

• arxiv url: http://arxiv.org/abs/2406.19050v1
• Date: Thu, 27 Jun 2024 09:58:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-28 14:37:31.608655
• Title: FedMap: Iterative Magnitude-Based Pruning for Communication-Efficient Federated Learning
• Title（参考訳）: FedMap: コミュニケーション効率のよいフェデレーション学習のための反復的マグニチュードベースプルーニング
• Authors: Alexander Herzog, Robbie Southam, Ioannis Mavromatis, Aftab Khan,
• Abstract要約: Federated Learning(FL)は、プライバシを保持しながら分散データトレーニングを可能にする分散機械学習アプローチである。 本稿では,より疎いグローバルモデルを協調学習することにより,FLデプロイメントの通信効率を高めることを目的とした新しい手法であるFedMapを紹介する。 FedMapは、文献で報告されている他の方法とは異なり、ゼロからグローバルモデルをトレーニングする。
• 参考スコア（独自算出の注目度）: 45.190890170694615
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated Learning (FL) is a distributed machine learning approach that enables training on decentralized data while preserving privacy. However, FL systems often involve resource-constrained client devices with limited computational power, memory, storage, and bandwidth. This paper introduces FedMap, a novel method that aims to enhance the communication efficiency of FL deployments by collaboratively learning an increasingly sparse global model through iterative, unstructured pruning. Importantly, FedMap trains a global model from scratch, unlike other methods reported in the literature, making it ideal for privacy-critical use cases such as in the medical and finance domains, where suitable pre-training data is often limited. FedMap adapts iterative magnitude-based pruning to the FL setting, ensuring all clients prune and refine the same subset of the global model parameters, therefore gradually reducing the global model size and communication overhead. The iterative nature of FedMap, forming subsequent models as subsets of predecessors, avoids parameter reactivation issues seen in prior work, resulting in stable performance. In this paper we provide an extensive evaluation of FedMap across diverse settings, datasets, model architectures, and hyperparameters, assessing performance in both IID and non-IID environments. Comparative analysis against the baseline approach demonstrates FedMap's ability to achieve more stable client model performance. For IID scenarios, FedMap achieves over $90$\% pruning without significant performance degradation. In non-IID settings, it achieves at least $~80$\% pruning while maintaining accuracy. FedMap offers a promising solution to alleviate communication bottlenecks in FL systems while retaining model accuracy.
• Abstract（参考訳）: Federated Learning(FL)は、プライバシを保持しながら分散データトレーニングを可能にする分散機械学習アプローチである。 しかし、FLシステムは計算能力、メモリ、ストレージ、帯域幅に制限のあるリソース制約のあるクライアントデバイスを含むことが多い。 本稿では,FedMapを提案する。FedMapは,反復的,非構造的プルーニングを通じて,より疎いグローバルモデルを協調的に学習することにより,FLデプロイメントの通信効率を高めることを目的とした新しい手法である。 重要な点として、FedMapは、文献で報告されている他の方法とは異なり、ゼロからグローバルモデルをトレーニングし、適切な事前トレーニングデータが制限される医療や金融ドメインなどのプライバシクリティカルなユースケースに最適である。 FedMapは、FL設定に反復的なマグニチュードベースのプルーニングを適用し、すべてのクライアントがグローバルモデルパラメータの同じサブセットをプリキュアし、洗練することによって、グローバルモデルのサイズと通信オーバーヘッドを徐々に削減します。 FedMapの反復的な性質は、後続のモデルを前者のサブセットとして形成し、以前の作業で見られるパラメータの再活性化の問題を避け、安定したパフォーマンスをもたらす。 本稿では,多種多様な設定,データセット,モデルアーキテクチャ,ハイパーパラメータにまたがるFedMapの広範な評価を行い,IIDおよび非IID環境での性能評価を行う。 ベースラインアプローチとの比較分析は、より安定したクライアントモデルパフォーマンスを実現するFedMapの能力を示している。 IIDのシナリオでは、FedMapは90ドル以上のプルーニングを実現している。 非IID設定では、精度を維持しながら少なくとも80$\%のプルーニングを達成する。 FedMapは、FLシステムの通信ボトルネックを緩和し、モデルの精度を維持しながら、有望なソリューションを提供する。

関連論文リスト

• FedMAP: Unlocking Potential in Personalized Federated Learning through Bi-Level MAP Optimization [11.040916982022978]
  フェデレートラーニング(FL)は、分散データに基づく機械学習モデルの協調トレーニングを可能にする。 クライアント間でのデータはしばしば、クラス不均衡、特徴分散スキュー、サンプルサイズ不均衡、その他の現象によって大きく異なる。 本稿では,バイレベル最適化を用いた新しいベイズPFLフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-29T11:28:06Z)
• Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
  フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。 その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。 我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
  論文  参考訳（メタデータ） (2023-08-20T04:41:01Z)
• Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
  Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。 本稿では,FedInsという新しいFLアルゴリズムを提案する。 我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-11T09:58:47Z)
• FedSoup: Improving Generalization and Personalization in Federated Learning via Selective Model Interpolation [32.36334319329364]
  クロスサイロフェデレーション学習(FL)は、データセンタに分散したデータセット上での機械学習モデルの開発を可能にする。 近年の研究では、現在のFLアルゴリズムは、分布シフトに直面した場合、局所的な性能とグローバルな性能のトレードオフに直面している。 地域とグローバルのパフォーマンスのトレードオフを最適化する新しいフェデレーションモデルスープ手法を提案する。
  論文  参考訳（メタデータ） (2023-07-20T00:07:29Z)
• Fed-FSNet: Mitigating Non-I.I.D. Federated Learning via Fuzzy Synthesizing Network [19.23943687834319]
  フェデレートラーニング(FL)は、将来性のあるプライバシ保護分散機械学習フレームワークとして登場した。 我々は、Fed-FSNetと呼ばれる新しいFLトレーニングフレームワークを提案し、Fed-FSNet(Fed-FSNet)を適切に設計し、非I.I.D.のオープンソース問題を軽減する。
  論文  参考訳（メタデータ） (2022-08-21T18:40:51Z)
• FedMR: Fedreated Learning via Model Recombination [7.404225808071622]
  Federated Learning (FL)は、クライアント間でのグローバルモデルトレーニングを可能にする。 既存のFLメソッドは、Federated Averaging(FedAvg)ベースのアグリゲーションに依存しています。 本稿ではFedMR(Federating Model Recombination)という新しいFLパラダイムを提案する。
  論文  参考訳（メタデータ） (2022-08-16T11:30:19Z)
• Sparse Federated Learning with Hierarchical Personalized Models [24.763028713043468]
  フェデレートラーニング(FL)は、ユーザのプライベートデータを収集することなく、プライバシセーフで信頼性の高い協調トレーニングを実現する。 階層型パーソナライズされたモデルを用いたスパースフェデレーション学習(sFedHP)という,モロー包絡に基づく階層型近位写像を用いたパーソナライズされたFLアルゴリズムを提案する。 また、連続的に微分可能な近似L1ノルムをスパース制約として使用して通信コストを低減させる。
  論文  参考訳（メタデータ） (2022-03-25T09:06:42Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)
• A Bayesian Federated Learning Framework with Online Laplace Approximation [144.7345013348257]
  フェデレートラーニングは、複数のクライアントが協力してグローバルに共有されたモデルを学ぶことを可能にする。 クライアント側とサーバ側の両方の後方部を近似するために,オンラインラプラス近似を用いた新しいFLフレームワークを提案する。 提案手法の利点を実証し,いくつかのベンチマークで最新の結果を得た。
  論文  参考訳（メタデータ） (2021-02-03T08:36:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。