論文の概要: EvoFed: Leveraging Evolutionary Strategies for Communication-Efficient Federated Learning

• arxiv url: http://arxiv.org/abs/2311.07485v1
• Date: Mon, 13 Nov 2023 17:25:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-14 13:21:18.524345
• Title: EvoFed: Leveraging Evolutionary Strategies for Communication-Efficient Federated Learning
• Title（参考訳）: evofed: コミュニケーション効率のよい連合学習のための進化戦略の活用
• Authors: Mohammad Mahdi Rahimi, Hasnain Irshad Bhatti, Younghyun Park, Humaira Kousar, Jaekyun Moon
• Abstract要約: Federated Learning(FL)は分散ノード間の協調モデルトレーニングを可能にする分散機械学習パラダイムである。 本稿では,進化戦略(ES)をFLと統合し,これらの課題に対処する新しいアプローチであるEvoFedを提案する。
• 参考スコア（独自算出の注目度）: 15.124439914522693
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated Learning (FL) is a decentralized machine learning paradigm that enables collaborative model training across dispersed nodes without having to force individual nodes to share data. However, its broad adoption is hindered by the high communication costs of transmitting a large number of model parameters. This paper presents EvoFed, a novel approach that integrates Evolutionary Strategies (ES) with FL to address these challenges. EvoFed employs a concept of 'fitness-based information sharing', deviating significantly from the conventional model-based FL. Rather than exchanging the actual updated model parameters, each node transmits a distance-based similarity measure between the locally updated model and each member of the noise-perturbed model population. Each node, as well as the server, generates an identical population set of perturbed models in a completely synchronized fashion using the same random seeds. With properly chosen noise variance and population size, perturbed models can be combined to closely reflect the actual model updated using the local dataset, allowing the transmitted similarity measures (or fitness values) to carry nearly the complete information about the model parameters. As the population size is typically much smaller than the number of model parameters, the savings in communication load is large. The server aggregates these fitness values and is able to update the global model. This global fitness vector is then disseminated back to the nodes, each of which applies the same update to be synchronized to the global model. Our analysis shows that EvoFed converges, and our experimental results validate that at the cost of increased local processing loads, EvoFed achieves performance comparable to FedAvg while reducing overall communication requirements drastically in various practical settings.
• Abstract（参考訳）: フェデレーション学習(federated learning, fl)は、分散ノード間の協調的なモデルトレーニングを可能にする、分散機械学習パラダイムである。 しかし、その広く普及は、多数のモデルパラメータを伝達する通信コストの高さによって妨げられている。 本稿では,進化戦略(ES)とFLを統合する新しいアプローチであるEvoFedについて述べる。 EvoFedは「適合性に基づく情報共有」という概念を採用しており、従来のモデルベースFLとは大きく異なる。 実際の更新されたモデルパラメータを交換する代わりに、各ノードは、局所更新されたモデルとノイズ摂動モデル人口の各メンバーとの間の距離ベースの類似度測度を送信する。 各ノードとサーバは、同じランダムなシードを用いて完全に同期した方法で、同じ集団の摂動モデルのモデルを生成する。 適切に選択されたノイズ分散と人口規模により、摂動モデルを組み合わせて、ローカルデータセットを使用して更新された実際のモデルを正確に反映することができ、送信された類似度測定(または適合度値)がモデルパラメータに関するほぼ完全な情報を運ぶことができる。 集団の大きさは一般的にモデルパラメータの数よりはるかに小さいため、通信負荷の節約は大きい。 サーバはこれらのフィットネス値を集約し、グローバルモデルを更新することができる。 このグローバルなフィットネスベクトルはノードに分散され、それぞれが同じアップデートを適用してグローバルモデルに同期する。 分析の結果,EvoFedは局所的な処理負荷を増大させるコストでFedAvgに匹敵する性能を達成し,通信要求の総量を大幅に削減することを確認した。

関連論文リスト

• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• Improving Group Connectivity for Generalization of Federated Deep Learning [8.594665698279522]
  フェデレートラーニング(FL)では、複数のクライアントが反復的なローカル更新とモデル融合を通じてグローバルモデルを協調的にトレーニングする。 本稿では,基本的な接続性の観点からFLの一般化を研究・改善する。 我々はFedGuCciとFedGuCci+を提案する。
  論文  参考訳（メタデータ） (2024-02-29T08:27:01Z)
• Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
  フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。 FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。 そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-11-12T11:01:10Z)
• Federated Learning with Neural Graphical Models [2.6842860806280058]
  フェデレートラーニング(FL)は、プロプライエタリなデータに基づいたモデルを作成する必要性に対処する。 近年提案されているニューラルグラフモデル(NGM)は、ニューラルネットワークの表現力を利用する確率的グラフィカルモデルである。 我々は,局所的なNGMモデルから平均情報を学習するグローバルなNGMモデルを維持するFLフレームワークを開発した。
  論文  参考訳（メタデータ） (2023-09-20T23:24:22Z)
• FedSoup: Improving Generalization and Personalization in Federated Learning via Selective Model Interpolation [32.36334319329364]
  クロスサイロフェデレーション学習(FL)は、データセンタに分散したデータセット上での機械学習モデルの開発を可能にする。 近年の研究では、現在のFLアルゴリズムは、分布シフトに直面した場合、局所的な性能とグローバルな性能のトレードオフに直面している。 地域とグローバルのパフォーマンスのトレードオフを最適化する新しいフェデレーションモデルスープ手法を提案する。
  論文  参考訳（メタデータ） (2023-07-20T00:07:29Z)
• FedDM: Iterative Distribution Matching for Communication-Efficient Federated Learning [87.08902493524556]
  フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。 我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。 そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
  論文  参考訳（メタデータ） (2022-07-20T04:55:18Z)
• Fine-tuning Global Model via Data-Free Knowledge Distillation for Non-IID Federated Learning [86.59588262014456]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。 サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。 私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
  論文  参考訳（メタデータ） (2022-03-17T11:18:17Z)
• FedHM: Efficient Federated Learning for Heterogeneous Models via Low-rank Factorization [16.704006420306353]
  スケーラブルなフェデレート学習フレームワークは、異なる計算能力と通信能力を備えた異種クライアントに対処する必要がある。 本稿では,不均一な低ランクモデルをクライアントに分散し,それらをグローバルなフルランクモデルに集約する,新しいフェデレーションモデル圧縮フレームワークであるFedHMを提案する。 我々のソリューションは、計算複雑性の異なる異種局所モデルの訓練を可能にし、単一の大域的モデルを集約する。
  論文  参考訳（メタデータ） (2021-11-29T16:11:09Z)
• Federated Learning With Quantized Global Model Updates [84.55126371346452]
  モバイル端末がローカルデータセットを使用してグローバルモデルをトレーニングできるフェデレーション学習について検討する。 本稿では,大域的モデルと局所的モデル更新の両方を,送信前に量子化する損失FL(LFL)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-18T16:55:20Z)
• UVeQFed: Universal Vector Quantization for Federated Learning [179.06583469293386]
  フェデレートラーニング(FL)は、ユーザがプライベートラベル付きデータを共有することなく、そのような学習モデルをトレーニングする、新たなアプローチである。 FLでは、各ユーザが学習モデルのコピーをローカルにトレーニングする。その後、サーバは個々の更新を収集し、それらをグローバルモデルに集約する。 普遍ベクトル量子化法をFLと組み合わせることで、訓練されたモデルの圧縮が最小歪みのみを誘導する分散トレーニングシステムが得られることを示す。
  論文  参考訳（メタデータ） (2020-06-05T07:10:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。