論文の概要: Client Selection in Federated Learning based on Gradients Importance
- arxiv url: http://arxiv.org/abs/2111.11204v1
- Date: Fri, 19 Nov 2021 11:53:23 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-23 16:54:23.277927
- Title: Client Selection in Federated Learning based on Gradients Importance
- Title（参考訳）: 勾配重要度に基づくフェデレート学習におけるクライアント選択
- Authors: Ouiame Marnissi, Hajar El Hammouti, El Houcine Bergou
- Abstract要約: フェデレートラーニング(FL)は、複数のデバイスが個人データを共有せずにグローバルモデルを協調的に学習することを可能にする。
本稿では,勾配規範の重要性に基づいて,デバイス選択戦略を検討・設計する。
- 参考スコア（独自算出の注目度）: 5.263296985310379
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) enables multiple devices to collaboratively learn a
global model without sharing their personal data. In real-world applications,
the different parties are likely to have heterogeneous data distribution and
limited communication bandwidth. In this paper, we are interested in improving
the communication efficiency of FL systems. We investigate and design a device
selection strategy based on the importance of the gradient norms. In
particular, our approach consists of selecting devices with the highest norms
of gradient values at each communication round. We study the convergence and
the performance of such a selection technique and compare it to existing ones.
We perform several experiments with non-iid set-up. The results show the
convergence of our method with a considerable increase of test accuracy
comparing to the random selection.
- Abstract（参考訳）: フェデレートラーニング(FL)は、複数のデバイスが個人データを共有せずにグローバルモデルを協調的に学習することを可能にする。
現実世界のアプリケーションでは、異なるパーティは異種データ分散と限られた通信帯域を持つ可能性が高い。
本稿では,FLシステムの通信効率の向上に関心がある。
グラデーションノルムの重要度に基づくデバイス選択戦略の検討と設計を行う。
特に,本手法は,各通信ラウンドにおける勾配値の基準が最も高いデバイスを選択することで構成される。
このような選択手法の収束と性能について検討し,既存の手法と比較する。
非iid設定でいくつかの実験を行う。
その結果,提案手法の収束度は,ランダム選択と比較してテスト精度がかなり高いことがわかった。
関連論文リスト
- Enhancing Federated Learning Convergence with Dynamic Data Queue and Data Entropy-driven Participant Selection [13.825031686864559]
Federated Learning(FL)は、エッジデバイス上でのコラボレーティブモデルトレーニングのための分散アプローチである。
本稿では,サーバ上のデータのグローバルサブセットを作成し,デバイス間で動的に分散することにより,FLの収束を改善する手法を提案する。
提案手法により,MNISTデータセットでは約5%,CIFAR-10では約18%,CIFAR-100では約20%の精度向上を実現した。
論文 参考訳（メタデータ） (2024-10-23T11:47:04Z) - CDFL: Efficient Federated Human Activity Recognition using Contrastive Learning and Deep Clustering [12.472038137777474]
HAR(Human Activity Recognition)は、多様なセンサーからのデータを介し、人間の行動の自動化とインテリジェントな識別に不可欠である。
中央サーバー上のデータを集約し、集中処理を行うことによる従来の機械学習アプローチは、メモリ集約であり、プライバシの懸念を高める。
本研究は,画像ベースHARのための効率的なフェデレーション学習フレームワークCDFLを提案する。
論文 参考訳（メタデータ） (2024-07-17T03:17:53Z) - Accelerating Federated Learning by Selecting Beneficial Herd of Local Gradients [40.84399531998246]
Federated Learning (FL) は、通信ネットワークシステムにおける分散機械学習フレームワークである。
非独立分散(Non-IID)データは、大域モデルの収束効率に悪影響を及ぼす。
FLモデルの収束を加速するために,局所勾配の有利な群を選別するBHerd戦略を提案する。
論文 参考訳（メタデータ） (2024-03-25T09:16:59Z) - FLASH: Federated Learning Across Simultaneous Heterogeneities [54.80435317208111]
FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。
ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。
最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
論文 参考訳（メタデータ） (2024-02-13T20:04:39Z) - Heterogeneity-Guided Client Sampling: Towards Fast and Efficient Non-IID Federated Learning [14.866327821524854]
HiCS-FLはサーバがクライアントの出力層を更新してクライアントデータの統計的不均一性を推定する新しいクライアント選択手法である。
非IID設定では、HiCS-FLは最先端のFLクライアント選択方式よりも高速な収束を実現する。
論文 参考訳（メタデータ） (2023-09-30T00:29:30Z) - FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup
for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。
我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。
クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文 参考訳（メタデータ） (2023-09-18T12:35:05Z) - DPP-based Client Selection for Federated Learning with Non-IID Data [97.1195165400568]
本稿では,統合学習(FL)のコミュニケーションボトルネックに対処するクライアント選択(CS)手法を提案する。
まず、FLにおけるCSの効果を分析し、各学習ラウンドにおけるトレーニングデータセットの多様化に参加者を適切に選択することで、FLトレーニングを加速させることができることを示す。
我々は、データプロファイリングと決定点プロセス(DPP)サンプリング技術を活用し、DPPに基づく参加者選択(FL-DP$3$S)によるフェデレートラーニング(Federated Learning)と呼ばれるアルゴリズムを開発する。
論文 参考訳（メタデータ） (2023-03-30T13:14:54Z) - Online Data Selection for Federated Learning with Limited Storage [53.46789303416799]
ネットワークデバイス間での分散機械学習を実現するために、フェデレートラーニング(FL)が提案されている。
デバイス上のストレージがFLの性能に与える影響はまだ調査されていない。
本研究では,デバイス上のストレージを限定したFLのオンラインデータ選択について検討する。
論文 参考訳（メタデータ） (2022-09-01T03:27:33Z) - Straggler-Resilient Personalized Federated Learning [55.54344312542944]
フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。
これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。
提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
論文 参考訳（メタデータ） (2022-06-05T01:14:46Z) - Multi-Center Federated Learning [62.57229809407692]
本稿では,フェデレート学習のための新しい多中心集約機構を提案する。
非IIDユーザデータから複数のグローバルモデルを学び、同時にユーザとセンタ間の最適なマッチングを導出する。
ベンチマークデータセットによる実験結果から,本手法はいくつかの一般的なフェデレーション学習法より優れていることが示された。
論文 参考訳（メタデータ） (2020-05-03T09:14:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。