Fugu-MT 論文翻訳(概要): Behavior Mimics Distribution: Combining Individual and Group Behaviors for Federated Learning

論文の概要: Behavior Mimics Distribution: Combining Individual and Group Behaviors for Federated Learning

arxiv url: http://arxiv.org/abs/2106.12300v1
Date: Wed, 23 Jun 2021 10:42:37 GMT
ステータス: 処理完了
システム内更新日: 2021-06-24 20:57:20.088069
Title: Behavior Mimics Distribution: Combining Individual and Group Behaviors for Federated Learning
Title（参考訳）: 行動模倣分布:フェデレーション学習のための個人行動と集団行動の組み合わせ
Authors: Hua Huang, Fanhua Shang, Yuanyuan Liu, Hongying Liu
Abstract要約: フェデレートラーニング(FL)は、アクティブで有望な分散機械学習パラダイムとなっている。近年の研究では, ローカル更新によるクライアントのドリフトにより, FL法の性能が劇的に低下していることが示されている。本稿では,個人とグループの両方の行動を利用して分布を模倣する新しいフェデレート学習アルゴリズム(IGFL)を提案する。
参考スコア（独自算出の注目度）: 26.36851197666568
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Federated Learning (FL) has become an active and promising distributed machine learning paradigm. As a result of statistical heterogeneity, recent studies clearly show that the performance of popular FL methods (e.g., FedAvg) deteriorates dramatically due to the client drift caused by local updates. This paper proposes a novel Federated Learning algorithm (called IGFL), which leverages both Individual and Group behaviors to mimic distribution, thereby improving the ability to deal with heterogeneity. Unlike existing FL methods, our IGFL can be applied to both client and server optimization. As a by-product, we propose a new attention-based federated learning in the server optimization of IGFL. To the best of our knowledge, this is the first time to incorporate attention mechanisms into federated optimization. We conduct extensive experiments and show that IGFL can significantly improve the performance of existing federated learning methods. Especially when the distributions of data among individuals are diverse, IGFL can improve the classification accuracy by about 13% compared with prior baselines.
Abstract（参考訳）: Federated Learning(FL)は、アクティブで有望な分散機械学習パラダイムになった。統計的不均質性の結果,近年の研究では,ローカル更新によるクライアントドリフトにより,一般的なfl法(fedavgなど)の性能が劇的に低下することが明らかとなった。本稿では,個人とグループの両方の行動を利用して分布を模倣し,不均一性に対処できる新しいフェデレート学習アルゴリズム(IGFL)を提案する。既存のFLメソッドとは異なり、IGFLはクライアントとサーバの最適化にも適用できます。本稿では,IGFLのサーバ最適化における注目度に基づく新しいフェデレーション学習を提案する。私たちの知る限りでは、フェデレーション最適化に注意機構を組み込むのはこれが初めてです。広範な実験を行い,igflが既存の連合学習手法の性能を著しく向上できることを示す。特に個人間のデータの分布が多様である場合、IGFLは以前のベースラインと比較して約13%の精度で分類できる。

関連論文リスト

Unlocking the Potential of Prompt-Tuning in Bridging Generalized and Personalized Federated Learning [49.72857433721424]
Vision Transformer (ViT) と Visual Prompt Tuning (VPT) は、様々なコンピュータビジョンタスクの効率を改善して最先端のパフォーマンスを実現する。本稿では,GFL(Generalized FL)とPFL(Personalized FL)を組み合わせた新しいアルゴリズムSGPTを提案する。
論文参考訳（メタデータ） (2023-10-27T17:22:09Z)
PFL-GAN: When Client Heterogeneity Meets Generative Models in Personalized Federated Learning [55.930403371398114]
パーソナライズドラーニング(PFL)のための新しいGAN(Generative Adversarial Network)の共有と集約戦略を提案する。 PFL-GANは、異なるシナリオにおけるクライアントの不均一性に対処する。より具体的には、まずクライアント間の類似性を学び、次に重み付けされた協調データアグリゲーションを開発する。いくつかのよく知られたデータセットに対する厳密な実験による実験結果は、PFL-GANの有効性を示している。
論文参考訳（メタデータ） (2023-08-23T22:38:35Z)
Stochastic Clustered Federated Learning [21.811496586350653]
本稿では,一般の非IID問題に対する新しいクラスタ化フェデレーション学習手法であるStoCFLを提案する。詳細は、StoCFLは、任意の割合のクライアント参加と新しく加入したクライアントをサポートする柔軟なCFLフレームワークを実装しています。その結果,StoCFLはクラスタ数の不明な場合でも,有望なクラスタ結果が得られることがわかった。
論文参考訳（メタデータ） (2023-03-02T01:39:16Z)
FedRC: Tackling Diverse Distribution Shifts Challenge in Federated Learning by Robust Clustering [4.489171618387544]
Federated Learning(FL)は、エッジデバイス上でクライアントデータを保持することによって、プライバシを保護する機械学習パラダイムである。本稿では,多様な分布シフトの同時発生による学習課題を特定する。提案するクラスタリングの原理に従う新しいクラスタリングアルゴリズムフレームワークであるFedRCを提案する。
論文参考訳（メタデータ） (2023-01-29T06:50:45Z)
FL Games: A Federated Learning Framework for Distribution Shifts [71.98708418753786]
フェデレートラーニングは、サーバのオーケストレーションの下で、クライアント間で分散されたデータの予測モデルをトレーニングすることを目的としている。本稿では,クライアント間で不変な因果的特徴を学習するフェデレーション学習のためのゲーム理論フレームワークFL GAMESを提案する。
論文参考訳（メタデータ） (2022-10-31T22:59:03Z)
Heterogeneous Federated Learning via Grouped Sequential-to-Parallel Training [60.892342868936865]
フェデレートラーニング(Federated Learning, FL)は、プライバシ保護のためのコラボレーション機械学習パラダイムである。本稿では,この課題に対処するため,データヘテロジニアス・ロバストFLアプローチであるFedGSPを提案する。その結果,FedGSPは7つの最先端アプローチと比較して平均3.7%の精度向上を実現していることがわかった。
論文参考訳（メタデータ） (2022-01-31T03:15:28Z)
On-the-fly Resource-Aware Model Aggregation for Federated Learning in Heterogeneous Edge [15.932747809197517]
エッジコンピューティングは、フレキシブルでセキュアでパフォーマンスの良い特性のおかげで、モバイルとワイヤレスネットワークの世界に革命をもたらした。本稿では,中央集約サーバを空飛ぶマスタに置き換えるための戦略を詳細に検討する。本研究は,EdgeAIテストベッドおよび実5Gネットワーク上で実施した測定結果から,空飛ぶマスターFLフレームワークを用いたランタイムの大幅な削減効果を示した。
論文参考訳（メタデータ） (2021-12-21T19:04:42Z)
Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文参考訳（メタデータ） (2021-11-28T19:03:39Z)
Mobility-Aware Cluster Federated Learning in Hierarchical Wireless Networks [81.83990083088345]
我々は,無線ネットワークにおける階層型フェデレーション学習(HFL)アルゴリズムを特徴付ける理論モデルを開発した。分析の結果,HFLの学習性能は,ハイモービル利用者の学習能力が著しく低下していることが判明した。これらの問題を回避するため,我々はMACFLアルゴリズムを提案する。
論文参考訳（メタデータ） (2021-08-20T10:46:58Z)
FedGroup: Efficient Clustered Federated Learning via Decomposed Data-Driven Measure [18.083188787905083]
本稿では,新しいクラスタ型フェデレーション学習(CFL)フレームワークであるFedGroupを提案する。 FEMNISTではFedAvgに比べて絶対テスト精度が+14.1%向上することが示された。また、いくつかのオープンデータセット上でFedGroupとFedGrouProx(FedProxと組み合わせた)を評価します。
論文参考訳（メタデータ） (2020-10-14T08:15:34Z)
TiFL: A Tier-based Federated Learning System [17.74678728280232]
フェデレートラーニング(FL)は、プライバシ要件に違反することなく、多くのクライアント間で共有モデルを学ぶことを可能にする。従来のFLシステムのトレーニング時間とモデル精度に,資源とデータの不均一性が大きな影響を与えることを示すケーススタディを実施している。我々は,TiFLを提案する。TiFLは,クライアントをトレーニングパフォーマンスに基づいて階層に分割し,トレーニングラウンド毎に同一階層から選択する,階層ベースのフェデレートラーニングシステムである。
論文参考訳（メタデータ） (2020-01-25T01:40:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。