論文の概要: DFML: Decentralized Federated Mutual Learning
- arxiv url: http://arxiv.org/abs/2402.01863v1
- Date: Fri, 2 Feb 2024 19:35:05 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-06 23:52:53.950697
- Title: DFML: Decentralized Federated Mutual Learning
- Title(参考訳): DFML: 分散化した相互学習
- Authors: Yasser H. Khalil, Amir H. Estiri, Mahdi Beitollahi, Nader Asadi,
Sobhan Hemati, Xu Li, Guojun Zhang, Xi Chen
- Abstract要約: 本稿では,非制限的不均一モデルをサポートし,パブリックデータへの依存を回避するために,サーバレスな分散フェデレーション相互学習(DFML)フレームワークを提案する。
DFMLは収束速度と大域的精度の両方において一貫した有効性を示した。
- 参考スコア(独自算出の注目度): 13.656986065087626
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In the realm of real-world devices, centralized servers in Federated Learning
(FL) present challenges including communication bottlenecks and susceptibility
to a single point of failure. Additionally, contemporary devices inherently
exhibit model and data heterogeneity. Existing work lacks a Decentralized FL
(DFL) framework capable of accommodating such heterogeneity without imposing
architectural restrictions or assuming the availability of public data. To
address these issues, we propose a Decentralized Federated Mutual Learning
(DFML) framework that is serverless, supports nonrestrictive heterogeneous
models, and avoids reliance on public data. DFML effectively handles model and
data heterogeneity through mutual learning, which distills knowledge between
clients, and cyclically varying the amount of supervision and distillation
signals. Extensive experimental results demonstrate consistent effectiveness of
DFML in both convergence speed and global accuracy, outperforming prevalent
baselines under various conditions. For example, with the CIFAR-100 dataset and
50 clients, DFML achieves a substantial increase of +17.20% and +19.95% in
global accuracy under Independent and Identically Distributed (IID) and non-IID
data shifts, respectively.
- Abstract(参考訳): 現実世界のデバイスの分野では、連合学習(fl)における集中型サーバには、通信ボトルネックや単一障害点に対する感受性といった課題がある。
さらに、現代のデバイスは本質的にモデルとデータの異質性を示す。
既存の作業には、アーキテクチャ上の制約や公開データの可用性を仮定することなく、そのような不均一性を調節できる分散FL(DFL)フレームワークが欠けている。
これらの問題に対処するため,我々は,非制限的異種モデルをサポートし,公開データへの依存を回避した分散連合型相互学習(dfml)フレームワークを提案する。
DFMLは相互学習を通じてモデルとデータの均一性を効果的に処理し、クライアント間の知識を蒸留し、監督信号と蒸留信号の量を周期的に変化させる。
DFMLの収束速度と大域的精度の両面での一貫した有効性を示し, 各種条件下での有意なベースラインよりも優れていた。
例えば、CIFAR-100データセットと50のクライアントで、DFMLは、それぞれ独立分散(IID)と非IIDデータシフトの下で、グローバル精度の+17.20%と+19.95%を大きく向上させる。
関連論文リスト
- An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。
従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。
我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文 参考訳(メタデータ) (2024-04-29T05:55:23Z) - FLASH: Federated Learning Across Simultaneous Heterogeneities [54.80435317208111]
FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。
ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。
最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
論文 参考訳(メタデータ) (2024-02-13T20:04:39Z) - Fake It Till Make It: Federated Learning with Consensus-Oriented
Generation [52.82176415223988]
コンセンサス指向生成による連合学習(FedCOG)を提案する。
FedCOGは、補完的なデータ生成と知識蒸留に基づくモデルトレーニングという、クライアント側の2つの重要なコンポーネントで構成されています。
古典的および実世界のFLデータセットの実験は、FedCOGが一貫して最先端の手法より優れていることを示している。
論文 参考訳(メタデータ) (2023-12-10T18:49:59Z) - Joint Local Relational Augmentation and Global Nash Equilibrium for
Federated Learning with Non-IID Data [36.426794300280854]
フェデレーテッド・ラーニング(FL)は分散機械学習のパラダイムであり、サーバーと一連のクライアントの協力を必要とする。
本稿では,局所的リレーショナル拡張(LRA)と大域的ナッシュ均衡(GNE)の2つの主要モジュールからなるFedRANEを提案する。
論文 参考訳(メタデータ) (2023-08-17T06:17:51Z) - Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-08-11T09:58:47Z) - Benchmarking FedAvg and FedCurv for Image Classification Tasks [1.376408511310322]
本稿では,同じフェデレーションネットワークにおけるデータの統計的不均一性の問題に焦点をあてる。
FedAvg、FedProx、Federated Curvature(FedCurv)など、いくつかのフェデレートラーニングアルゴリズムがすでに提案されている。
この研究の副産物として、FLコミュニティからのさらなる比較を容易にするために使用したデータセットの非IIDバージョンをリリースします。
論文 参考訳(メタデータ) (2023-03-31T10:13:01Z) - Fine-tuning Global Model via Data-Free Knowledge Distillation for
Non-IID Federated Learning [86.59588262014456]
フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。
サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。
私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
論文 参考訳(メタデータ) (2022-03-17T11:18:17Z) - Gradient Masked Averaging for Federated Learning [24.687254139644736]
フェデレートラーニングは、統一グローバルモデルの学習を協調するために、異種データを持つ多数のクライアントを可能にする。
標準FLアルゴリズムは、サーバのグローバルモデルを近似するために、モデルパラメータや勾配の更新を平均化する。
本稿では,クライアント更新の標準平均化の代替として,FLの勾配マスク平均化手法を提案する。
論文 参考訳(メタデータ) (2022-01-28T08:42:43Z) - Local Learning Matters: Rethinking Data Heterogeneity in Federated
Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文 参考訳(メタデータ) (2021-11-28T19:03:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。