論文の概要: FedHiSyn: A Hierarchical Synchronous Federated Learning Framework for
Resource and Data Heterogeneity
- arxiv url: http://arxiv.org/abs/2206.10546v1
- Date: Tue, 21 Jun 2022 17:23:06 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-22 20:27:36.575736
- Title: FedHiSyn: A Hierarchical Synchronous Federated Learning Framework for
Resource and Data Heterogeneity
- Title(参考訳): FedHiSyn: リソースとデータの均一性のための階層的な同期学習フレームワーク
- Authors: Guanghao Li, Yue Hu, Miao Zhang, Ji Liu, Quanjun Yin, Yong Peng,
Dejing Dou
- Abstract要約: フェデレートラーニング(FL)は、データプライバシを保護するために複数のデバイスに格納された分散生データを共有することなく、グローバルモデルのトレーニングを可能にする。
本稿では,階層型同期FLフレームワークであるFedHiSynを提案し,トラグラー効果や時代遅れモデルの問題に対処する。
提案手法は,MNIST,EMNIST,CIFAR10,CIFAR100のデータセットと多種多様なデバイス設定に基づいて評価する。
- 参考スコア(独自算出の注目度): 56.82825745165945
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated Learning (FL) enables training a global model without sharing the
decentralized raw data stored on multiple devices to protect data privacy. Due
to the diverse capacity of the devices, FL frameworks struggle to tackle the
problems of straggler effects and outdated models. In addition, the data
heterogeneity incurs severe accuracy degradation of the global model in the FL
training process. To address aforementioned issues, we propose a hierarchical
synchronous FL framework, i.e., FedHiSyn. FedHiSyn first clusters all available
devices into a small number of categories based on their computing capacity.
After a certain interval of local training, the models trained in different
categories are simultaneously uploaded to a central server. Within a single
category, the devices communicate the local updated model weights to each other
based on a ring topology. As the efficiency of training in the ring topology
prefers devices with homogeneous resources, the classification based on the
computing capacity mitigates the impact of straggler effects. Besides, the
combination of the synchronous update of multiple categories and the device
communication within a single category help address the data heterogeneity
issue while achieving high accuracy. We evaluate the proposed framework based
on MNIST, EMNIST, CIFAR10 and CIFAR100 datasets and diverse heterogeneous
settings of devices. Experimental results show that FedHiSyn outperforms six
baseline methods, e.g., FedAvg, SCAFFOLD, and FedAT, in terms of training
accuracy and efficiency.
- Abstract(参考訳): フェデレートラーニング(FL)は、データプライバシを保護するために複数のデバイスに格納された分散生データを共有することなく、グローバルモデルのトレーニングを可能にする。
デバイスが多種多様であるため、FLフレームワークはトラグラー効果や時代遅れモデルの問題に取り組むのに苦労する。
さらに、データの不均一性は、fl訓練過程におけるグローバルモデルの厳密な精度低下をもたらす。
上記の問題に対処するため、階層型同期FLフレームワークであるFedHiSynを提案する。
FedHiSynはまず、利用可能なすべてのデバイスを、その計算能力に基づいて、少数のカテゴリにクラスタ化する。
ある期間のローカルトレーニングの後、異なるカテゴリでトレーニングされたモデルが同時に中央サーバにアップロードされる。
単一のカテゴリ内で、デバイスは、リングトポロジーに基づいて、ローカルに更新されたモデル重みを相互に通信する。
リングトポロジにおけるトレーニングの効率は均質なリソースを持つデバイスを好むため、計算能力に基づく分類はストラグラー効果の影響を緩和する。
さらに、複数のカテゴリの同期更新と単一のカテゴリ内のデバイス通信の組み合わせは、高い精度を実現しながら、データの多様性の問題に対処するのに役立つ。
提案手法は,MNIST,EMNIST,CIFAR10,CIFAR100のデータセットと多種多様なデバイス設定に基づく。
実験結果から,FedHiSynはFedAvg,SCAFFOLD,FedATの6つのベースライン法で,トレーニング精度と効率の点で優れていた。
関連論文リスト
- HeteroSwitch: Characterizing and Taming System-Induced Data
Heterogeneity in Federated Learning [37.81290163467219]
Federated Learning(FL)は、ディープラーニングモデルをエンドユーザデバイス間で協調的にトレーニングするための実践的なアプローチである。
FLでは、ハードウェアやソフトウェアの構成に関して、参加するエンドユーザデバイスは極めて断片化されている。
本稿では,HWおよびSW構成の変化によるバイアスレベルに応じて,一般化手法を適応的に採用するHeteroSwitchを提案する。
論文 参考訳(メタデータ) (2024-03-07T04:23:07Z) - FLASH: Federated Learning Across Simultaneous Heterogeneities [54.80435317208111]
FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。
ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。
最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
論文 参考訳(メタデータ) (2024-02-13T20:04:39Z) - Fake It Till Make It: Federated Learning with Consensus-Oriented
Generation [52.82176415223988]
コンセンサス指向生成による連合学習(FedCOG)を提案する。
FedCOGは、補完的なデータ生成と知識蒸留に基づくモデルトレーニングという、クライアント側の2つの重要なコンポーネントで構成されています。
古典的および実世界のFLデータセットの実験は、FedCOGが一貫して最先端の手法より優れていることを示している。
論文 参考訳(メタデータ) (2023-12-10T18:49:59Z) - Supernet Training for Federated Image Classification under System
Heterogeneity [15.2292571922932]
本研究では,2つのシナリオ,すなわちフェデレーション・オブ・スーパーネット・トレーニング(FedSup)を考えるための新しい枠組みを提案する。
フェデレートラーニング(FL)のモデルアグリゲーション段階でのパラメータの平均化は、スーパーネットトレーニングにおけるウェイトシェアリングとどのように似ているかに着想を得ている。
本フレームワークでは,通信コストの削減とトレーニングオーバーヘッドの低減のために,放送段階のクライアントにサブモデルを送信することで,効率的なアルゴリズム(E-FedSup)を提案する。
論文 参考訳(メタデータ) (2022-06-03T02:21:01Z) - FedCAT: Towards Accurate Federated Learning via Device Concatenation [4.416919766772866]
Federated Learning(FL)は、すべてのデバイスが、ローカルデータのプライバシを公開することなく、グローバルモデルを協調的にトレーニングすることを可能にする。
非IIDシナリオでは、データの不均一性に起因する重みのばらつきにより、FLモデルの分類精度が大幅に低下する。
本稿では,Fed-Cat という新しいFLアプローチを導入し,提案したデバイス選択戦略とデバイス結合に基づく局所学習手法に基づいて,高精度なモデル精度を実現する。
論文 参考訳(メタデータ) (2022-02-23T10:08:43Z) - FedMix: Approximation of Mixup under Mean Augmented Federated Learning [60.503258658382]
フェデレートラーニング(FL)は、エッジデバイスが各デバイス内でデータを直接共有することなく、モデルを集合的に学習することを可能にする。
現在の最先端アルゴリズムは、クライアント間のローカルデータの均一性が増大するにつれて性能劣化に悩まされる。
我々はFedMixという名の新しい拡張アルゴリズムを提案し、これは驚くべきが単純なデータ拡張手法であるMixupにインスパイアされている。
論文 参考訳(メタデータ) (2021-07-01T06:14:51Z) - Rethinking Architecture Design for Tackling Data Heterogeneity in
Federated Learning [53.73083199055093]
注意に基づくアーキテクチャ(例えばTransformers)は、分散シフトに対してかなり堅牢であることを示す。
我々の実験は、畳み込みネットワークをトランスフォーマーに置き換えることによって、過去のデバイスを壊滅的に忘れることを大幅に減らせることを示した。
論文 参考訳(メタデータ) (2021-06-10T21:04:18Z) - No Fear of Heterogeneity: Classifier Calibration for Federated Learning
with Non-IID Data [78.69828864672978]
実世界のフェデレーションシステムにおける分類モデルのトレーニングにおける中心的な課題は、非IIDデータによる学習である。
このアルゴリズムは, 近似されたssian混合モデルからサンプリングした仮想表現を用いて分類器を調整する。
実験の結果,CIFAR-10,CIFAR-100,CINIC-10など,一般的なフェデレーション学習ベンチマークにおけるCCVRの現状が示された。
論文 参考訳(メタデータ) (2021-06-09T12:02:29Z) - FedSAE: A Novel Self-Adaptive Federated Learning Framework in
Heterogeneous Systems [14.242716751043533]
Federated Learning(FL)は、何千ものエッジデバイスがデータをサーバに同心的にアップロードすることなく、ローカルにモデルをトレーニングできる、新しい分散機械学習である。
我々は、デバイスの自動トレーニングタスクを調整する新しい自己適応型フェデレーションフレームワークFedSAEを導入し、参加者を積極的に選択してパフォーマンス劣化を緩和する。
このフレームワークでは、サーバは、トレーニング損失に基づいて、デバイスのトレーニング値を評価する。
その後、サーバは、通信のオーバーヘッドを減らすために、グローバルモデルにより大きな価値を持つクライアントを選択する。
論文 参考訳(メタデータ) (2021-04-15T15:14:11Z) - Federated learning with class imbalance reduction [24.044750119251308]
フェデレートラーニング(Federated Learning, FL)は、多数のエッジコンピューティングデバイスが協調してグローバルラーニングモデルをトレーニングすることを可能にする技術である。
プライバシー上の懸念から、デバイス上の生データは集中型サーバでは利用できない。
本稿では,生データを意識せずにクラス分布を明らかにするための推定手法を提案する。
論文 参考訳(メタデータ) (2020-11-23T08:13:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。