論文の概要: FedHiSyn: A Hierarchical Synchronous Federated Learning Framework for Resource and Data Heterogeneity

• arxiv url: http://arxiv.org/abs/2206.10546v1
• Date: Tue, 21 Jun 2022 17:23:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-22 20:27:36.575736
• Title: FedHiSyn: A Hierarchical Synchronous Federated Learning Framework for Resource and Data Heterogeneity
• Title（参考訳）: FedHiSyn: リソースとデータの均一性のための階層的な同期学習フレームワーク
• Authors: Guanghao Li, Yue Hu, Miao Zhang, Ji Liu, Quanjun Yin, Yong Peng, Dejing Dou
• Abstract要約: フェデレートラーニング(FL)は、データプライバシを保護するために複数のデバイスに格納された分散生データを共有することなく、グローバルモデルのトレーニングを可能にする。 本稿では,階層型同期FLフレームワークであるFedHiSynを提案し,トラグラー効果や時代遅れモデルの問題に対処する。 提案手法は,MNIST,EMNIST,CIFAR10,CIFAR100のデータセットと多種多様なデバイス設定に基づいて評価する。
• 参考スコア（独自算出の注目度）: 56.82825745165945
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated Learning (FL) enables training a global model without sharing the decentralized raw data stored on multiple devices to protect data privacy. Due to the diverse capacity of the devices, FL frameworks struggle to tackle the problems of straggler effects and outdated models. In addition, the data heterogeneity incurs severe accuracy degradation of the global model in the FL training process. To address aforementioned issues, we propose a hierarchical synchronous FL framework, i.e., FedHiSyn. FedHiSyn first clusters all available devices into a small number of categories based on their computing capacity. After a certain interval of local training, the models trained in different categories are simultaneously uploaded to a central server. Within a single category, the devices communicate the local updated model weights to each other based on a ring topology. As the efficiency of training in the ring topology prefers devices with homogeneous resources, the classification based on the computing capacity mitigates the impact of straggler effects. Besides, the combination of the synchronous update of multiple categories and the device communication within a single category help address the data heterogeneity issue while achieving high accuracy. We evaluate the proposed framework based on MNIST, EMNIST, CIFAR10 and CIFAR100 datasets and diverse heterogeneous settings of devices. Experimental results show that FedHiSyn outperforms six baseline methods, e.g., FedAvg, SCAFFOLD, and FedAT, in terms of training accuracy and efficiency.
• Abstract（参考訳）: フェデレートラーニング(FL)は、データプライバシを保護するために複数のデバイスに格納された分散生データを共有することなく、グローバルモデルのトレーニングを可能にする。 デバイスが多種多様であるため、FLフレームワークはトラグラー効果や時代遅れモデルの問題に取り組むのに苦労する。 さらに、データの不均一性は、fl訓練過程におけるグローバルモデルの厳密な精度低下をもたらす。 上記の問題に対処するため、階層型同期FLフレームワークであるFedHiSynを提案する。 FedHiSynはまず、利用可能なすべてのデバイスを、その計算能力に基づいて、少数のカテゴリにクラスタ化する。 ある期間のローカルトレーニングの後、異なるカテゴリでトレーニングされたモデルが同時に中央サーバにアップロードされる。 単一のカテゴリ内で、デバイスは、リングトポロジーに基づいて、ローカルに更新されたモデル重みを相互に通信する。 リングトポロジにおけるトレーニングの効率は均質なリソースを持つデバイスを好むため、計算能力に基づく分類はストラグラー効果の影響を緩和する。 さらに、複数のカテゴリの同期更新と単一のカテゴリ内のデバイス通信の組み合わせは、高い精度を実現しながら、データの多様性の問題に対処するのに役立つ。 提案手法は,MNIST,EMNIST,CIFAR10,CIFAR100のデータセットと多種多様なデバイス設定に基づく。 実験結果から,FedHiSynはFedAvg,SCAFFOLD,FedATの6つのベースライン法で,トレーニング精度と効率の点で優れていた。

関連論文リスト

• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• CaBaFL: Asynchronous Federated Learning via Hierarchical Cache and Feature Balance [23.125185494897522]
  有望な分散機械学習パラダイムとしてのフェデレートラーニング(FL)は、AIoT(Artificial Intelligence of Things)アプリケーションで広く採用されている。 FLの効率性と推論能力は、トラグラーの存在と大規模なAIoTデバイス間のデータの不均衡により、著しく制限されている。 本稿では,階層型キャッシュベースのアグリゲーション機構と機能バランス誘導型デバイス選択戦略を含む,CaBaFLという新しいFLアプローチを提案する。
  論文  参考訳（メタデータ） (2024-04-19T12:39:11Z)
• Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
  同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。 一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。 本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
  論文  参考訳（メタデータ） (2024-03-27T09:14:36Z)
• HeteroSwitch: Characterizing and Taming System-Induced Data Heterogeneity in Federated Learning [36.00729012296371]
  Federated Learning(FL)は、ディープラーニングモデルをエンドユーザデバイス間で協調的にトレーニングするための実践的なアプローチである。 FLでは、ハードウェアやソフトウェアの構成に関して、参加するエンドユーザデバイスは極めて断片化されている。 本稿では,HWおよびSW構成の変化によるバイアスレベルに応じて,一般化手法を適応的に採用するHeteroSwitchを提案する。
  論文  参考訳（メタデータ） (2024-03-07T04:23:07Z)
• FLASH: Federated Learning Across Simultaneous Heterogeneities [54.80435317208111]
  FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。 ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。 最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
  論文  参考訳（メタデータ） (2024-02-13T20:04:39Z)
• Supernet Training for Federated Image Classification under System Heterogeneity [15.2292571922932]
  本研究では,2つのシナリオ,すなわちフェデレーション・オブ・スーパーネット・トレーニング(FedSup)を考えるための新しい枠組みを提案する。 フェデレートラーニング(FL)のモデルアグリゲーション段階でのパラメータの平均化は、スーパーネットトレーニングにおけるウェイトシェアリングとどのように似ているかに着想を得ている。 本フレームワークでは,通信コストの削減とトレーニングオーバーヘッドの低減のために,放送段階のクライアントにサブモデルを送信することで,効率的なアルゴリズム(E-FedSup)を提案する。
  論文  参考訳（メタデータ） (2022-06-03T02:21:01Z)
• FedCAT: Towards Accurate Federated Learning via Device Concatenation [4.416919766772866]
  Federated Learning(FL)は、すべてのデバイスが、ローカルデータのプライバシを公開することなく、グローバルモデルを協調的にトレーニングすることを可能にする。 非IIDシナリオでは、データの不均一性に起因する重みのばらつきにより、FLモデルの分類精度が大幅に低下する。 本稿では,Fed-Cat という新しいFLアプローチを導入し,提案したデバイス選択戦略とデバイス結合に基づく局所学習手法に基づいて,高精度なモデル精度を実現する。
  論文  参考訳（メタデータ） (2022-02-23T10:08:43Z)
• FedMix: Approximation of Mixup under Mean Augmented Federated Learning [60.503258658382]
  フェデレートラーニング(FL)は、エッジデバイスが各デバイス内でデータを直接共有することなく、モデルを集合的に学習することを可能にする。 現在の最先端アルゴリズムは、クライアント間のローカルデータの均一性が増大するにつれて性能劣化に悩まされる。 我々はFedMixという名の新しい拡張アルゴリズムを提案し、これは驚くべきが単純なデータ拡張手法であるMixupにインスパイアされている。
  論文  参考訳（メタデータ） (2021-07-01T06:14:51Z)
• Rethinking Architecture Design for Tackling Data Heterogeneity in Federated Learning [53.73083199055093]
  注意に基づくアーキテクチャ(例えばTransformers)は、分散シフトに対してかなり堅牢であることを示す。 我々の実験は、畳み込みネットワークをトランスフォーマーに置き換えることによって、過去のデバイスを壊滅的に忘れることを大幅に減らせることを示した。
  論文  参考訳（メタデータ） (2021-06-10T21:04:18Z)
• Federated learning with class imbalance reduction [24.044750119251308]
  フェデレートラーニング(Federated Learning, FL)は、多数のエッジコンピューティングデバイスが協調してグローバルラーニングモデルをトレーニングすることを可能にする技術である。 プライバシー上の懸念から、デバイス上の生データは集中型サーバでは利用できない。 本稿では,生データを意識せずにクラス分布を明らかにするための推定手法を提案する。
  論文  参考訳（メタデータ） (2020-11-23T08:13:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。