論文の概要: Heterogeneous Federated Learning: State-of-the-art and Research
Challenges
- arxiv url: http://arxiv.org/abs/2307.10616v2
- Date: Fri, 8 Sep 2023 07:19:22 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-11 17:45:31.203265
- Title: Heterogeneous Federated Learning: State-of-the-art and Research
Challenges
- Title(参考訳): 不均一フェデレーション学習の現状と研究課題
- Authors: Mang Ye, Xiuwen Fang, Bo Du, Pong C. Yuen, Dacheng Tao
- Abstract要約: 不均一フェデレートラーニング(HFL)はより困難であり、それに対応するソリューションは多様で複雑である。
HFLの新たな進歩を概説し,既存のHFL手法の新たな分類法を提案する。
HFLにおけるいくつかの重要かつ将来的な研究方向性について論じる。
- 参考スコア(独自算出の注目度): 117.77132819796105
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) has drawn increasing attention owing to its potential
use in large-scale industrial applications. Existing federated learning works
mainly focus on model homogeneous settings. However, practical federated
learning typically faces the heterogeneity of data distributions, model
architectures, network environments, and hardware devices among participant
clients. Heterogeneous Federated Learning (HFL) is much more challenging, and
corresponding solutions are diverse and complex. Therefore, a systematic survey
on this topic about the research challenges and state-of-the-art is essential.
In this survey, we firstly summarize the various research challenges in HFL
from five aspects: statistical heterogeneity, model heterogeneity,
communication heterogeneity, device heterogeneity, and additional challenges.
In addition, recent advances in HFL are reviewed and a new taxonomy of existing
HFL methods is proposed with an in-depth analysis of their pros and cons. We
classify existing methods from three different levels according to the HFL
procedure: data-level, model-level, and server-level. Finally, several critical
and promising future research directions in HFL are discussed, which may
facilitate further developments in this field. A periodically updated
collection on HFL is available at https://github.com/marswhu/HFL_Survey.
- Abstract(参考訳): フェデレーテッド・ラーニング(FL)は、大規模産業用途での利用の可能性から注目を集めている。
既存のフェデレーション学習は主にモデル均質な設定に焦点を当てている。
しかし、実践的なフェデレーション学習は、典型的には、データ分散、モデルアーキテクチャ、ネットワーク環境、ハードウェア機器の異種性に直面する。
不均一フェデレートラーニング(HFL)はより困難であり、それに対応するソリューションは多様で複雑である。
したがって、研究課題と最先端技術に関する体系的な調査が不可欠である。
本稿では,まず,HFLにおける様々な研究課題について,統計的異質性,モデル異質性,通信異質性,デバイス異質性,その他の課題の5つの側面から要約する。
さらに,近年のHFLの進歩を概観し,既存のHFL手法の新たな分類法を提案し,その長所と短所の詳細な分析を行った。
我々は既存のメソッドを,データレベル,モデルレベル,サーバレベルという3つの異なるレベルから分類する。
最後に、この分野のさらなる発展を促進するため、hflにおけるいくつかの批判的かつ有望な今後の研究方向について論じる。
HFLの定期的に更新されたコレクションはhttps://github.com/marswhu/HFL_Survey.comで入手できる。
関連論文リスト
- SoK: Challenges and Opportunities in Federated Unlearning [36.005836768603935]
本論文は、この新興分野における研究動向と課題を特定することを目的として、未学習の未学習文学を深く研究することを目的としている。
論文 参考訳(メタデータ) (2024-03-04T19:35:08Z) - Federated Learning for Generalization, Robustness, Fairness: A Survey
and Benchmark [55.898771405172155]
フェデレートラーニングは、異なる当事者間のプライバシー保護コラボレーションのための有望なパラダイムとして登場した。
我々は,連合学習研究の重要かつ最近の展開を体系的に概観する。
論文 参考訳(メタデータ) (2023-11-12T06:32:30Z) - Deep Equilibrium Models Meet Federated Learning [71.57324258813675]
本研究では,従来の深層学習ネットワークの代わりにDeep Equilibrium(DEQ)モデルを用いて,フェデレートラーニング(FL)問題について検討する。
我々は、DECモデルをフェデレート学習フレームワークに組み込むことで、FLのいくつかのオープンな問題に自然に対処できると主張している。
我々の知る限りでは、この研究は、DECモデルとフェデレーションラーニングの関連性を確立する最初のものである。
論文 参考訳(メタデータ) (2023-05-29T22:51:40Z) - FS-Real: Towards Real-World Cross-Device Federated Learning [60.91678132132229]
Federated Learning (FL)は、ローカルデータをアップロードすることなく、分散クライアントと協調して高品質なモデルをトレーニングすることを目的としている。
FL研究と実世界のシナリオの間には依然としてかなりのギャップがあり、主に異種デバイスの特徴とそのスケールによって引き起こされている。
本稿では,実世界横断デバイスFL,FS-Realのための効率的でスケーラブルなプロトタイピングシステムを提案する。
論文 参考訳(メタデータ) (2023-03-23T15:37:17Z) - A Survey on Heterogeneous Federated Learning [12.395474890081232]
フェデレートラーニング(FL)は、データプライバシを保護し、プライバシとセキュリティを侵害することなく、組織間のモデルを協調的にトレーニングすることで、独立したデータサイロを組み立てることを目的としている。
しかし、FLはデータ空間、統計、システム不均一性など不均一な側面に直面している。
本稿では,問題設定と学習目的に応じて,各種類の不均一性に対する不均一なFL設定の正確な分類法を提案する。
論文 参考訳(メタデータ) (2022-10-10T09:16:43Z) - Vertical Federated Learning: Challenges, Methodologies and Experiments [38.810479257782454]
垂直学習(VFL)は、異なるクライアントからサブモデルを受け入れることで、ハイパーMLモデルを構築することができる。
本稿では,VFLにおける課題を効果的に解決し,実生活データセット上で実験を行う。
論文 参考訳(メタデータ) (2022-02-09T06:56:41Z) - System Optimization in Synchronous Federated Training: A Survey [4.8345307057837354]
プライバシー保護的な方法での協調機械学習は、フェデレートラーニング(FL)と呼ばれる新しい機械学習パラダイムを生み出します。
十分なレベルのプライバシー保証が与えられた場合、FLシステムの実用性は、トレーニングプロセス中の時間と精度のパフォーマンスに大きく依存する。
従来の分散トレーニングと多少似ているが、FLにはより短い時間から正確性への最適化を複雑にする4つの異なる課題がある。
論文 参考訳(メタデータ) (2021-09-09T02:31:29Z) - Heterogeneous Representation Learning: A Review [66.12816399765296]
不均一表現学習(HRL)には、いくつかの独特な課題がある。
異種入力を用いて既存の学習環境をモデル化可能な統合学習フレームワークを提案する。
HRLでは触れられていない課題と今後の研究方向性を強調します。
論文 参考訳(メタデータ) (2020-04-28T05:12:31Z) - Adversarial Feature Hallucination Networks for Few-Shot Learning [84.31660118264514]
Adversarial Feature Hallucination Networks (AFHN) は条件付き Wasserstein Generative Adversarial Network (cWGAN) に基づいている。
合成された特徴の識別性と多様性を促進するために、2つの新規レギュレータがAFHNに組み込まれている。
論文 参考訳(メタデータ) (2020-03-30T02:43:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。