論文の概要: A Survey on Decentralized Federated Learning
- arxiv url: http://arxiv.org/abs/2308.04604v1
- Date: Tue, 8 Aug 2023 22:07:15 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-10 15:52:15.096929
- Title: A Survey on Decentralized Federated Learning
- Title(参考訳): 分散型連合学習に関する調査研究
- Authors: Edoardo Gabrielli, Giovanni Pica, Gabriele Tolomei
- Abstract要約: 近年、フェデレーション学習は、分散、大規模、プライバシ保護機械学習(ML)システムのトレーニングにおいて一般的なパラダイムとなっている。
典型的なFLシステムでは、中央サーバはオーケストレータとしてのみ機能し、各クライアントによって訓練されたすべてのローカルモデルを、収束するまで反復的に収集し集約する。
最も重要な課題の1つは、古典的なFLクライアントサーバアーキテクチャの集中的なオーケストレーションを克服することである。
すべてのFLクライアントが中央サーバなしで協力し、通信する分散FLソリューションが登場しました。
- 参考スコア(独自算出の注目度): 0.709016563801433
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In recent years, federated learning (FL) has become a very popular paradigm
for training distributed, large-scale, and privacy-preserving machine learning
(ML) systems. In contrast to standard ML, where data must be collected at the
exact location where training is performed, FL takes advantage of the
computational capabilities of millions of edge devices to collaboratively train
a shared, global model without disclosing their local private data.
Specifically, in a typical FL system, the central server acts only as an
orchestrator; it iteratively gathers and aggregates all the local models
trained by each client on its private data until convergence. Although FL
undoubtedly has several benefits over traditional ML (e.g., it protects private
data ownership by design), it suffers from several weaknesses. One of the most
critical challenges is to overcome the centralized orchestration of the
classical FL client-server architecture, which is known to be vulnerable to
single-point-of-failure risks and man-in-the-middle attacks, among others. To
mitigate such exposure, decentralized FL solutions have emerged where all FL
clients cooperate and communicate without a central server. This survey
comprehensively summarizes and reviews existing decentralized FL approaches
proposed in the literature. Furthermore, it identifies emerging challenges and
suggests promising research directions in this under-explored domain.
- Abstract(参考訳): 近年、フェデレーテッド・ラーニング(FL)は、分散、大規模、プライバシ保護機械学習(ML)システムのトレーニングにおいて、非常に一般的なパラダイムとなっている。
トレーニングが行われる正確な場所でデータを収集しなければならない標準的なMLとは対照的に、FLは数百万のエッジデバイスの計算能力を活用して、ローカルのプライベートデータを開示することなく、共有グローバルモデルを協調的にトレーニングする。
具体的には、典型的なflシステムでは、中央サーバはオーケストレータとしてのみ動作し、各クライアントがトレーニングしたすべてのローカルモデルを、収束するまでそのプライベートデータ上で反復的に収集し集約する。
FLは間違いなく従来のMLよりもいくつかの利点がある(例えば、設計によるプライベートデータ所有権を保護する)が、いくつかの弱点に悩まされている。
最も重要な課題の1つは、単一障害リスクや中間者攻撃に弱いことが知られている古典的なFLクライアントサーバアーキテクチャの集中的なオーケストレーションを克服することである。
このような露出を軽減するために、すべてのFLクライアントが中央サーバなしで協調して通信する分散FLソリューションが登場した。
この調査は、文献で提案されている既存の分散FLアプローチを包括的に要約し、レビューする。
さらに、新たな課題を特定し、この未調査領域における有望な研究方向性を提案する。
関連論文リスト
- A Framework for testing Federated Learning algorithms using an edge-like environment [0.0]
フェデレーテッド・ラーニング(FL)は、多くのクライアントが、データをプライベートかつ分散化しながら、単一の集中型モデルを協調的にトレーニングする機械学習パラダイムである。
グローバル集中型モデルアグリゲーションにおける局所モデルの貢献を正確に評価するのは簡単ではない。
これはFLにおける大きな挑戦の例であり、一般にデータ不均衡またはクラス不均衡として知られている。
本研究では,FLアルゴリズムをより容易かつスケーラブルに評価するためのフレームワークを提案し,実装した。
論文 参考訳(メタデータ) (2024-07-17T19:52:53Z) - Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。
FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。
そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
論文 参考訳(メタデータ) (2023-11-12T11:01:10Z) - Personalized Privacy-Preserving Framework for Cross-Silo Federated
Learning [0.0]
Federated Learning(FL)は有望な分散ディープラーニング(DL)フレームワークであり、プライベートデータを共有することなく、クライアント間で共同でトレーニングされたDLベースのアプローチを可能にする。
本稿では,PPPFL(Personalized Privacy-Preserving Federated Learning)という新しいフレームワークを提案する。
提案するフレームワークは,MNIST,Fashion-MNIST,CIFAR-10,CIFAR-100など,さまざまなデータセット上で複数のFLベースラインより優れている。
論文 参考訳(メタデータ) (2023-02-22T07:24:08Z) - Federated Learning with Privacy-Preserving Ensemble Attention
Distillation [63.39442596910485]
Federated Learning(FL)は、多くのローカルノードがトレーニングデータを分散化しながら、中央モデルを協調的にトレーニングする機械学習パラダイムである。
本稿では,未ラベル公開データを利用した一方向オフライン知識蒸留のためのプライバシー保護FLフレームワークを提案する。
我々の技術は、既存のFLアプローチのような分散的で異質なローカルデータを使用するが、より重要なのは、プライバシー漏洩のリスクを著しく低減することです。
論文 参考訳(メタデータ) (2022-10-16T06:44:46Z) - Better Methods and Theory for Federated Learning: Compression, Client
Selection and Heterogeneity [0.0]
フェデレートラーニング(Federated Learning, FL)は、携帯電話デバイスなど複数のクライアントが関与する機械学習パラダイムである。
本稿では,これらの課題のいくつかを特定し,数学的に厳密な保証によって支援された実用的FLソリューションの実現を究極の目標とする新しい手法とアルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-07-01T12:55:09Z) - DisPFL: Towards Communication-Efficient Personalized Federated Learning
via Decentralized Sparse Training [84.81043932706375]
本稿では,分散型(ピアツーピア)通信プロトコルであるDis-PFLにおいて,新たな個人化フェデレーション学習フレームワークを提案する。
Dis-PFLはパーソナライズされたスパースマスクを使用して、エッジ上のスパースローカルモデルをカスタマイズする。
本手法は,計算複雑性の異なる異種ローカルクライアントに容易に適応できることを実証する。
論文 参考訳(メタデータ) (2022-06-01T02:20:57Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳(メタデータ) (2022-03-05T02:31:32Z) - Local Learning Matters: Rethinking Data Heterogeneity in Federated
Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文 参考訳(メタデータ) (2021-11-28T19:03:39Z) - Semi-Supervised Federated Learning with non-IID Data: Algorithm and
System Design [42.63120623012093]
フェデレートラーニング(FL)は、エッジデバイス(またはクライアント)がデータをローカルに保持し、同時に共有グローバルモデルをトレーニングすることを可能にする。
クライアントのローカルトレーニングデータの分布は、非独立に均等に分散されている(非IID)
本稿では、FLにおけるデータ可用性と非IIDの問題を解決することを目的とした、堅牢な半教師付きFLシステム設計を提案する。
論文 参考訳(メタデータ) (2021-10-26T03:41:48Z) - WAFFLe: Weight Anonymized Factorization for Federated Learning [88.44939168851721]
データが機密性やプライベート性を持つドメインでは、ローカルデバイスを離れることなく、分散的に学習できるメソッドには大きな価値があります。
本稿では,フェデレートラーニングのためのウェイト匿名化因子化(WAFFLe)を提案する。これは,インド・バフェット・プロセスとニューラルネットワークの重み要因の共有辞書を組み合わせたアプローチである。
論文 参考訳(メタデータ) (2020-08-13T04:26:31Z) - Continual Local Training for Better Initialization of Federated Models [14.289213162030816]
フェデレートラーニング(Federated Learning、FL)とは、機械学習モデルを分散システムで直接訓練する学習パラダイムである。
一般的なFLアルゴリズムであるemphFederated Averaging (FedAvg)は重みのばらつきに悩まされている。
本稿では,この問題に対処するための局所的な継続的トレーニング戦略を提案する。
論文 参考訳(メタデータ) (2020-05-26T12:27:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。