論文の概要: DeFTA: A Plug-and-Play Decentralized Replacement for FedAvg
- arxiv url: http://arxiv.org/abs/2204.02632v1
- Date: Wed, 6 Apr 2022 07:20:31 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-07 14:55:35.340141
- Title: DeFTA: A Plug-and-Play Decentralized Replacement for FedAvg
- Title（参考訳）: DeFTA: FedAvgのプラグインとプレイの分散リプレース
- Authors: Yuhao Zhou, Minjia Shi, Yuxin Tian, Qing Ye, Jiancheng Lv
- Abstract要約: 我々は、FedAvgのプラグアンドプレイ代替として、分散フェデレート信頼平均化(DeFTA)を提案する。
DeFTAは、インストール後のフェデレーション学習プロセスに、より優れたセキュリティ、スケーラビリティ、フォールトトレランスを提供する。
- 参考スコア（独自算出の注目度）: 28.255536979484518
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) is identified as a crucial enabler for large-scale
distributed machine learning (ML) without the need for local raw dataset
sharing, substantially reducing privacy concerns and alleviating the isolated
data problem. In reality, the prosperity of FL is largely due to a centralized
framework called FedAvg, in which workers are in charge of model training and
servers are in control of model aggregation. However, FedAvg's centralized
worker-server architecture has raised new concerns, be it the low scalability
of the cluster, the risk of data leakage, and the failure or even defection of
the central server. To overcome these problems, we propose Decentralized
Federated Trusted Averaging (DeFTA), a decentralized FL framework that serves
as a plug-and-play replacement for FedAvg, instantly bringing better security,
scalability, and fault-tolerance to the federated learning process after
installation. In principle, it fundamentally resolves the above-mentioned
issues from an architectural perspective without compromises or tradeoffs,
primarily consisting of a new model aggregating formula with theoretical
performance analysis, and a decentralized trust system (DTS) to greatly improve
system robustness. Note that since DeFTA is an alternative to FedAvg at the
framework level, \textit{prevalent algorithms published for FedAvg can be also
utilized in DeFTA with ease}. Extensive experiments on six datasets and six
basic models suggest that DeFTA not only has comparable performance with FedAvg
in a more realistic setting, but also achieves great resilience even when 66%
of workers are malicious. Furthermore, we also present an asynchronous variant
of DeFTA to endow it with more powerful usability.
- Abstract（参考訳）: フェデレーション学習(fl)は、ローカルな生データセットの共有を必要とせず、プライバシの懸念を実質的に軽減し、分離されたデータ問題を軽減するために、大規模分散機械学習(ml)にとって重要な実現手段である。
FLの繁栄は、主にFedAvgと呼ばれる集中型のフレームワークによるもので、労働者がモデルトレーニングを担当し、サーバがモデルアグリゲーションを制御している。
しかしながら、FedAvgの集中型ワーカサーバアーキテクチャは、クラスタのスケーラビリティの低さ、データリークのリスク、中央サーバの障害や障害など、新たな懸念を提起している。
これらの問題を解決するために、我々は、FedAvgのプラグアンドプレイ代替として機能する分散FLフレームワークであるDeFTA(Decentralized Federated Trusted Averaging)を提案し、インストール後のフェデレート学習プロセスに即時、より優れたセキュリティ、スケーラビリティ、フォールトトレランスをもたらす。
原則として、上述した問題を妥協やトレードオフなしにアーキテクチャの観点から根本的に解決し、主に理論的なパフォーマンス分析を伴う新たなモデル集約式と、システムの堅牢性を大幅に改善するための分散信頼システム(DTS)から構成される。
フレームワークレベルでは、DeFTAはFedAvgの代替となるので、FedAvg向けに発行された \textit{prevalent algorithm もDeFTAで簡単に利用できる。
6つのデータセットと6つの基本モデルに関する大規模な実験は、DeFTAがより現実的な環境でFedAvgと同等のパフォーマンスを持つだけでなく、労働者の66%が悪意がある場合でも大きなレジリエンスを達成することを示唆している。
さらに、より強力なユーザビリティを備えたDeFTAの非同期版も提示します。
関連論文リスト
- Byzantine-Robust Decentralized Federated Learning [30.33876141358171]
フェデレーション・ラーニング(FL)は、複数のクライアントがプライベートデータを公開せずに、共同で機械学習モデルをトレーニングすることを可能にする。
分散学習(DFL)アーキテクチャは、クライアントがサーバーレスとピアツーピアの方法でモデルを協調的にトレーニングできるように提案されている。
悪意のあるクライアントは、近隣のクライアントに慎重に構築されたローカルモデルを送信することでシステムを操作できる。
本稿では,DFLにおける毒殺対策として,BALANCE (Byzantine-robust averaging through local similarity in decentralization) というアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-06-14T21:28:37Z) - FedCore: Straggler-Free Federated Learning with Distributed Coresets [12.508327794236209]
FedCoreは、コアセットの分散選択を通じてストラグラー問題に取り組むアルゴリズムである。
コアセット最適化問題をよりトラクタブルなk-メロイドクラスタリング問題に変換し、各クライアント上で分散運用する。
理論的解析によりFedCoreの収束が確認され、実際の評価ではFLトレーニング時間の8倍の短縮が示されている。
論文 参考訳（メタデータ） (2024-01-31T22:40:49Z) - Blockchain-enabled Trustworthy Federated Unlearning [50.01101423318312]
フェデレートアンラーニング(Federated Unlearning)は、分散クライアントのデータオーナシップを保護するための、有望なパラダイムである。
既存の作業では、分散クライアントからの履歴モデルパラメータを保持するために、中央サーバが必要である。
本稿では,ブロックチェーンによる信頼性の高いフェデレーションアンラーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2024-01-29T07:04:48Z) - FedRFQ: Prototype-Based Federated Learning with Reduced Redundancy,
Minimal Failure, and Enhanced Quality [41.88338945821504]
FedRFQはプロトタイプベースのフェデレーション学習アプローチであり、冗長性を低減し、失敗を最小限に抑え、下位品質を改善することを目的としている。
本稿では,BFT (Byzantine Fault Tolerance) 検出可能な集約アルゴリズムであるBFT-detectを導入する。
論文 参考訳（メタデータ） (2024-01-15T09:50:27Z) - AEDFL: Efficient Asynchronous Decentralized Federated Learning with
Heterogeneous Devices [61.66943750584406]
異種環境におけるAEDFL(Asynchronous Efficient Decentralized FL framework)を提案する。
まず、FL収束を改善するための効率的なモデル集約手法を用いた非同期FLシステムモデルを提案する。
次に,より優れた精度を実現するために,動的安定化を考慮したモデル更新手法を提案する。
第3に,通信コストと計算コストを大幅に削減する適応スパース学習法を提案する。
論文 参考訳（メタデータ） (2023-12-18T05:18:17Z) - Advancing Federated Learning in 6G: A Trusted Architecture with
Graph-based Analysis [6.192092124154705]
フェデレートラーニング(FL)は潜在的なパラダイムであり、中央サーバの調整の下でさまざまなデバイスにわたる分散AIモデルトレーニングを促進する。
本研究は,DLT(Distributed Ledger Technology)とGNN(Graph Neural Network)を利用したFLをサポートするための信頼性の高いアーキテクチャを提案する。
新たなアーキテクチャの実現性はシミュレーションにより検証され, 異常モデル検出における性能向上と, 関連するベースラインと比較して大域的モデル精度が向上した。
論文 参考訳（メタデータ） (2023-09-11T15:10:41Z) - FedWon: Triumphing Multi-domain Federated Learning Without Normalization [50.49210227068574]
フェデレートラーニング(FL)は、分散クライアントでの協調的なインサイトトレーニングによって、データのプライバシを高める。
しかし、フェデレーテッド・ラーニング(FL)は、非独立で同一に分散された(非i.d)データのために困難に直面する。
本稿では,FLにおける多領域問題に対処するため,FedWon(Federated Learning Without normalizations)と呼ばれる新しい手法を提案する。
論文 参考訳（メタデータ） (2023-06-09T13:18:50Z) - FedSkip: Combatting Statistical Heterogeneity with Federated Skip
Aggregation [95.85026305874824]
我々はFedSkipと呼ばれるデータ駆動型アプローチを導入し、フェデレーション平均化を定期的にスキップし、ローカルモデルをクロスデバイスに分散することで、クライアントの最適化を改善する。
我々は、FedSkipがはるかに高い精度、より良いアグリゲーション効率、競合する通信効率を達成することを示すために、さまざまなデータセットに関する広範な実験を行う。
論文 参考訳（メタデータ） (2022-12-14T13:57:01Z) - Separation of Powers in Federated Learning [5.966064140042439]
フェデレーテッド・ラーニング(FL)は、相互不信者間の協調的なトレーニングを可能にする。
最近の攻撃は、明らかに"衛生化"されたモデル更新から大量のトレーニングデータを再構築した。
我々は,信頼性の高い分散集約アーキテクチャを用いた新しいクロスサイロFLシステムであるTRUDAを紹介する。
論文 参考訳（メタデータ） (2021-05-19T21:00:44Z) - Blockchain Assisted Decentralized Federated Learning (BLADE-FL):
Performance Analysis and Resource Allocation [119.19061102064497]
ブロックチェーンをFL、すなわちブロックチェーン支援分散学習(BLADE-FL)に統合することで、分散FLフレームワークを提案する。
提案されたBLADE-FLのラウンドでは、各クライアントはトレーニング済みモデルを他のクライアントにブロードキャストし、受信したモデルに基づいてブロックを生成し、次のラウンドのローカルトレーニングの前に生成されたブロックからモデルを集約します。
遅延クライアントがblade-flの学習性能に与える影響を調査し,最適なk,学習パラメータ,遅延クライアントの割合の関係を特徴付ける。
論文 参考訳（メタデータ） (2021-01-18T07:19:08Z) - Blockchain Assisted Decentralized Federated Learning (BLADE-FL) with
Lazy Clients [124.48732110742623]
フェデレートラーニング(FL)にブロックチェーンを統合する新しいフレームワークを提案する。
BLADE-FLは、プライバシー保護、改ざん抵抗、学習の効果的な協力の点で優れたパフォーマンスを持っている。
遅延クライアントは、他人のトレーニングされたモデルを盗聴し、不正行為を隠すために人工的なノイズを加える。
論文 参考訳（メタデータ） (2020-12-02T12:18:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。