論文の概要: DeFL: Decentralized Weight Aggregation for Cross-silo Federated Learning
- arxiv url: http://arxiv.org/abs/2208.00848v1
- Date: Mon, 1 Aug 2022 13:36:49 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-02 14:16:05.052751
- Title: DeFL: Decentralized Weight Aggregation for Cross-silo Federated Learning
- Title（参考訳）: DeFL: クロスサイロ・フェデレーション学習のための分散重み集約
- Authors: Jialiang Han, Yudong Han, Gang Huang, Yun Ma
- Abstract要約: フェデレートラーニング(FL)は、プライバシ保護機械学習(ML)の新たなパラダイムである。
クロスサイロFLのための分散重み集約フレームワークであるDeFLを提案する。
DeFLは各ノードの重みを集約することで中央サーバを排除し、現在のトレーニングラウンドのみの重みはすべてのノード間で維持および同期される。
- 参考スコア（独自算出の注目度）: 2.43923223501858
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Federated learning (FL) is an emerging promising paradigm of
privacy-preserving machine learning (ML). An important type of FL is cross-silo
FL, which enables a small scale of organizations to cooperatively train a
shared model by keeping confidential data locally and aggregating weights on a
central parameter server. However, the central server may be vulnerable to
malicious attacks or software failures in practice. To address this issue, in
this paper, we propose DeFL, a novel decentralized weight aggregation framework
for cross-silo FL. DeFL eliminates the central server by aggregating weights on
each participating node and weights of only the current training round are
maintained and synchronized among all nodes. We use Multi-Krum to enable
aggregating correct weights from honest nodes and use HotStuff to ensure the
consistency of the training round number and weights among all nodes. Besides,
we theoretically analyze the Byzantine fault tolerance, convergence, and
complexity of DeFL. We conduct extensive experiments over two widely-adopted
public datasets, i.e. CIFAR-10 and Sentiment140, to evaluate the performance of
DeFL. Results show that DeFL defends against common threat models with minimal
accuracy loss, and achieves up to 100x reduction in storage overhead and up to
12x reduction in network overhead, compared to state-of-the-art decentralized
FL approaches.
- Abstract（参考訳）: Federated Learning(FL)は、プライバシ保護機械学習(ML)の新たなパラダイムである。
重要なタイプのflはcross-silo flであり、秘密データをローカルに保持し、中央のパラメータサーバに重みを集約することで、小規模の組織が協調的に共有モデルを訓練できる。
しかし、中央サーバーは、実際には悪意のある攻撃やソフトウェア障害に弱い可能性がある。
そこで本稿では,クロスサイロFLのための分散重み集約フレームワークであるDeFLを提案する。
DeFLは各ノードの重みを集約することで中央サーバを排除し、現在のトレーニングラウンドのみの重みはすべてのノード間で維持および同期される。
我々はMulti-Krumを使って、正直なノードから正しい重みを集約し、HotStuffを使ってトレーニングラウンド数と重みの整合性を確保する。
さらに,DeFLの耐ビザンチン性,収束性,複雑さを理論的に解析した。
deflの性能を評価するために,広く採用されている2つの公開データセット,すなわちcifar-10とcmm140について広範な実験を行った。
結果は、deflは最小の精度損失で共通の脅威モデルに対して防御し、最先端の分散flアプローチと比較して、ストレージオーバーヘッドの最大100倍、ネットワークオーバーヘッドの最大12倍の削減を達成していることを示している。
関連論文リスト
- Decentralized Personalized Federated Learning based on a Conditional Sparse-to-Sparser Scheme [5.5058010121503]
分散連邦学習(DFL)は、その堅牢性と集中的調整の回避によって人気を博している。
本稿では, DA-DPFL という新しいテクスチャパース・ツー・スパーサー・トレーニング手法を提案する。
実験の結果, DA-DPFLはDFLのベースラインの精度を大幅に上回り, エネルギーコストの最大5ドル削減を実現していることがわかった。
論文 参考訳（メタデータ） (2024-04-24T16:03:34Z) - Communication Efficient ConFederated Learning: An Event-Triggered SAGA
Approach [67.27031215756121]
Federated Learning(FL)は、さまざまなデータソース上のローカルデータを収集することなく、モデルトレーニングをターゲットとする機械学習パラダイムである。
単一のサーバを使用するStandard FLは、限られた数のユーザしかサポートできないため、学習能力の低下につながる。
本研究では,多数のユーザに対応するために,emphConfederated Learning(CFL)と呼ばれるマルチサーバFLフレームワークを検討する。
論文 参考訳（メタデータ） (2024-02-28T03:27:10Z) - Hierarchical Personalized Federated Learning Over Massive Mobile Edge
Computing Networks [95.39148209543175]
大規模MECネットワーク上でPFLをデプロイするアルゴリズムである階層型PFL(HPFL)を提案する。
HPFLは、最適帯域割り当てを共同で決定しながら、トレーニング損失最小化とラウンドレイテンシ最小化の目的を組み合わせる。
論文 参考訳（メタデータ） (2023-03-19T06:00:05Z) - Improving the Model Consistency of Decentralized Federated Learning [68.2795379609854]
フェデレートラーニング(FL)は中央サーバーを捨て、各クライアントは、分散化された通信ネットワークで隣人とのみ通信する。
既存のDFLは、ローカルクライアント間の不整合に悩まされ、FLFLに比べて劣る。
DFedSAMMGSを提案する。1lambda$はスペクトルゴシップ行列であり、$Q$はスパースデータギャップの数である。
論文 参考訳（メタデータ） (2023-02-08T14:37:34Z) - How Much Does It Cost to Train a Machine Learning Model over Distributed
Data Sources? [4.222078489059043]
フェデレーション学習は、デバイスが生データを共有せずに機械学習モデルをトレーニングすることを可能にする。
ゴシップフェデレーションラーニング(GFL)やブロックチェーン対応フェデレーションラーニング(BFL)のようなサーバーレスFLアプローチは、これらの問題を緩和するために提案されている。
GFLはトレーニング時間の18%、エネルギーの68%、データをCFLソリューションで共有する51%を節約できるが、CFLの精度に達することはできない。
BFLは、余分なエネルギー使用とデータ共有を犠牲にして、より高いレベルのセキュリティで分散学習を実装するための実行可能なソリューションである。
論文 参考訳（メタデータ） (2022-09-15T08:13:40Z) - Achieving Personalized Federated Learning with Sparse Local Models [75.76854544460981]
フェデレートラーニング(FL)は異種分散データに対して脆弱である。
この問題に対処するため、個人ごとに専用のローカルモデルを作成するためにパーソナライズされたFL(PFL)が提案された。
既存のPFLソリューションは、異なるモデルアーキテクチャに対する不満足な一般化を示すか、あるいは膨大な余分な計算とメモリを犠牲にするかのどちらかである。
我々は、パーソナライズされたスパースマスクを用いて、エッジ上のスパースローカルモデルをカスタマイズする新しいPFLスキームFedSpaを提案する。
論文 参考訳（メタデータ） (2022-01-27T08:43:11Z) - Blockchain Assisted Decentralized Federated Learning (BLADE-FL):
Performance Analysis and Resource Allocation [119.19061102064497]
ブロックチェーンをFL、すなわちブロックチェーン支援分散学習(BLADE-FL)に統合することで、分散FLフレームワークを提案する。
提案されたBLADE-FLのラウンドでは、各クライアントはトレーニング済みモデルを他のクライアントにブロードキャストし、受信したモデルに基づいてブロックを生成し、次のラウンドのローカルトレーニングの前に生成されたブロックからモデルを集約します。
遅延クライアントがblade-flの学習性能に与える影響を調査し,最適なk,学習パラメータ,遅延クライアントの割合の関係を特徴付ける。
論文 参考訳（メタデータ） (2021-01-18T07:19:08Z) - Blockchain Assisted Decentralized Federated Learning (BLADE-FL) with
Lazy Clients [124.48732110742623]
フェデレートラーニング(FL)にブロックチェーンを統合する新しいフレームワークを提案する。
BLADE-FLは、プライバシー保護、改ざん抵抗、学習の効果的な協力の点で優れたパフォーマンスを持っている。
遅延クライアントは、他人のトレーニングされたモデルを盗聴し、不正行為を隠すために人工的なノイズを加える。
論文 参考訳（メタデータ） (2020-12-02T12:18:27Z) - GFL: A Decentralized Federated Learning Framework Based On Blockchain [15.929643607462353]
ブロックチェーンに基づく分散FLフレームワークであるGalaxy Federated Learning Framework(GFL)を提案する。
GFLは、通信性能を向上させるために一貫したハッシュアルゴリズムを導入し、分散FL性能と帯域幅利用を改善するために、新しいリング分散FLアルゴリズム(RDFL)を提案する。
実験により、GFLは、悪意のあるノードと非独立で同一に分散した(Non-IID)データセットのデータ汚染下で、通信性能と分散FL性能を改善した。
論文 参考訳（メタデータ） (2020-10-21T13:36:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。