論文の概要: A Decentralized Federated Learning Framework via Committee Mechanism
with Convergence Guarantee
- arxiv url: http://arxiv.org/abs/2108.00365v1
- Date: Sun, 1 Aug 2021 05:11:15 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-03 14:54:41.335982
- Title: A Decentralized Federated Learning Framework via Committee Mechanism
with Convergence Guarantee
- Title（参考訳）: 収束保証を伴う委員会機構による分散フェデレーション学習フレームワーク
- Authors: Chunjiang Che, Xiaoli Li, Chuan Chen, Xiaoyu He, Zibin Zheng
- Abstract要約: フェデレートラーニングは、ビザンツのクライアントからの攻撃を受けやすい。
本稿では,新しいサーバレスフェデレーション学習フレームワークを提案する。
実験の結果,CMFLは通常のフェデレート学習よりも早く収束し,精度が向上することがわかった。
- 参考スコア（独自算出の注目度）: 23.09776964764243
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning allows multiple participants to collaboratively train an
efficient model without exposing data privacy. However, this distributed
machine learning training method is prone to attacks from Byzantine clients,
which interfere with the training of the global model by modifying the model or
uploading the false gradient. In this paper, we propose a novel serverless
federated learning framework Committee Mechanism based Federated Learning
(CMFL), which can ensure the robustness of the algorithm with convergence
guarantee. In CMFL, a committee system is set up to screen the uploaded local
gradients. The committee system selects the local gradients rated by the
elected members for the aggregation procedure through the selection strategy,
and replaces the committee member through the election strategy. Based on the
different considerations of model performance and defense, two opposite
selection strategies are designed for the sake of both accuracy and robustness.
Extensive experiments illustrate that CMFL achieves faster convergence and
better accuracy than the typical Federated Learning, in the meanwhile obtaining
better robustness than the traditional Byzantine-tolerant algorithms, in the
manner of a decentralized approach. In addition, we theoretically analyze and
prove the convergence of CMFL under different election and selection
strategies, which coincides with the experimental results.
- Abstract（参考訳）: フェデレーション学習は、複数の参加者がデータプライバシを公開することなく、効率的にモデルをトレーニングすることを可能にする。
しかしながら、この分散機械学習トレーニング方法は、モデルの変更や誤った勾配のアップロードによってグローバルモデルのトレーニングを妨げるビザンチンクライアントからの攻撃に起因している。
本稿では,コンバージェンス保証によるアルゴリズムのロバスト性を保証するための,新しいサーバレスフェデレーション学習フレームワーク委員会機構に基づくフェデレーション学習(cmfl)を提案する。
CMFLでは、アップロードされた局所勾配を表示するために委員会システムが設置される。
委員会システムは、選考戦略を通じて、選出された委員が集計手続きのために評価した地域勾配を選択し、選挙戦略を通じて委員を置き換える。
モデル性能と防御の異なる考察に基づき、精度と堅牢性の両方のために2つの反対選択戦略を設計する。
広範囲にわたる実験は、CMFLが一般的なフェデレートラーニングよりも早く収束と精度の向上を実現し、一方、非集中的なアプローチで従来のビザンチン耐性アルゴリズムよりも優れた堅牢性を得ることを示した。
さらに,実験結果と一致する選挙戦略と選択戦略の異なるCMFLの収束を理論的に解析し,実証する。
関連論文リスト
- SFedCA: Credit Assignment-Based Active Client Selection Strategy for Spiking Federated Learning [15.256986486372407]
フェデレーション学習のスパイクにより、リソースに制約のあるデバイスは、ローカルデータを交換することなく、低消費電力で協調的にトレーニングできる。
既存のスパイキングフェデレーション学習手法では、クライアントのアグリゲーションに対してランダムな選択アプローチを採用しており、不偏なクライアントの参加を前提としている。
本研究では,グローバルなサンプル分布バランスに寄与するクライアントを鑑定するために,クレジット割当に基づくアクティブクライアント選択戦略であるSFedCAを提案する。
論文 参考訳（メタデータ） (2024-06-18T01:56:22Z) - Reinforcement Learning as a Catalyst for Robust and Fair Federated
Learning: Deciphering the Dynamics of Client Contributions [6.318638597489423]
Reinforcement Federated Learning (RFL)は、深い強化学習を活用して、集約中のクライアントコントリビューションを適応的に最適化する新しいフレームワークである。
堅牢性に関しては、RFLは同等の公平性を維持しつつ、最先端の手法よりも優れています。
論文 参考訳（メタデータ） (2024-02-08T10:22:12Z) - Combating Exacerbated Heterogeneity for Robust Models in Federated
Learning [91.88122934924435]
対人訓練と連合学習の組み合わせは、望ましくない頑丈さの劣化につながる可能性がある。
我々は、Slack Federated Adversarial Training (SFAT)と呼ばれる新しいフレームワークを提案する。
各種ベンチマークおよび実世界のデータセットに対するSFATの合理性と有効性を検証する。
論文 参考訳（メタデータ） (2023-03-01T06:16:15Z) - Safe Multi-agent Learning via Trapping Regions [89.24858306636816]
我々は、動的システムの定性理論から知られているトラップ領域の概念を適用し、分散学習のための共同戦略空間に安全セットを作成する。
本稿では,既知の学習力学を持つシステムにおいて,候補がトラップ領域を形成することを検証するための二分分割アルゴリズムと,学習力学が未知のシナリオに対するサンプリングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-02-27T14:47:52Z) - Personalizing Federated Learning with Over-the-Air Computations [84.8089761800994]
フェデレートされたエッジ学習は、プライバシー保護の方法で無線ネットワークのエッジにインテリジェンスをデプロイする、有望な技術である。
このような設定の下で、複数のクライアントは、エッジサーバの調整の下でグローバルジェネリックモデルを協調的にトレーニングする。
本稿では,アナログオーバー・ザ・エア計算を用いて通信ボトルネックに対処する分散トレーニングパラダイムを提案する。
論文 参考訳（メタデータ） (2023-02-24T08:41:19Z) - FedRC: Tackling Diverse Distribution Shifts Challenge in Federated Learning by Robust Clustering [4.489171618387544]
Federated Learning(FL)は、エッジデバイス上でクライアントデータを保持することによって、プライバシを保護する機械学習パラダイムである。
本稿では,多様な分布シフトの同時発生による学習課題を特定する。
提案するクラスタリングの原理に従う新しいクラスタリングアルゴリズムフレームワークであるFedRCを提案する。
論文 参考訳（メタデータ） (2023-01-29T06:50:45Z) - Fed-CBS: A Heterogeneity-Aware Client Sampling Mechanism for Federated
Learning via Class-Imbalance Reduction [76.26710990597498]
本研究では,ランダムに選択したクライアントからのグループデータのクラス不均衡が,性能の大幅な低下につながることを示す。
我々のキーとなる観測に基づいて、我々は効率的なクライアントサンプリング機構、すなわちフェデレートクラスバランスサンプリング(Fed-CBS)を設計する。
特に、クラス不均衡の尺度を提案し、その後、同型暗号化を用いてプライバシー保護方式でこの尺度を導出する。
論文 参考訳（メタデータ） (2022-09-30T05:42:56Z) - Communication-Efficient Consensus Mechanism for Federated Reinforcement
Learning [20.891460617583302]
FLは、トレーニング効率と安定性の観点から、IRLのポリシー性能を向上させることができることを示す。
本稿では,モデル収束性能の向上と,必要な通信や計算オーバーヘッドの低減のバランスをとるために,システムユーティリティ関数を提案する。
論文 参考訳（メタデータ） (2022-01-30T04:04:24Z) - The Gradient Convergence Bound of Federated Multi-Agent Reinforcement
Learning with Efficient Communication [20.891460617583302]
連立学習パラダイムにおける協調的意思決定のための独立強化学習(IRL)の検討
FLはエージェントとリモート中央サーバ間の過剰な通信オーバーヘッドを生成する。
本稿では,システムの実用性向上のための2つの高度な最適化手法を提案する。
論文 参考訳（メタデータ） (2021-03-24T07:21:43Z) - Edge-assisted Democratized Learning Towards Federated Analytics [67.44078999945722]
本稿では,エッジ支援型民主化学習機構であるEdge-DemLearnの階層的学習構造を示す。
また、Edge-DemLearnを柔軟なモデルトレーニングメカニズムとして検証し、リージョンに分散制御と集約の方法論を構築する。
論文 参考訳（メタデータ） (2020-12-01T11:46:03Z) - F2A2: Flexible Fully-decentralized Approximate Actor-critic for
Cooperative Multi-agent Reinforcement Learning [110.35516334788687]
分散マルチエージェント強化学習アルゴリズムは複雑なアプリケーションでは実践的でないことがある。
本稿では,大規模で汎用的なマルチエージェント設定を扱える,柔軟な完全分散型アクター批判型MARLフレームワークを提案する。
当社のフレームワークは,大規模環境におけるスケーラビリティと安定性を実現し,情報伝達を低減できる。
論文 参考訳（メタデータ） (2020-04-17T14:56:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。