論文の概要: Federated Learning via Consensus Mechanism on Heterogeneous Data: A New
Perspective on Convergence
- arxiv url: http://arxiv.org/abs/2311.12358v1
- Date: Tue, 21 Nov 2023 05:26:33 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-23 01:53:45.486837
- Title: Federated Learning via Consensus Mechanism on Heterogeneous Data: A New
Perspective on Convergence
- Title（参考訳）: 不均一データに対するコンセンサス機構による連合学習:収束に関する新しい視点
- Authors: Shu Zheng, Tiandi Ye, Xiang Li, Ming Gao
- Abstract要約: 異種データ(非IIDデータ)に関するフェデレートラーニング(FL)は近年注目されている。
我々は,各トレーニングラウンド後の各クライアントに対するリスク低減を強制するコンセンサス機構を導入するFedCOMEを提案する。
理論的には、コンセンサス機構は、グローバルな目的の収束を保証することができる。
- 参考スコア（独自算出の注目度）: 8.849947967636336
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) on heterogeneous data (non-IID data) has recently
received great attention. Most existing methods focus on studying the
convergence guarantees for the global objective. While these methods can
guarantee the decrease of the global objective in each communication round,
they fail to ensure risk decrease for each client. In this paper, to address
the problem,we propose FedCOME, which introduces a consensus mechanism to
enforce decreased risk for each client after each training round. In
particular, we allow a slight adjustment to a client's gradient on the server
side, which generates an acute angle between the corrected gradient and the
original ones of other clients. We theoretically show that the consensus
mechanism can guarantee the convergence of the global objective. To generalize
the consensus mechanism to the partial participation FL scenario, we devise a
novel client sampling strategy to select the most representative clients for
the global data distribution. Training on these selected clients with the
consensus mechanism could empirically lead to risk decrease for clients that
are not selected. Finally, we conduct extensive experiments on four benchmark
datasets to show the superiority of FedCOME against other state-of-the-art
methods in terms of effectiveness, efficiency and fairness. For
reproducibility, we make our source code publicly available at:
\url{https://github.com/fedcome/fedcome}.
- Abstract（参考訳）: 異種データ(非IIDデータ)のフェデレーション学習(FL)は近年注目されている。
既存の手法のほとんどは、グローバル目的の収束保証を研究することに焦点を当てている。
これらの手法は、各通信ラウンドにおけるグローバルな目標の減少を保証できるが、クライアント毎のリスク低減を保証できない。
本稿では,この問題に対処するため,各トレーニングラウンド後に各クライアントに対してリスクの低減を強制するコンセンサス機構を提案する。
特にサーバ側のクライアントの勾配を微調整することで,修正された勾配と他のクライアントの当初の勾配との間に鋭い角度を発生させる。
理論的には、コンセンサス機構は世界目標の収束を保証することができる。
コンセンサス機構を部分参加flシナリオに一般化するため,グローバルデータ配信において最も代表的なクライアントを選択するための新しいクライアントサンプリング戦略を考案する。
コンセンサス機構を備えたこれらの選択されたクライアントのトレーニングは、選択されていないクライアントのリスクを経験的に減少させる可能性がある。
最後に,FedCOMEの他の最先端手法に対する優位性を,有効性,効率性,公平性の観点から示すために,4つのベンチマークデータセットに対して広範な実験を行った。
再現性のために、私たちは次のようにソースコードを公開しています。
関連論文リスト
- Client-side Gradient Inversion Against Federated Learning from Poisoning [59.74484221875662]
フェデレートラーニング(FL)により、分散参加者は、データを中央サーバに直接共有することなく、グローバルモデルをトレーニングできる。
近年の研究では、FLは元のトレーニングサンプルの再構築を目的とした勾配反転攻撃(GIA)に弱いことが判明している。
本稿では,クライアント側から起動可能な新たな攻撃手法であるクライアント側中毒性グレーディエント・インバージョン(CGI)を提案する。
論文 参考訳（メタデータ） (2023-09-14T03:48:27Z) - Heterogeneous Federated Learning via Personalized Generative Networks [7.629157720712401]
フェデレートラーニング(FL)は、データを共有することなく、複数のクライアントが共通のグローバル機械学習モデルを構築することを可能にする。
本稿では,サーバがクライアント固有のジェネレータを訓練するクライアント間の知識伝達手法を提案する。
論文 参考訳（メタデータ） (2023-08-25T09:37:02Z) - Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。
その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。
我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
論文 参考訳（メタデータ） (2023-08-20T04:41:01Z) - Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-08-11T09:58:47Z) - Personalized Federated Learning via Amortized Bayesian Meta-Learning [21.126405589760367]
我々は,Amortized Bayesian Meta-Learningを通じて,パーソナライズド・フェデレーション・ラーニングの新しい視点を紹介する。
具体的には,クライアント間の階層的変動推論を用いたemphFedABMLという新しいアルゴリズムを提案する。
我々の理論解析は平均一般化誤差の上限を提供し、未知のデータに対する一般化性能を保証する。
論文 参考訳（メタデータ） (2023-07-05T11:58:58Z) - Re-Weighted Softmax Cross-Entropy to Control Forgetting in Federated
Learning [14.196701066823499]
フェデレートラーニング(Federated Learning)では、独立したクライアントノードの集合で計算されたモデル更新を集約することによって、グローバルモデルが学習される。
我々は、個々のクライアントモデルが、他のクライアントのデータに関して破滅的な忘れを経験していることを示します。
本稿では,損失の計算に先立ってソフトマックスのロジットを再重み付けすることで,クロスエントロピーの目標を周期的に修正する効率的な手法を提案する。
論文 参考訳（メタデータ） (2023-04-11T14:51:55Z) - Adaptive Federated Learning via New Entropy Approach [14.595709494370372]
Federated Learning (FL) は、分散機械学習フレームワークとして注目されている。
本稿では,不均一クライアント間のパラメータ偏差を軽減するために,entropy理論(FedEnt)に基づく適応型FEDerated Learningアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-03-27T07:57:04Z) - Beyond ADMM: A Unified Client-variance-reduced Adaptive Federated
Learning Framework [82.36466358313025]
我々はFedVRAと呼ばれる原始二重FLアルゴリズムを提案し、このアルゴリズムはグローバルモデルの分散還元レベルとバイアスを適応的に制御することができる。
半教師付き画像分類タスクに基づく実験は,既存の手法よりもFedVRAの方が優れていることを示す。
論文 参考訳（メタデータ） (2022-12-03T03:27:51Z) - PGFed: Personalize Each Client's Global Objective for Federated Learning [7.810284483002312]
本稿では,各クライアントが自身のグローバルな目的をパーソナライズ可能な,パーソナライズされたFLフレームワークを提案する。
大規模な(O(N2))通信オーバーヘッドと潜在的なプライバシリークを回避するため、各クライアントのリスクは、他のクライアントの適応的リスクアグリゲーションの1次近似によって推定される。
異なるフェデレーション条件下での4つのデータセットに対する実験により,従来の最先端手法よりも一貫したPGFの改良が示された。
論文 参考訳（メタデータ） (2022-12-02T21:16:39Z) - Fed-CBS: A Heterogeneity-Aware Client Sampling Mechanism for Federated
Learning via Class-Imbalance Reduction [76.26710990597498]
本研究では,ランダムに選択したクライアントからのグループデータのクラス不均衡が,性能の大幅な低下につながることを示す。
我々のキーとなる観測に基づいて、我々は効率的なクライアントサンプリング機構、すなわちフェデレートクラスバランスサンプリング(Fed-CBS)を設計する。
特に、クラス不均衡の尺度を提案し、その後、同型暗号化を用いてプライバシー保護方式でこの尺度を導出する。
論文 参考訳（メタデータ） (2022-09-30T05:42:56Z) - Towards Fair Federated Learning with Zero-Shot Data Augmentation [123.37082242750866]
フェデレーション学習は重要な分散学習パラダイムとして登場し、サーバはクライアントデータにアクセスせずに、多くのクライアントがトレーニングしたモデルからグローバルモデルを集約する。
本稿では, 統計的不均一性を緩和し, フェデレートネットワークにおけるクライアント間での精度向上を図るために, ゼロショットデータ拡張を用いた新しいフェデレーション学習システムを提案する。
Fed-ZDAC (クライアントでのゼロショットデータ拡張によるフェデレーション学習) と Fed-ZDAS (サーバでのゼロショットデータ拡張によるフェデレーション学習) の2種類について検討する。
論文 参考訳（メタデータ） (2021-04-27T18:23:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。