論文の概要: FedDisco: Federated Learning with Discrepancy-Aware Collaboration
- arxiv url: http://arxiv.org/abs/2305.19229v1
- Date: Tue, 30 May 2023 17:20:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-31 14:46:57.125270
- Title: FedDisco: Federated Learning with Discrepancy-Aware Collaboration
- Title(参考訳): feddisco: 疎結合なコラボレーションによる連合学習
- Authors: Rui Ye, Mingkai Xu, Jianyu Wang, Chenxin Xu,Siheng Chen, Yanfeng Wang
- Abstract要約: 離散性を考慮した協調学習(FedDisco)による新しいアグリゲーション手法を提案する。
当社のFedDiscoはいくつかの最先端の手法より優れており、多くの既存手法に簡単に組み込んでパフォーマンスをさらに向上させることができる。
- 参考スコア(独自算出の注目度): 41.828780724903744
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This work considers the category distribution heterogeneity in federated
learning. This issue is due to biased labeling preferences at multiple clients
and is a typical setting of data heterogeneity. To alleviate this issue, most
previous works consider either regularizing local models or fine-tuning the
global model, while they ignore the adjustment of aggregation weights and
simply assign weights based on the dataset size. However, based on our
empirical observations and theoretical analysis, we find that the dataset size
is not optimal and the discrepancy between local and global category
distributions could be a beneficial and complementary indicator for determining
aggregation weights. We thus propose a novel aggregation method, Federated
Learning with Discrepancy-aware Collaboration (FedDisco), whose aggregation
weights not only involve both the dataset size and the discrepancy value, but
also contribute to a tighter theoretical upper bound of the optimization error.
FedDisco also promotes privacy-preservation, communication and computation
efficiency, as well as modularity. Extensive experiments show that our FedDisco
outperforms several state-of-the-art methods and can be easily incorporated
with many existing methods to further enhance the performance. Our code will be
available at https://github.com/MediaBrain-SJTU/FedDisco.
- Abstract(参考訳): 本研究は,連合学習におけるカテゴリー分布の不均一性について考察する。
この問題は、複数のクライアントでのバイアス付きラベリングの好みが原因であり、データの不均一性の典型的な設定である。
この問題を軽減するため、以前のほとんどの著作では、局所モデルを正規化するか、グローバルモデルを微調整するかを検討するが、集約重みの調整を無視し、データセットサイズに基づいて重みを割り当てるだけである。
しかし,実験的な観測と理論的分析から,データセットのサイズは最適ではなく,局所分布と大域分布の差は,集合重み付けを決定する上で有益かつ補完的な指標となりうることがわかった。
そこで本研究では,データセットサイズと不一致値の両方に集約重みが関係するだけでなく,最適化誤差のより厳密な理論的上限に寄与する,新たなアグリゲーション手法Federated Learning with Discrepancy-Aware Collaboration(FedDisco)を提案する。
FedDiscoはまた、モジュール性だけでなく、プライバシ保護、通信、計算効率も推進している。
大規模な実験により、我々のFedDiscoはいくつかの最先端の手法より優れており、多くの既存手法に簡単に組み込むことで、パフォーマンスをさらに向上できることがわかった。
私たちのコードはhttps://github.com/MediaBrain-SJTU/FedDisco.comで公開されます。
関連論文リスト
- Exploiting Label Skews in Federated Learning with Model Concatenation [39.38427550571378]
Federated Learning(FL)は、生データを交換することなく、さまざまなデータオーナでディープラーニングを実行するための、有望なソリューションとして登場した。
非IID型では、ラベルスキューは困難であり、画像分類やその他のタスクで一般的である。
我々は,これらの局所モデルをグローバルモデルの基礎として分解する,シンプルで効果的なアプローチであるFedConcatを提案する。
論文 参考訳(メタデータ) (2023-12-11T10:44:52Z) - Federated Skewed Label Learning with Logits Fusion [23.062650578266837]
フェデレートラーニング(FL)は、ローカルデータを送信することなく、複数のクライアント間で共有モデルを協調的にトレーニングすることを目的としている。
本稿では,ロジットの校正により局所モデル間の最適化バイアスを補正するFedBalanceを提案する。
提案手法は最先端手法に比べて平均精度が13%高い。
論文 参考訳(メタデータ) (2023-11-14T14:37:33Z) - Tackling Computational Heterogeneity in FL: A Few Theoretical Insights [68.8204255655161]
我々は、計算異種データの形式化と処理を可能にする新しい集約フレームワークを導入し、分析する。
提案するアグリゲーションアルゴリズムは理論的および実験的予測から広範囲に解析される。
論文 参考訳(メタデータ) (2023-07-12T16:28:21Z) - FedGraph: an Aggregation Method from Graph Perspective [3.1236343261481165]
フェデレートラーニング(FL)は、各クライアントのプライバシを保ちながら、モデルを協調的にトレーニングする効果的なソリューションとなっている。
FedAvgは標準アグリゲーションアルゴリズムであり、各クライアントのデータセットサイズの割合をアグリゲーションウェイトとする。
本稿では,局所モデルのトレーニング条件に応じてアグリゲーション重みを適応的に調整できるFedGraphを提案する。
論文 参考訳(メタデータ) (2022-10-06T07:48:50Z) - Towards Understanding and Mitigating Dimensional Collapse in
Heterogeneous Federated Learning [114.32726625370258]
フェデレートラーニングは、プライバシを考慮したデータ共有を必要とせずに、さまざまなクライアントでモデルをトレーニングすることを目的としている。
本研究では,データの不均一性がグローバル集約モデルの表現に与える影響について検討する。
フェデレーション学習における次元的崩壊を効果的に緩和する新しい手法である sc FedDecorr を提案する。
論文 参考訳(メタデータ) (2022-10-01T09:04:17Z) - Rethinking Data Heterogeneity in Federated Learning: Introducing a New
Notion and Standard Benchmarks [65.34113135080105]
我々は、現在のセットアップにおけるデータ不均一性の問題が必ずしも問題であるだけでなく、FL参加者にとって有益であることを示す。
私たちの観察は直感的である。
私たちのコードはhttps://github.com/MMorafah/FL-SC-NIIDで利用可能です。
論文 参考訳(メタデータ) (2022-09-30T17:15:19Z) - FedDRL: Deep Reinforcement Learning-based Adaptive Aggregation for
Non-IID Data in Federated Learning [4.02923738318937]
異なるエッジデバイス(クライアント)にまたがるローカルデータの不均一な分散は、フェデレート学習における遅いモデルトレーニングと精度の低下をもたらす。
この研究は、実世界のデータセット、すなわちクラスタスキューで発生する新しい非IID型を導入している。
我々は,各クライアントのインパクト要因を適応的に決定するために,深層強化学習を用いた新しいFLモデルであるFedDRLを提案する。
論文 参考訳(メタデータ) (2022-08-04T04:24:16Z) - Local Learning Matters: Rethinking Data Heterogeneity in Federated
Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文 参考訳(メタデータ) (2021-11-28T19:03:39Z) - FedMix: Approximation of Mixup under Mean Augmented Federated Learning [60.503258658382]
フェデレートラーニング(FL)は、エッジデバイスが各デバイス内でデータを直接共有することなく、モデルを集合的に学習することを可能にする。
現在の最先端アルゴリズムは、クライアント間のローカルデータの均一性が増大するにつれて性能劣化に悩まされる。
我々はFedMixという名の新しい拡張アルゴリズムを提案し、これは驚くべきが単純なデータ拡張手法であるMixupにインスパイアされている。
論文 参考訳(メタデータ) (2021-07-01T06:14:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。