論文の概要: FedDisco: Federated Learning with Discrepancy-Aware Collaboration

• arxiv url: http://arxiv.org/abs/2305.19229v1
• Date: Tue, 30 May 2023 17:20:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-31 14:46:57.125270
• Title: FedDisco: Federated Learning with Discrepancy-Aware Collaboration
• Title（参考訳）: feddisco: 疎結合なコラボレーションによる連合学習
• Authors: Rui Ye, Mingkai Xu, Jianyu Wang, Chenxin Xu,Siheng Chen, Yanfeng Wang
• Abstract要約: 離散性を考慮した協調学習(FedDisco)による新しいアグリゲーション手法を提案する。 当社のFedDiscoはいくつかの最先端の手法より優れており、多くの既存手法に簡単に組み込んでパフォーマンスをさらに向上させることができる。
• 参考スコア（独自算出の注目度）: 41.828780724903744
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This work considers the category distribution heterogeneity in federated learning. This issue is due to biased labeling preferences at multiple clients and is a typical setting of data heterogeneity. To alleviate this issue, most previous works consider either regularizing local models or fine-tuning the global model, while they ignore the adjustment of aggregation weights and simply assign weights based on the dataset size. However, based on our empirical observations and theoretical analysis, we find that the dataset size is not optimal and the discrepancy between local and global category distributions could be a beneficial and complementary indicator for determining aggregation weights. We thus propose a novel aggregation method, Federated Learning with Discrepancy-aware Collaboration (FedDisco), whose aggregation weights not only involve both the dataset size and the discrepancy value, but also contribute to a tighter theoretical upper bound of the optimization error. FedDisco also promotes privacy-preservation, communication and computation efficiency, as well as modularity. Extensive experiments show that our FedDisco outperforms several state-of-the-art methods and can be easily incorporated with many existing methods to further enhance the performance. Our code will be available at https://github.com/MediaBrain-SJTU/FedDisco.
• Abstract（参考訳）: 本研究は,連合学習におけるカテゴリー分布の不均一性について考察する。 この問題は、複数のクライアントでのバイアス付きラベリングの好みが原因であり、データの不均一性の典型的な設定である。 この問題を軽減するため、以前のほとんどの著作では、局所モデルを正規化するか、グローバルモデルを微調整するかを検討するが、集約重みの調整を無視し、データセットサイズに基づいて重みを割り当てるだけである。 しかし,実験的な観測と理論的分析から,データセットのサイズは最適ではなく,局所分布と大域分布の差は,集合重み付けを決定する上で有益かつ補完的な指標となりうることがわかった。 そこで本研究では,データセットサイズと不一致値の両方に集約重みが関係するだけでなく,最適化誤差のより厳密な理論的上限に寄与する,新たなアグリゲーション手法Federated Learning with Discrepancy-Aware Collaboration(FedDisco)を提案する。 FedDiscoはまた、モジュール性だけでなく、プライバシ保護、通信、計算効率も推進している。 大規模な実験により、我々のFedDiscoはいくつかの最先端の手法より優れており、多くの既存手法に簡単に組み込むことで、パフォーマンスをさらに向上できることがわかった。 私たちのコードはhttps://github.com/MediaBrain-SJTU/FedDisco.comで公開されます。

関連論文リスト

• FedLF: Adaptive Logit Adjustment and Feature Optimization in Federated Long-Tailed Learning [5.23984567704876]
  フェデレーション学習は、分散機械学習におけるプライバシの保護という課題にパラダイムを提供する。 伝統的なアプローチは、グローバルな長期データにおけるクラスワイドバイアスの現象に対処できない。 新しい手法であるFedLFは、適応ロジット調整、連続クラス中心最適化、特徴デコリレーションという、局所的なトレーニングフェーズに3つの修正を導入している。
  論文  参考訳（メタデータ） (2024-09-18T16:25:29Z)
• Beyond Similarity: Personalized Federated Recommendation with Composite Aggregation [22.359428566363945]
  フェデレーションレコメンデーションは、大規模なデバイスからローカルモデルを集約することで、グローバルな知識を集めることを目的としている。 現在の手法は主に、連合視覚コミュニティによって発明された集約関数を利用して、類似したクライアントからのパラメータを集約する。 複合アグリゲーション(FedCA)を用いたパーソナライズド・フェデレーション・レコメンデーション・モデルを提案する。
  論文  参考訳（メタデータ） (2024-06-06T10:17:52Z)
• Federated Learning under Partially Class-Disjoint Data via Manifold Reshaping [64.58402571292723]
  我々はFedMRと呼ばれる多様体再構成手法を提案し、局所訓練の特徴空間を校正する。 我々は、FedMRがはるかに高い精度と通信効率を達成することを示すために、さまざまなデータセットに関する広範な実験を行います。
  論文  参考訳（メタデータ） (2024-05-29T10:56:13Z)
• Exploiting Label Skews in Federated Learning with Model Concatenation [39.38427550571378]
  Federated Learning(FL)は、生データを交換することなく、さまざまなデータオーナでディープラーニングを実行するための、有望なソリューションとして登場した。 非IID型では、ラベルスキューは困難であり、画像分類やその他のタスクで一般的である。 我々は,これらの局所モデルをグローバルモデルの基礎として分解する,シンプルで効果的なアプローチであるFedConcatを提案する。
  論文  参考訳（メタデータ） (2023-12-11T10:44:52Z)
• Tackling Computational Heterogeneity in FL: A Few Theoretical Insights [68.8204255655161]
  我々は、計算異種データの形式化と処理を可能にする新しい集約フレームワークを導入し、分析する。 提案するアグリゲーションアルゴリズムは理論的および実験的予測から広範囲に解析される。
  論文  参考訳（メタデータ） (2023-07-12T16:28:21Z)
• FedGraph: an Aggregation Method from Graph Perspective [3.1236343261481165]
  フェデレートラーニング(FL)は、各クライアントのプライバシを保ちながら、モデルを協調的にトレーニングする効果的なソリューションとなっている。 FedAvgは標準アグリゲーションアルゴリズムであり、各クライアントのデータセットサイズの割合をアグリゲーションウェイトとする。 本稿では,局所モデルのトレーニング条件に応じてアグリゲーション重みを適応的に調整できるFedGraphを提案する。
  論文  参考訳（メタデータ） (2022-10-06T07:48:50Z)
• Towards Understanding and Mitigating Dimensional Collapse in Heterogeneous Federated Learning [112.69497636932955]
  フェデレートラーニングは、プライバシを考慮したデータ共有を必要とせずに、さまざまなクライアントでモデルをトレーニングすることを目的としている。 本研究では,データの不均一性がグローバル集約モデルの表現に与える影響について検討する。 フェデレーション学習における次元的崩壊を効果的に緩和する新しい手法である sc FedDecorr を提案する。
  論文  参考訳（メタデータ） (2022-10-01T09:04:17Z)
• Rethinking Data Heterogeneity in Federated Learning: Introducing a New Notion and Standard Benchmarks [65.34113135080105]
  我々は、現在のセットアップにおけるデータ不均一性の問題が必ずしも問題であるだけでなく、FL参加者にとって有益であることを示す。 私たちの観察は直感的である。 私たちのコードはhttps://github.com/MMorafah/FL-SC-NIIDで利用可能です。
  論文  参考訳（メタデータ） (2022-09-30T17:15:19Z)
• FedDRL: Deep Reinforcement Learning-based Adaptive Aggregation for Non-IID Data in Federated Learning [4.02923738318937]
  異なるエッジデバイス(クライアント)にまたがるローカルデータの不均一な分散は、フェデレート学習における遅いモデルトレーニングと精度の低下をもたらす。 この研究は、実世界のデータセット、すなわちクラスタスキューで発生する新しい非IID型を導入している。 我々は,各クライアントのインパクト要因を適応的に決定するために,深層強化学習を用いた新しいFLモデルであるFedDRLを提案する。
  論文  参考訳（メタデータ） (2022-08-04T04:24:16Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。