論文の概要: Balancing Similarity and Complementarity for Federated Learning

• arxiv url: http://arxiv.org/abs/2405.09892v1
• Date: Thu, 16 May 2024 08:16:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-17 14:51:34.652927
• Title: Balancing Similarity and Complementarity for Federated Learning
• Title（参考訳）: フェデレーション学習における類似性と相補性とのバランス
• Authors: Kunda Yan, Sen Cui, Abudukelimu Wuerkaixi, Jingfeng Zhang, Bo Han, Gang Niu, Masashi Sugiyama, Changshui Zhang,
• Abstract要約: フェデレートラーニング(FL)は、モバイルとIoTシステムにおいてますます重要になっている。 FLの重要な課題の1つは、非i.d.データのような統計的不均一性を管理することである。 FL協調における類似性と相補性のバランスをとる新しいフレームワークである texttFedSaC を導入する。
• 参考スコア（独自算出の注目度）: 91.65503655796603
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In mobile and IoT systems, Federated Learning (FL) is increasingly important for effectively using data while maintaining user privacy. One key challenge in FL is managing statistical heterogeneity, such as non-i.i.d. data, arising from numerous clients and diverse data sources. This requires strategic cooperation, often with clients having similar characteristics. However, we are interested in a fundamental question: does achieving optimal cooperation necessarily entail cooperating with the most similar clients? Typically, significant model performance improvements are often realized not by partnering with the most similar models, but through leveraging complementary data. Our theoretical and empirical analyses suggest that optimal cooperation is achieved by enhancing complementarity in feature distribution while restricting the disparity in the correlation between features and targets. Accordingly, we introduce a novel framework, \texttt{FedSaC}, which balances similarity and complementarity in FL cooperation. Our framework aims to approximate an optimal cooperation network for each client by optimizing a weighted sum of model similarity and feature complementarity. The strength of \texttt{FedSaC} lies in its adaptability to various levels of data heterogeneity and multimodal scenarios. Our comprehensive unimodal and multimodal experiments demonstrate that \texttt{FedSaC} markedly surpasses other state-of-the-art FL methods.
• Abstract（参考訳）: モバイルとIoTシステムでは、ユーザプライバシを維持しながらデータを有効に使用する上で、フェデレートラーニング(FL)がますます重要になっています。 FLにおける重要な課題の1つは、多くのクライアントや多様なデータソースから生じる、非i.d.データのような統計的不均一性を管理することである。 これは、しばしば同様の特性を持つクライアントとの戦略的協力を必要とします。 しかし、私たちは根本的な問題に興味を持っている。最適な協力を達成するには、常に最も類似したクライアントと協力する必要がありますか? 通常、重要なモデルパフォーマンスの改善は、最も類似したモデルと提携するのではなく、補完的なデータを活用することで実現される。 理論的および実証的な分析から,特徴分布の相補性を向上し,特徴と目標の相関関係の相違を抑えることにより,最適協調が達成されることが示唆された。 そこで本研究では,FL協調における類似性と相補性のバランスをとる新しいフレームワークである‘texttt{FedSaC} を紹介する。 本フレームワークは,モデル類似度と特徴相補性の重み付け和を最適化することにより,各クライアントの最適協調ネットワークを近似することを目的としている。 texttt{FedSaC}の強みは、さまざまなレベルのデータ不均一性とマルチモーダルシナリオへの適応性にある。 我々の総合的な一乗法および多乗法実験は、他の最先端FL法を著しく上回っていることを証明している。

関連論文リスト

• FedReMa: Improving Personalized Federated Learning via Leveraging the Most Relevant Clients [13.98392319567057]
  Federated Learning (FL) は分散機械学習のパラダイムであり、分散計算と周期モデル合成によってグローバルに堅牢なモデルを実現する。 広く採用されているにもかかわらず、既存のFLとPFLの作業は、クラス不均衡の問題に包括的に対処していない。 本稿では,適応型クライアント間コラーニング手法を用いて,クラス不均衡に対処できる効率的なPFLアルゴリズムであるFedReMaを提案する。
  論文  参考訳（メタデータ） (2024-11-04T05:44:28Z)
• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• FLASH: Federated Learning Across Simultaneous Heterogeneities [54.80435317208111]
  FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。 ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。 最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
  論文  参考訳（メタデータ） (2024-02-13T20:04:39Z)
• Federated Learning Can Find Friends That Are Advantageous [14.993730469216546]
  フェデレートラーニング(FL)では、クライアントデータの分散の性質と均一性は、機会と課題の両方を示します。 本稿では,FLトレーニングに参加するクライアントに対して適応的なアグリゲーション重みを割り当てるアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-02-07T17:46:37Z)
• Fed-CO2: Cooperation of Online and Offline Models for Severe Data Heterogeneity in Federated Learning [14.914477928398133]
  フェデレートラーニング(FL)は、有望な分散ラーニングパラダイムとして登場した。 FLの有効性は、トレーニングに使われているデータの品質に大きく依存する。 ラベル分布スキューと特徴スキューの両方を扱う普遍的なFLフレームワークであるFed-CO$_2$を提案する。
  論文  参考訳（メタデータ） (2023-12-21T15:12:12Z)
• Personalizing Federated Learning with Over-the-Air Computations [84.8089761800994]
  フェデレートされたエッジ学習は、プライバシー保護の方法で無線ネットワークのエッジにインテリジェンスをデプロイする、有望な技術である。 このような設定の下で、複数のクライアントは、エッジサーバの調整の下でグローバルジェネリックモデルを協調的にトレーニングする。 本稿では,アナログオーバー・ザ・エア計算を用いて通信ボトルネックに対処する分散トレーニングパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-02-24T08:41:19Z)
• FedDM: Iterative Distribution Matching for Communication-Efficient Federated Learning [87.08902493524556]
  フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。 我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。 そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
  論文  参考訳（メタデータ） (2022-07-20T04:55:18Z)
• Fair and Consistent Federated Learning [48.19977689926562]
  フェデレートラーニング(FL)は、分散データソースから学習する能力に対する関心が高まっている。 本稿では,異なるローカルクライアント間で性能整合性とアルゴリズムフェアネスを協調的に検討するFLフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-08-19T01:56:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。