論文の概要: A Unified Solution to Diverse Heterogeneities in One-shot Federated Learning

• arxiv url: http://arxiv.org/abs/2410.21119v1
• Date: Mon, 28 Oct 2024 15:20:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-29 12:20:41.903606
• Title: A Unified Solution to Diverse Heterogeneities in One-shot Federated Learning
• Title（参考訳）: 単発フェデレーション学習における異種不均一性の統一解法
• Authors: Jun Bai, Yiliao Song, Di Wu, Atul Sajjanhar, Yong Xiang, Wei Zhou, Xiaohui Tao, Yan Li,
• Abstract要約: ワンショットフェデレーション学習(FL)は、サーバとクライアント間の通信を1ラウンドに制限する。 モデルとデータの不均一性の両方を効果的に扱える統一的でデータフリーなワンショットFLフレームワーク(FedHydra)を提案する。
• 参考スコア（独自算出の注目度）: 14.466679488063217
• License:
• Abstract: One-shot federated learning (FL) limits the communication between the server and clients to a single round, which largely decreases the privacy leakage risks in traditional FLs requiring multiple communications. However, we find existing one-shot FL frameworks are vulnerable to distributional heterogeneity due to their insufficient focus on data heterogeneity while concentrating predominantly on model heterogeneity. Filling this gap, we propose a unified, data-free, one-shot federated learning framework (FedHydra) that can effectively address both model and data heterogeneity. Rather than applying existing value-only learning mechanisms, a structure-value learning mechanism is proposed in FedHydra. Specifically, a new stratified learning structure is proposed to cover data heterogeneity, and the value of each item during computation reflects model heterogeneity. By this design, the data and model heterogeneity issues are simultaneously monitored from different aspects during learning. Consequently, FedHydra can effectively mitigate both issues by minimizing their inherent conflicts. We compared FedHydra with three SOTA baselines on four benchmark datasets. Experimental results show that our method outperforms the previous one-shot FL methods in both homogeneous and heterogeneous settings.
• Abstract（参考訳）: ワンショットフェデレーション学習(FL)は、サーバとクライアント間の通信を単一のラウンドに制限する。 しかし、既存の一発FLフレームワークは、データ不均一性に重点を置いていない一方で、主にモデル不均一性に集中しているため、分散不均一性に対して脆弱であることがわかった。 このギャップを埋めるために、モデルとデータの不均一性の両方に効果的に対処できる統一的でデータフリーでワンショットのフェデレーション学習フレームワーク(FedHydra)を提案する。 既存の値のみ学習機構を適用するのではなく、構造値学習機構がFedHydraで提案されている。 具体的には、データ不均一性をカバーするために、新しい階層化学習構造を提案し、計算中の各項目の値がモデル不均一性を反映する。 この設計により、データとモデルの不均一性問題は、学習中に異なる側面から同時に監視される。 その結果、FedHydraは、それらの固有の紛争を最小限にすることで、両方の問題を効果的に軽減できる。 我々はFedHydraを4つのベンチマークデータセットで3つのSOTAベースラインと比較した。 実験結果から,本手法は,同種および異種両方の設定において,従来の単発FL法よりも優れた性能を示した。

関連論文リスト

• Comparative Evaluation of Clustered Federated Learning Method [0.5242869847419834]
  CFL(Clustered Federated Learning)は、クライアントを均質なグループに分割することを目的としている。 本稿では,2つの最先端CFLアルゴリズムの性能について,フェデレートラーニング(FL)におけるデータ不均一性の分類法を提案する。 我々の目的は、CFLのパフォーマンスとデータ異種シナリオの関係をより明確に理解することである。
  論文  参考訳（メタデータ） (2024-10-18T07:01:56Z)
• FedPAE: Peer-Adaptive Ensemble Learning for Asynchronous and Model-Heterogeneous Federated Learning [9.084674176224109]
  フェデレートラーニング(FL)は、分散データソースを持つ複数のクライアントが、データのプライバシを損なうことなく、共同で共有モデルをトレーニングすることを可能にする。 我々は、モデルの不均一性と非同期学習をサポートする完全分散pFLアルゴリズムであるFederated Peer-Adaptive Ensemble Learning (FedPAE)を紹介する。 提案手法では,ピアツーピアモデル共有機構とアンサンブル選択を用いて,局所情報とグローバル情報とのより洗練されたバランスを実現する。
  論文  参考訳（メタデータ） (2024-10-17T22:47:19Z)
• FLASH: Federated Learning Across Simultaneous Heterogeneities [54.80435317208111]
  FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。 ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。 最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
  論文  参考訳（メタデータ） (2024-02-13T20:04:39Z)
• Fake It Till Make It: Federated Learning with Consensus-Oriented Generation [52.82176415223988]
  コンセンサス指向生成による連合学習(FedCOG)を提案する。 FedCOGは、補完的なデータ生成と知識蒸留に基づくモデルトレーニングという、クライアント側の2つの重要なコンポーネントで構成されています。 古典的および実世界のFLデータセットの実験は、FedCOGが一貫して最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2023-12-10T18:49:59Z)
• Generalizable Heterogeneous Federated Cross-Correlation and Instance Similarity Learning [60.058083574671834]
  本稿では,新しいFCCL+,フェデレーション相関と非ターゲット蒸留との類似性学習を提案する。 不均一な問題に対しては、無関係な公開データを通信に活用する。 局所的な更新段階における破滅的な忘れ物として、FCCL+はFederated Non Target Distillationを導入している。
  論文  参考訳（メタデータ） (2023-09-28T09:32:27Z)
• HierarchyFL: Heterogeneous Federated Learning via Hierarchical Self-Distillation [12.409497615805797]
  フェデレートラーニング(FL)は、プライバシ保護の分散機械学習パラダイムとして認識されている。 FLは、AIoTデバイスのモデル不均一性により、モデル不正確性と緩やかな収束に悩まされる。 我々は、少数の公開データを効率よくスケーラブルな知識に利用する、HierarchyFLという効率的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-05T03:32:10Z)
• A Survey on Heterogeneous Federated Learning [12.395474890081232]
  フェデレートラーニング(FL)は、データプライバシを保護し、プライバシとセキュリティを侵害することなく、組織間のモデルを協調的にトレーニングすることで、独立したデータサイロを組み立てることを目的としている。 しかし、FLはデータ空間、統計、システム不均一性など不均一な側面に直面している。 本稿では,問題設定と学習目的に応じて,各種類の不均一性に対する不均一なFL設定の正確な分類法を提案する。
  論文  参考訳（メタデータ） (2022-10-10T09:16:43Z)
• FedHiSyn: A Hierarchical Synchronous Federated Learning Framework for Resource and Data Heterogeneity [56.82825745165945]
  フェデレートラーニング(FL)は、データプライバシを保護するために複数のデバイスに格納された分散生データを共有することなく、グローバルモデルのトレーニングを可能にする。 本稿では,階層型同期FLフレームワークであるFedHiSynを提案し,トラグラー効果や時代遅れモデルの問題に対処する。 提案手法は,MNIST,EMNIST,CIFAR10,CIFAR100のデータセットと多種多様なデバイス設定に基づいて評価する。
  論文  参考訳（メタデータ） (2022-06-21T17:23:06Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)
• FedH2L: Federated Learning with Model and Statistical Heterogeneity [75.61234545520611]
  フェデレートラーニング(FL)は、分散参加者が個々のデータのプライバシを犠牲にすることなく、強力なグローバルモデルを集合的に学習することを可能にする。 我々はFedH2Lを導入し、これはモデルアーキテクチャに非依存であり、参加者間で異なるデータ分散に対して堅牢である。 パラメータや勾配を共有するアプローチとは対照的に、FedH2Lは相互蒸留に依存し、参加者間で共有シードセットの後方のみを分散的に交換する。
  論文  参考訳（メタデータ） (2021-01-27T10:10:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。