論文の概要: FedTSA: A Cluster-based Two-Stage Aggregation Method for Model-heterogeneous Federated Learning

• arxiv url: http://arxiv.org/abs/2407.05098v1
• Date: Sat, 6 Jul 2024 14:59:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-09 21:08:14.139743
• Title: FedTSA: A Cluster-based Two-Stage Aggregation Method for Model-heterogeneous Federated Learning
• Title（参考訳）: FedTSA:モデル不均一なフェデレーション学習のためのクラスタベースの2段階集約手法
• Authors: Boyu Fan, Chenrui Wu, Xiang Su, Pan Hui,
• Abstract要約: FedTSAは、フェデレートラーニング(FL)におけるシステム不均一性に適したクラスタベースの2段階アグリゲーション手法である 我々は,FedTSAがベースラインを上回り,モデル性能に影響を及ぼす様々な要因を探索することを示す。
• 参考スコア（独自算出の注目度）: 10.254813698006103
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite extensive research into data heterogeneity in federated learning (FL), system heterogeneity remains a significant yet often overlooked challenge. Traditional FL approaches typically assume homogeneous hardware resources across FL clients, implying that clients can train a global model within a comparable time. However, in practical FL systems, clients often have heterogeneous resources, which impacts their capacity for training tasks. This discrepancy highlights the significance of exploring model-heterogeneous FL, a paradigm that allows clients to train different models based on their resource capabilities. To address this, we introduce FedTSA, a cluster-based two-stage aggregation method tailored for system heterogeneity in FL. FedTSA starts by clustering clients based on their capabilities, then conducts a two-stage aggregation, i.e., conventional weight averaging for homogeneous models as Stage 1, and deep mutual learning with a diffusion model for aggregating heterogeneous models as Stage 2. Extensive experiments not only show that FedTSA outperforms the baselines, but also explore various factors influencing model performance, thereby validating FedTSA as a promising approach for model-heterogeneous FL.
• Abstract（参考訳）: フェデレートラーニング(FL)におけるデータ不均一性の研究にもかかわらず、システム不均一性はしばしば見過ごされがちな課題である。 従来のFLアプローチでは、FLクライアント全体で均質なハードウェアリソースを前提としており、クライアントが同等の時間でグローバルモデルをトレーニングできることを暗示している。 しかし、実際のFLシステムでは、クライアントはしばしば異種資源を持ち、訓練タスクの能力に影響を与えます。 この違いは、クライアントがリソース能力に基づいて異なるモデルをトレーニングできるパラダイムであるモデル不均一FLを探索することの重要性を強調している。 そこで本研究では,FLにおけるシステム不均一性に適したクラスタベースの2段階アグリゲーション手法であるFedTSAを紹介する。 FedTSAは、その能力に基づいてクライアントをクラスタリングし、次に2段階のアグリゲーションを行う。すなわち、同種モデルの平均平均化をステージ1として、異種モデルをステージ2として集約するための拡散モデルとの深い相互学習を行う。 大規模な実験により、FedTSAがベースラインを上回るだけでなく、モデル性能に影響を与える様々な要因を探索し、モデル不均一FLに対する有望なアプローチとしてFedTSAを検証した。

関連論文リスト

• Federated Model Heterogeneous Matryoshka Representation Learning [33.04969829305812]
  モデルヘテロジニアスフェデレーション学習(MteroFL)により、FLクライアントは、異種構造を持つモデルを分散的に訓練することができる。 既存の方法は、MteroFLサーバとクライアントモデルの間で知識を伝達するために、トレーニング損失に依存する。 本研究では,Matryoshkaモデルを用いた教師付き学習タスクのための新しい表現手法を提案する。
  論文  参考訳（メタデータ） (2024-06-01T16:37:08Z)
• FLASH: Federated Learning Across Simultaneous Heterogeneities [54.80435317208111]
  FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。 ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。 最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
  論文  参考訳（メタデータ） (2024-02-13T20:04:39Z)
• Contrastive encoder pre-training-based clustered federated learning for heterogeneous data [17.580390632874046]
  フェデレートラーニング(FL)は、分散クライアントがデータのプライバシを保持しながら、グローバルモデルを協調的にトレーニングすることを可能にする。 本稿では,モデル収束とFLシステム全体の性能を改善するために,CP-CFL(Contrative Pre-training-based Clustered Federated Learning)を提案する。
  論文  参考訳（メタデータ） (2023-11-28T05:44:26Z)
• Every Parameter Matters: Ensuring the Convergence of Federated Learning with Dynamic Heterogeneous Models Reduction [22.567754688492414]
  クロスデバイス・フェデレーション・ラーニング(FL)は、ユニークなコントリビューションを行う可能性のあるローエンドのクライアントが、リソースのボトルネックのため、大規模なモデルのトレーニングから除外されるという、大きな課題に直面します。 近年,グローバルモデルから縮小サイズのモデルを抽出し,それに応じてローカルクライアントに適用することによって,モデル不均一FLに焦点を当てている。 本稿では,オンラインモデル抽出を用いた不均一FLアルゴリズムの一元化フレームワークを提案し,一般収束解析を初めて提供する。
  論文  参考訳（メタデータ） (2023-10-12T19:07:58Z)
• PFL-GAN: When Client Heterogeneity Meets Generative Models in Personalized Federated Learning [55.930403371398114]
  パーソナライズドラーニング(PFL)のための新しいGAN(Generative Adversarial Network)の共有と集約戦略を提案する。 PFL-GANは、異なるシナリオにおけるクライアントの不均一性に対処する。より具体的には、まずクライアント間の類似性を学び、次に重み付けされた協調データアグリゲーションを開発する。 いくつかのよく知られたデータセットに対する厳密な実験による実験結果は、PFL-GANの有効性を示している。
  論文  参考訳（メタデータ） (2023-08-23T22:38:35Z)
• Deep Equilibrium Models Meet Federated Learning [71.57324258813675]
  本研究では,従来の深層学習ネットワークの代わりにDeep Equilibrium(DEQ)モデルを用いて,フェデレートラーニング(FL)問題について検討する。 我々は、DECモデルをフェデレート学習フレームワークに組み込むことで、FLのいくつかのオープンな問題に自然に対処できると主張している。 我々の知る限りでは、この研究は、DECモデルとフェデレーションラーニングの関連性を確立する最初のものである。
  論文  参考訳（メタデータ） (2023-05-29T22:51:40Z)
• Closing the Gap between Client and Global Model Performance in Heterogeneous Federated Learning [2.1044900734651626]
  カスタムクライアントモデルをトレーニングするための選択されたアプローチが、グローバルモデルにどのように影響するかを示す。 KDとLwoF(LwoF)を併用して、改良されたパーソナライズドモデルを生成する手法を提案する。
  論文  参考訳（メタデータ） (2022-11-07T11:12:57Z)
• Adaptive Personlization in Federated Learning for Highly Non-i.i.d. Data [37.667379000751325]
  フェデレートラーニング(Federated Learning, FL)は、医療機関にグローバルモデルにおけるコラボレーションの見通しを提供する分散ラーニング手法である。 本研究では,FLの中間的半言語モデルを生成する適応階層クラスタリング手法について検討する。 本実験は, 分類精度の標準的なFL法と比較して, 不均質分布において有意な性能向上を示した。
  論文  参考訳（メタデータ） (2022-07-07T17:25:04Z)
• Efficient Split-Mix Federated Learning for On-Demand and In-Situ Customization [107.72786199113183]
  フェデレートラーニング(FL)は、複数の参加者が生データを共有せずに学習をコラボレーションするための分散ラーニングフレームワークを提供する。 本稿では, モデルサイズとロバスト性をその場でカスタマイズできる, 不均一な参加者のための新しいスプリット・ミクス・FL戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-18T04:58:34Z)
• Fine-tuning Global Model via Data-Free Knowledge Distillation for Non-IID Federated Learning [86.59588262014456]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。 サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。 私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
  論文  参考訳（メタデータ） (2022-03-17T11:18:17Z)
• Robust Finite Mixture Regression for Heterogeneous Targets [70.19798470463378]
  本稿では,サンプルクラスタの探索と,複数の不完全な混合型ターゲットを同時にモデル化するFMRモデルを提案する。 我々は、高次元の学習フレームワークの下で、無症状のオラクルのパフォーマンス境界をモデルに提供します。 その結果,我々のモデルは最先端の性能を達成できることがわかった。
  論文  参考訳（メタデータ） (2020-10-12T03:27:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。