論文の概要: Dynamic Heterogeneous Federated Learning with Multi-Level Prototypes

• arxiv url: http://arxiv.org/abs/2312.09881v1
• Date: Fri, 15 Dec 2023 15:28:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-18 15:19:44.187083
• Title: Dynamic Heterogeneous Federated Learning with Multi-Level Prototypes
• Title（参考訳）: 多レベルプロトタイプを用いた動的ヘテロジニアスフェデレート学習
• Authors: Shunxin Guo, Hongsong Wang, Xin Geng
• Abstract要約: 本研究では,新しいタスクである動的不均一フェデレート学習(Dynamic Heterogeneous Federated Learning, DHFL)について検討する。 コンセプトドリフトを緩和するために,実りある一般化知識を提供し,プロトタイプ空間の連続性を確保するために,プロトタイプとセマンティックプロトタイプを構築した。 実験結果から,提案手法は様々な環境下での最先端性能を実現することが示唆された。
• 参考スコア（独自算出の注目度）: 45.13348636579529
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning shows promise as a privacy-preserving collaborative learning technique. Existing heterogeneous federated learning mainly focuses on skewing the label distribution across clients. However, most approaches suffer from catastrophic forgetting and concept drift, mainly when the global distribution of all classes is extremely unbalanced and the data distribution of the client dynamically evolves over time. In this paper, we study the new task, i.e., Dynamic Heterogeneous Federated Learning (DHFL), which addresses the practical scenario where heterogeneous data distributions exist among different clients and dynamic tasks within the client. Accordingly, we propose a novel federated learning framework named Federated Multi-Level Prototypes (FedMLP) and design federated multi-level regularizations. To mitigate concept drift, we construct prototypes and semantic prototypes to provide fruitful generalization knowledge and ensure the continuity of prototype spaces. To maintain the model stability and consistency of convergence, three regularizations are introduced as training losses, i.e., prototype-based regularization, semantic prototype-based regularization, and federated inter-task regularization. Extensive experiments show that the proposed method achieves state-of-the-art performance in various settings.
• Abstract（参考訳）: フェデレーション学習は、プライバシー保護の協調学習技術として有望である。 既存のヘテロジニアスなフェデレーション学習は、主にクライアント間でラベル分布を絞ることに焦点を当てている。 しかし、ほとんどのアプローチは破滅的な忘れと概念の漂流に悩まされており、主にすべてのクラスのグローバルな分布が極めて不均衡であり、クライアントのデータ分布が時間とともに動的に変化する。 本稿では,異なるクライアント間で不均一なデータ分散が存在する現実的なシナリオと,クライアント内の動的タスクに対処する新しいタスクである動的不均一フェデレート学習(DHFL)について検討する。 そこで本研究では,federated multi-level prototypes (fedmlp) と呼ばれる新しいfederated learning frameworkとfederated multi-level regularizationの設計を提案する。 概念ドリフトを緩和するために,プロトタイプと意味的プロトタイプを構築し,実りある一般化知識を提供し,プロトタイプ空間の連続性を保証する。 モデルの安定性と収束の一貫性を維持するため、3つの正規化は訓練損失として導入され、すなわち、プロトタイプベース正規化、セマンティックプロトタイプベース正規化、タスク間正規化である。 実験の結果,提案手法は様々な環境下での最先端性能を実現する。

関連論文リスト

• Addressing Skewed Heterogeneity via Federated Prototype Rectification with Personalization [35.48757125452761]
  フェデレートラーニング(Federated Learning)は、複数の分散デバイス間の協調モデルトレーニングを容易にするために設計された、効率的なフレームワークである。 連合学習の重要な課題は、データレベルの不均一性、すなわち、スキュードまたはロングテールのプライベートデータの分散である。 本稿では,フェデレーション・パーソナライゼーションとフェデレーション・プロトタイプ・レクティフィケーションの2つの部分からなる新しいフェデレーション・プロトタイプ・レクティフィケーションを提案する。
  論文  参考訳（メタデータ） (2024-08-15T06:26:46Z)
• Task Groupings Regularization: Data-Free Meta-Learning with Heterogeneous Pre-trained Models [83.02797560769285]
  Data-Free Meta-Learning (DFML)は、トレーニング済みモデルのコレクションから、元のデータにアクセスせずに知識を抽出することを目的としている。 現在の手法は、事前訓練されたモデル間の不均一性を見落とし、タスクの衝突による性能低下につながることが多い。 課題群規則化(Task Groupings Regularization)は、矛盾するタスクをグループ化し整合させることにより、モデルの不均一性から恩恵を受ける新しいアプローチである。
  論文  参考訳（メタデータ） (2024-05-26T13:11:55Z)
• Adaptive Test-Time Personalization for Federated Learning [51.25437606915392]
  テスト時パーソナライズド・フェデレーション・ラーニング(TTPFL)と呼ばれる新しい設定を導入する。 TTPFLでは、クライアントはテスト期間中にラベル付きデータに頼ることなく、教師なしの方法でグローバルモデルをローカルに適応する。 本稿では,ソースドメイン間の分散シフトから,モデル内の各モジュールの適応率を適応的に学習する ATP という新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-28T20:42:47Z)
• Learning Invariant Molecular Representation in Latent Discrete Space [52.13724532622099]
  本稿では,分散シフトに対する不変性とロバスト性を示す分子表現を学習するための新しい枠組みを提案する。 我々のモデルは、様々な分布シフトが存在する場合に、最先端のベースラインに対してより強力な一般化を実現する。
  論文  参考訳（メタデータ） (2023-10-22T04:06:44Z)
• Generalizable Heterogeneous Federated Cross-Correlation and Instance Similarity Learning [60.058083574671834]
  本稿では,新しいFCCL+,フェデレーション相関と非ターゲット蒸留との類似性学習を提案する。 不均一な問題に対しては、無関係な公開データを通信に活用する。 局所的な更新段階における破滅的な忘れ物として、FCCL+はFederated Non Target Distillationを導入している。
  論文  参考訳（メタデータ） (2023-09-28T09:32:27Z)
• Prototype Helps Federated Learning: Towards Faster Convergence [38.517903009319994]
  Federated Learning(FL)は、複数のクライアントが協力して、生データを交換することなく、共有モデルをトレーニングする分散機械学習技術である。 本稿では,従来のフェデレーション学習プロセスの最後のグローバルイテレーションにわずかな変更を加えるだけで,推論性能を向上する,プロトタイプベースのフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-22T04:06:29Z)
• FedRC: Tackling Diverse Distribution Shifts Challenge in Federated Learning by Robust Clustering [4.489171618387544]
  Federated Learning(FL)は、エッジデバイス上でクライアントデータを保持することによって、プライバシを保護する機械学習パラダイムである。 本稿では,多様な分布シフトの同時発生による学習課題を特定する。 提案するクラスタリングの原理に従う新しいクラスタリングアルゴリズムフレームワークであるFedRCを提案する。
  論文  参考訳（メタデータ） (2023-01-29T06:50:45Z)
• FedCL: Federated Multi-Phase Curriculum Learning to Synchronously Correlate User Heterogeneity [17.532659808426605]
  Federated Learning(FL)は、機械学習アルゴリズムのトレーニングに使用される分散学習手法である。 FLでは、グローバルモデルがローカルデータにアクセスすることなく、ローカルモデルのパラメータを反復的に収集する。 本稿では,FLにおけるユーザ不均一性の課題に対処するための,アクティブかつ同期的な相関手法を提案する。
  論文  参考訳（メタデータ） (2022-11-14T10:06:41Z)
• CD$^2$-pFed: Cyclic Distillation-guided Channel Decoupling for Model Personalization in Federated Learning [24.08509828106899]
  フェデレートラーニング(Federated Learning, FL)は、複数のクライアントが共同で共有グローバルモデルを学ぶことを可能にする分散ラーニングパラダイムである。 FLにおけるグローバルモデルをパーソナライズするために,CD2-pFedという新規なサイクリック蒸留誘導チャネルデカップリングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-04-08T07:13:30Z)
• Efficient Split-Mix Federated Learning for On-Demand and In-Situ Customization [107.72786199113183]
  フェデレートラーニング(FL)は、複数の参加者が生データを共有せずに学習をコラボレーションするための分散ラーニングフレームワークを提供する。 本稿では, モデルサイズとロバスト性をその場でカスタマイズできる, 不均一な参加者のための新しいスプリット・ミクス・FL戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-18T04:58:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。