論文の概要: CD$^2$-pFed: Cyclic Distillation-guided Channel Decoupling for Model Personalization in Federated Learning

• arxiv url: http://arxiv.org/abs/2204.03880v1
• Date: Fri, 8 Apr 2022 07:13:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-11 12:14:31.709377
• Title: CD$^2$-pFed: Cyclic Distillation-guided Channel Decoupling for Model Personalization in Federated Learning
• Title（参考訳）: フェデレート学習におけるモデルパーソナライズのためのcd$^2$-pfed: cyclic distillation-guided channel decoupling
• Authors: Yiqing Shen, Yuyin Zhou, Lequan Yu
• Abstract要約: フェデレートラーニング(Federated Learning, FL)は、複数のクライアントが共同で共有グローバルモデルを学ぶことを可能にする分散ラーニングパラダイムである。 FLにおけるグローバルモデルをパーソナライズするために,CD2-pFedという新規なサイクリック蒸留誘導チャネルデカップリングフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 24.08509828106899
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning (FL) is a distributed learning paradigm that enables multiple clients to collaboratively learn a shared global model. Despite the recent progress, it remains challenging to deal with heterogeneous data clients, as the discrepant data distributions usually prevent the global model from delivering good generalization ability on each participating client. In this paper, we propose CD^2-pFed, a novel Cyclic Distillation-guided Channel Decoupling framework, to personalize the global model in FL, under various settings of data heterogeneity. Different from previous works which establish layer-wise personalization to overcome the non-IID data across different clients, we make the first attempt at channel-wise assignment for model personalization, referred to as channel decoupling. To further facilitate the collaboration between private and shared weights, we propose a novel cyclic distillation scheme to impose a consistent regularization between the local and global model representations during the federation. Guided by the cyclical distillation, our channel decoupling framework can deliver more accurate and generalized results for different kinds of heterogeneity, such as feature skew, label distribution skew, and concept shift. Comprehensive experiments on four benchmarks, including natural image and medical image analysis tasks, demonstrate the consistent effectiveness of our method on both local and external validations.
• Abstract（参考訳）: フェデレートラーニング(Federated Learning, FL)は、複数のクライアントが共同でグローバルモデルを共有することのできる分散ラーニングパラダイムである。 最近の進歩にもかかわらず、異種データクライアントを扱うことは依然として困難であり、異種データ分散は、通常、グローバルモデルが各クライアントに優れた一般化能力を提供するのを妨げている。 本稿では,CD^2-pFedを提案する。このCD^2-pFedは,FLにおけるグローバルモデルのパーソナライズを,データヘテロジニティ(異種性)のさまざまな設定の下で行う。 異なるクライアントにまたがる非IIDデータを克服するために階層的パーソナライズを確立する従来の作業とは異なり、チャネルデカップリングと呼ばれるモデルパーソナライズのためのチャネル的パーソナライズの最初の試みを行う。 プライベートウェイトと共有ウェイトの協調をさらに促進するため, フェデレーション期間中に局所モデル表現とグローバルモデル表現の一貫した規則化を課す新しい循環蒸留スキームを提案する。 循環蒸留によって導かれる, チャネル分離フレームワークは, 特徴スキュー, ラベル分布スキュー, 概念シフトなど, 異なる種類の異種性に対して, より正確かつ汎用的な結果を提供できる。 自然画像および医用画像解析タスクを含む4つのベンチマークの総合的な実験により,本手法の局所的および外部的検証における一貫した有効性を示した。

関連論文リスト

• Overcoming Data and Model Heterogeneities in Decentralized Federated Learning via Synthetic Anchors [21.931436901703634]
  従来のフェデレートラーニング(FL)には、ユーザデータのプライバシを維持しながら、グローバルモデルの協調的なトレーニングが含まれる。 そのブランチの1つ、分散FLは、クライアントが別々のローカルモデルを所有し、最適化できるサーバーレスネットワークである。 本稿では,DeSAと呼ばれる合成アンカーを導入し,新しい分散FL手法を提案する。
  論文  参考訳（メタデータ） (2024-05-19T11:36:45Z)
• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• FedImpro: Measuring and Improving Client Update in Federated Learning [77.68805026788836]
  フェデレートラーニング(FL)モデルは、不均一なデータによって引き起こされるクライアントのドリフトを経験することが多い。 我々は、クライアントのドリフトに対する別の視点を示し、改善されたローカルモデルを生成することにより、それを緩和することを目指している。
  論文  参考訳（メタデータ） (2024-02-10T18:14:57Z)
• Spectral Co-Distillation for Personalized Federated Learning [69.97016362754319]
  本稿では,モデルスペクトル情報に基づく新しい蒸留法を提案する。 また、汎用モデルトレーニングとパーソナライズモデルトレーニングの双方向ブリッジを確立するための共蒸留フレームワークも導入する。 提案したスペクトル共蒸留法の有効性と性能を実証し,また,待ち時間のないトレーニングプロトコルについて述べる。
  論文  参考訳（メタデータ） (2024-01-29T16:01:38Z)
• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• Fed-CO2: Cooperation of Online and Offline Models for Severe Data Heterogeneity in Federated Learning [14.914477928398133]
  フェデレートラーニング(FL)は、有望な分散ラーニングパラダイムとして登場した。 FLの有効性は、トレーニングに使われているデータの品質に大きく依存する。 ラベル分布スキューと特徴スキューの両方を扱う普遍的なFLフレームワークであるFed-CO$_2$を提案する。
  論文  参考訳（メタデータ） (2023-12-21T15:12:12Z)
• Heterogeneous Federated Learning via Personalized Generative Networks [7.629157720712401]
  フェデレートラーニング(FL)は、データを共有することなく、複数のクライアントが共通のグローバル機械学習モデルを構築することを可能にする。 本稿では,サーバがクライアント固有のジェネレータを訓練するクライアント間の知識伝達手法を提案する。
  論文  参考訳（メタデータ） (2023-08-25T09:37:02Z)
• PFL-GAN: When Client Heterogeneity Meets Generative Models in Personalized Federated Learning [55.930403371398114]
  パーソナライズドラーニング(PFL)のための新しいGAN(Generative Adversarial Network)の共有と集約戦略を提案する。 PFL-GANは、異なるシナリオにおけるクライアントの不均一性に対処する。より具体的には、まずクライアント間の類似性を学び、次に重み付けされた協調データアグリゲーションを開発する。 いくつかのよく知られたデータセットに対する厳密な実験による実験結果は、PFL-GANの有効性を示している。
  論文  参考訳（メタデータ） (2023-08-23T22:38:35Z)
• DRFLM: Distributionally Robust Federated Learning with Inter-client Noise via Local Mixup [58.894901088797376]
  連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。 上記の2つの課題を同時に解決するための一般的な枠組みを提案する。 我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
  論文  参考訳（メタデータ） (2022-04-16T08:08:29Z)
• Adapt to Adaptation: Learning Personalization for Cross-Silo Federated Learning [6.0088002781256185]
  従来のフェデレーション学習は、分散データによるクライアントのフェデレーションのためのグローバルモデルをトレーニングすることを目的としている。 非IIDデータセット間の分散シフトは、データヘテロジニティとしても知られ、この1つのグローバルモデルに適合するソリューションにしばしば挑戦する。 我々は、各クライアントが他のクライアントのモデルからどれだけの恩恵を受けることができるかを適応的に学習するパーソナライズされたクロスサイロFLフレームワークであるAPPLEを提案する。
  論文  参考訳（メタデータ） (2021-10-15T22:23:14Z)
• Personalized Federated Learning by Structured and Unstructured Pruning under Data Heterogeneity [3.291862617649511]
  クライアントレベルの目的からパーソナライズされたモデルを得るための新しいアプローチを提案する。 このパーソナライズを実現するために、各クライアントの小さなサブネットワークを見つける。
  論文  参考訳（メタデータ） (2021-05-02T22:10:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。