Fugu-MT 論文翻訳(概要): Spectral Co-Distillation for Personalized Federated Learning

論文の概要: Spectral Co-Distillation for Personalized Federated Learning

arxiv url: http://arxiv.org/abs/2401.17124v1
Date: Mon, 29 Jan 2024 16:01:38 GMT
ステータス: 処理完了
システム内更新日: 2024-01-31 14:18:30.654859
Title: Spectral Co-Distillation for Personalized Federated Learning
Title（参考訳）: 個人化フェデレーション学習のためのスペクトル共蒸留
Authors: Zihan Chen, Howard H. Yang, Tony Q.S. Quek, Kai Fong Ernest Chong
Abstract要約: 本稿では,モデルスペクトル情報に基づく新しい蒸留法を提案する。また、汎用モデルトレーニングとパーソナライズモデルトレーニングの双方向ブリッジを確立するための共蒸留フレームワークも導入する。提案したスペクトル共蒸留法の有効性と性能を実証し,また,待ち時間のないトレーニングプロトコルについて述べる。
参考スコア（独自算出の注目度）: 69.97016362754319
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Personalized federated learning (PFL) has been widely investigated to address the challenge of data heterogeneity, especially when a single generic model is inadequate in satisfying the diverse performance requirements of local clients simultaneously. Existing PFL methods are inherently based on the idea that the relations between the generic global and personalized local models are captured by the similarity of model weights. Such a similarity is primarily based on either partitioning the model architecture into generic versus personalized components, or modeling client relationships via model weights. To better capture similar (yet distinct) generic versus personalized model representations, we propose \textit{spectral distillation}, a novel distillation method based on model spectrum information. Building upon spectral distillation, we also introduce a co-distillation framework that establishes a two-way bridge between generic and personalized model training. Moreover, to utilize the local idle time in conventional PFL, we propose a wait-free local training protocol. Through extensive experiments on multiple datasets over diverse heterogeneous data settings, we demonstrate the outperformance and efficacy of our proposed spectral co-distillation method, as well as our wait-free training protocol.
Abstract（参考訳）: パーソナライズされた連合学習(pfl)は、特に単一のジェネリックモデルが、ローカルクライアントの多様なパフォーマンス要求を同時に満たすのに不十分である場合に、データの多様性の課題に対処するために広く研究されてきた。既存のPFL法は、一般的なグローバルモデルとパーソナライズされたローカルモデルの関係がモデル重みの類似性によって捉えられるという考えに基づいている。このような類似性は、主にモデルアーキテクチャを汎用的でパーソナライズされたコンポーネントに分割するか、モデル重みによるクライアント関係のモデリングに基づいている。類似した(比較的異なる)一般表現とパーソナライズされたモデル表現をよりよく捉えるために,モデルスペクトル情報に基づく新規蒸留法である \textit{spectral distillation} を提案する。また, 総合的およびパーソナライズされたモデルトレーニングの間に双方向の橋渡しを行う共蒸留フレームワークを導入する。さらに,従来のPFLにおける局所アイドル時間を利用するために,待ち時間のないローカルトレーニングプロトコルを提案する。多様な異種データ設定上の複数のデータセットに対する広範囲な実験を通じて,提案するスペクトル共蒸留法と待ち時間なしのトレーニングプロトコルのアウトパフォーマンスと有効性を示す。

関連論文リスト

Personalized Federated Learning via Stacking [0.0]
本稿では、クライアントが相互にプライバシ保護モデルを直接送信し、ベースモデルとして使用し、プライベートデータ上でメタモデルをトレーニングする、階層化された一般化に基づく新しいパーソナライズ手法を提案する。当社のアプローチは柔軟で、さまざまなプライバシ保護技術やモデルタイプを調整し、水平、ハイブリッド、垂直に分割されたフェデレーションに適用できます。
論文参考訳（メタデータ） (2024-04-16T23:47:23Z)
Enhancing One-Shot Federated Learning Through Data and Ensemble Co-Boosting [76.64235084279292]
ワンショットフェデレートラーニング(One-shot Federated Learning, OFL)は,単一のコミュニケーションラウンドを通じてグローバルサーバモデルのトレーニングを可能にする,有望な学習パラダイムである。合成されたデータとアンサンブルモデルを相互に拡張する新しいフレームワークであるCo-Boostingを導入する。
論文参考訳（メタデータ） (2024-02-23T03:15:10Z)
pFedMoE: Data-Level Personalization with Mixture of Experts for Model-Heterogeneous Personalized Federated Learning [35.72303739409116]
そこで本研究では,Mixture of Experts (pFedMoE) 法を用いたモデルヘテロジニアスなフェデレート学習を提案する。共有同種小特徴抽出器と、各クライアントの局所異種大モデルに対するローカルゲーティングネットワークを割り当てる。全体として、pFedMoEは局所モデルのパーソナライズをきめ細かいデータレベルで強化する。
論文参考訳（メタデータ） (2024-02-02T12:09:20Z)
PFL-GAN: When Client Heterogeneity Meets Generative Models in Personalized Federated Learning [55.930403371398114]
パーソナライズドラーニング(PFL)のための新しいGAN(Generative Adversarial Network)の共有と集約戦略を提案する。 PFL-GANは、異なるシナリオにおけるクライアントの不均一性に対処する。より具体的には、まずクライアント間の類似性を学び、次に重み付けされた協調データアグリゲーションを開発する。いくつかのよく知られたデータセットに対する厳密な実験による実験結果は、PFL-GANの有効性を示している。
論文参考訳（メタデータ） (2023-08-23T22:38:35Z)
FedPerfix: Towards Partial Model Personalization of Vision Transformers in Federated Learning [9.950367271170592]
視覚変換器モデル(ViT)のパーソナライズ方法について検討する。自己注意層と分類ヘッドがViTの最も敏感な部分であるという知見に基づいて、FedPerfixと呼ばれる新しいアプローチを提案する。 CIFAR-100、OrganAMNIST、Office-Homeのデータセットに対する提案手法の評価を行い、いくつかの先進的なPFL手法と比較してその効果を実証した。
論文参考訳（メタデータ） (2023-08-17T19:22:30Z)
Improving Heterogeneous Model Reuse by Density Estimation [105.97036205113258]
本稿では,異なる参加者の個人データを用いてモデルを学習することを目的とした多人数学習について検討する。モデルの再利用は、各パーティーのためにローカルモデルがトレーニングされていると仮定して、マルチパーティの学習にとって有望なソリューションである。
論文参考訳（メタデータ） (2023-05-23T09:46:54Z)
Visual Prompt Based Personalized Federated Learning [83.04104655903846]
pFedPTと呼ばれる画像分類タスクのための新しいPFLフレームワークを提案し、クライアントのローカルデータ配信情報を暗黙的に表現するためにパーソナライズされた視覚的プロンプトを利用する。 CIFAR10とCIFAR100データセットの実験では、pFedPTは様々な設定でいくつかの最先端(SOTA)PFLアルゴリズムより優れていた。
論文参考訳（メタデータ） (2023-03-15T15:02:15Z)
Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
論文参考訳（メタデータ） (2022-12-19T20:46:43Z)
Personalizing or Not: Dynamically Personalized Federated Learning with Incentives [37.42347737911428]
個人データを共有せずにパーソナライズされたモデルを学習するためのパーソナライズド・フェデレーション・ラーニング(FL)を提案する。パーソナライズレートは、パーソナライズされたモデルのトレーニングを希望する顧客の割合として測定され、フェデレーションされた設定に導入され、DyPFLを提案する。この技術は、クライアントがローカルモデルをパーソナライズすることへのインセンティブを与えると同時に、より優れたパフォーマンスでグローバルモデルを採用できるようにする。
論文参考訳（メタデータ） (2022-08-12T09:51:20Z)
CD$^2$-pFed: Cyclic Distillation-guided Channel Decoupling for Model Personalization in Federated Learning [24.08509828106899]
フェデレートラーニング(Federated Learning, FL)は、複数のクライアントが共同で共有グローバルモデルを学ぶことを可能にする分散ラーニングパラダイムである。 FLにおけるグローバルモデルをパーソナライズするために,CD2-pFedという新規なサイクリック蒸留誘導チャネルデカップリングフレームワークを提案する。
論文参考訳（メタデータ） (2022-04-08T07:13:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。