論文の概要: FediOS: Decoupling Orthogonal Subspaces for Personalization in
Feature-skew Federated Learning
- arxiv url: http://arxiv.org/abs/2311.18559v1
- Date: Thu, 30 Nov 2023 13:50:38 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-01 16:34:10.546124
- Title: FediOS: Decoupling Orthogonal Subspaces for Personalization in
Feature-skew Federated Learning
- Title（参考訳）: FediOS: フィーチャースキューフェデレーション学習におけるパーソナライズのための直交部分空間の分離
- Authors: Lingzhi Gao, Zexi Li, Yang Lu, Chao Wu
- Abstract要約: パーソナライズド・フェデレーションド・ラーニング(pFL)では、クライアントは異種データ(非IIDとも呼ばれる)を持つことがある。
FediOSでは、デカップリングを2つの特徴抽出器(ジェネリックとパーソナライズ)と1つの共有予測ヘッドに再構成する。
さらに、共有予測ヘッドは、推論中のジェネリック機能とパーソナライズ機能の重要性のバランスをとるために訓練される。
- 参考スコア（独自算出の注目度）: 6.076894295435773
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Personalized federated learning (pFL) enables collaborative training among
multiple clients to enhance the capability of customized local models. In pFL,
clients may have heterogeneous (also known as non-IID) data, which poses a key
challenge in how to decouple the data knowledge into generic knowledge for
global sharing and personalized knowledge for preserving local personalization.
A typical way of pFL focuses on label distribution skew, and they adopt a
decoupling scheme where the model is split into a common feature extractor and
two prediction heads (generic and personalized). However, such a decoupling
scheme cannot solve the essential problem of feature skew heterogeneity,
because a common feature extractor cannot decouple the generic and personalized
features. Therefore, in this paper, we rethink the architecture decoupling
design for feature-skew pFL and propose an effective pFL method called FediOS.
In FediOS, we reformulate the decoupling into two feature extractors (generic
and personalized) and one shared prediction head. Orthogonal projections are
used for clients to map the generic features into one common subspace and
scatter the personalized features into different subspaces to achieve
decoupling for them. In addition, a shared prediction head is trained to
balance the importance of generic and personalized features during inference.
Extensive experiments on four vision datasets demonstrate our method reaches
state-of-the-art pFL performances under feature skew heterogeneity.
- Abstract（参考訳）: パーソナライズド・フェデレーション・ラーニング(pFL)は、複数のクライアント間の協調トレーニングを可能にし、カスタマイズされたローカルモデルの性能を高める。
pFLでは、クライアントは異質な(非IIDとしても知られる)データを持ち、データの知識をグローバルな共有のための一般的な知識と、ローカルなパーソナライズを保存するためのパーソナライズされた知識に分離する方法において重要な課題となる。
pFLの典型的な方法はラベル分布スキューに焦点をあて、モデルを共通の特徴抽出器と2つの予測ヘッド(ジェネリックとパーソナライズ)に分割する分離方式を採用する。
しかし、このような分離方式は、共通特徴抽出器が一般的な特徴とパーソナライズされた特徴を分離できないため、特徴スクリューの不均一性の本質的な問題を解決できない。
そこで本稿では,機能スキューpFLのアーキテクチャデカップリング設計を再考し,FediOSと呼ばれる効果的なpFL手法を提案する。
FediOSでは、デカップリングを2つの特徴抽出器(ジェネリックとパーソナライズ)と1つの共有予測ヘッドに再構成する。
直交投影は、クライアントがジェネリックな機能をひとつの共通部分空間にマッピングし、パーソナライズされた機能を異なるサブスペースに分散して、デカップリングを実現するために使用される。
さらに、共有予測ヘッドは、推論中のジェネリック機能とパーソナライズ機能の重要性のバランスをとるために訓練される。
4つの視覚データセットに関する広範囲な実験により,本手法が特徴的歪不均一性の下で最先端のpfl性能に達することを証明した。
関連論文リスト
- Personalized Federated Learning with Adaptive Feature Aggregation and Knowledge Transfer [0.0]
フェデレートラーニング(FL)は、分散データ上で単一のモデルを生成するための、プライバシ保護機械学習パラダイムとして人気がある。
適応的特徴集約と知識伝達(FedAFK)による個人化学習手法を提案する。
広範に使われている2つの不均一な条件下で3つのデータセットについて広範な実験を行い、提案手法が13の最先端ベースラインに対して優れた性能を示す。
論文 参考訳（メタデータ） (2024-10-19T11:32:39Z) - Tackling Feature-Classifier Mismatch in Federated Learning via Prompt-Driven Feature Transformation [12.19025665853089]
従来のフェデレートラーニングアプローチでは、グローバルモデルはデータの不均一性に直面するとパフォーマンスが低下する。
我々は,FedPFTと呼ばれる新しいPFLフレームワークを提案し,特徴抽出器の品質を高めつつミスマッチ問題に対処する。
実験の結果,FedPFTは最先端の手法より最大7.08%優れていた。
論文 参考訳（メタデータ） (2024-07-23T02:52:52Z) - pFedAFM: Adaptive Feature Mixture for Batch-Level Personalization in Heterogeneous Federated Learning [34.01721941230425]
教師付き学習タスクのための適応的特徴混合(pFedAFM)を用いたモデルヘテロジニアスなフェデレート学習手法を提案する。
7つの最先端のMHPFL法を著しく上回り、精度は7.93%まで向上した。
論文 参考訳（メタデータ） (2024-04-27T09:52:59Z) - FedP3: Federated Personalized and Privacy-friendly Network Pruning under Model Heterogeneity [82.5448598805968]
我々は、フェデレートされたパーソナライズされたプライバシフレンドリーなネットワークプルーニングを表現する、効果的で適応可能なフェデレーションフレームワークであるFedP3を提案する。
我々は、FedP3とその局所微分プライベート変種DP-FedP3の理論解釈を提供し、それらの効率を理論的に検証する。
論文 参考訳（メタデータ） (2024-04-15T14:14:05Z) - Spectral Co-Distillation for Personalized Federated Learning [69.97016362754319]
本稿では,モデルスペクトル情報に基づく新しい蒸留法を提案する。
また、汎用モデルトレーニングとパーソナライズモデルトレーニングの双方向ブリッジを確立するための共蒸留フレームワークも導入する。
提案したスペクトル共蒸留法の有効性と性能を実証し,また,待ち時間のないトレーニングプロトコルについて述べる。
論文 参考訳（メタデータ） (2024-01-29T16:01:38Z) - Fed-CO2: Cooperation of Online and Offline Models for Severe Data
Heterogeneity in Federated Learning [14.914477928398133]
フェデレートラーニング(FL)は、有望な分散ラーニングパラダイムとして登場した。
FLの有効性は、トレーニングに使われているデータの品質に大きく依存する。
ラベル分布スキューと特徴スキューの両方を扱う普遍的なFLフレームワークであるFed-CO$_2$を提案する。
論文 参考訳（メタデータ） (2023-12-21T15:12:12Z) - Unlocking the Potential of Prompt-Tuning in Bridging Generalized and
Personalized Federated Learning [49.72857433721424]
Vision Transformer (ViT) と Visual Prompt Tuning (VPT) は、様々なコンピュータビジョンタスクの効率を改善して最先端のパフォーマンスを実現する。
本稿では,GFL(Generalized FL)とPFL(Personalized FL)を組み合わせた新しいアルゴリズムSGPTを提案する。
論文 参考訳（メタデータ） (2023-10-27T17:22:09Z) - PPFL: A Personalized Federated Learning Framework for Heterogeneous
Population [30.51508591732483]
我々は、PPFLと呼ばれるフェデレートラーニングのパラダイムの中で、フレキシブルで解釈可能なパーソナライズされたフレームワークを開発する。
標準モデルを利用することで、不均一性をこれらのベクトルに対するクライアントの好みとしてモデル化し、メンバーシップの好みを利用する。
本研究は,病理学的特徴と実践的データセットの両方について実験を行い,PPFLの有効性を検証した。
論文 参考訳（メタデータ） (2023-10-22T16:06:27Z) - PFL-GAN: When Client Heterogeneity Meets Generative Models in
Personalized Federated Learning [55.930403371398114]
パーソナライズドラーニング(PFL)のための新しいGAN(Generative Adversarial Network)の共有と集約戦略を提案する。
PFL-GANは、異なるシナリオにおけるクライアントの不均一性に対処する。より具体的には、まずクライアント間の類似性を学び、次に重み付けされた協調データアグリゲーションを開発する。
いくつかのよく知られたデータセットに対する厳密な実験による実験結果は、PFL-GANの有効性を示している。
論文 参考訳（メタデータ） (2023-08-23T22:38:35Z) - Towards More Suitable Personalization in Federated Learning via
Decentralized Partial Model Training [67.67045085186797]
既存のシステムのほとんどは、中央のFLサーバが失敗した場合、大きな通信負荷に直面しなければならない。
共有パラメータと個人パラメータを交互に更新することで、ディープモデルの「右」をパーソナライズする。
共有パラメータアグリゲーションプロセスをさらに促進するために、ローカルシャープネス最小化を統合するDFedを提案する。
論文 参考訳（メタデータ） (2023-05-24T13:52:18Z) - Achieving Personalized Federated Learning with Sparse Local Models [75.76854544460981]
フェデレートラーニング(FL)は異種分散データに対して脆弱である。
この問題に対処するため、個人ごとに専用のローカルモデルを作成するためにパーソナライズされたFL(PFL)が提案された。
既存のPFLソリューションは、異なるモデルアーキテクチャに対する不満足な一般化を示すか、あるいは膨大な余分な計算とメモリを犠牲にするかのどちらかである。
我々は、パーソナライズされたスパースマスクを用いて、エッジ上のスパースローカルモデルをカスタマイズする新しいPFLスキームFedSpaを提案する。
論文 参考訳（メタデータ） (2022-01-27T08:43:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。