論文の概要: APFL: Analytic Personalized Federated Learning via Dual-Stream Least Squares
- arxiv url: http://arxiv.org/abs/2508.10732v1
- Date: Thu, 14 Aug 2025 15:12:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-15 22:24:48.376248
- Title: APFL: Analytic Personalized Federated Learning via Dual-Stream Least Squares
- Title(参考訳): APFL:Dual-Stream Least Squaresによる分析パーソナライズドフェデレーション学習
- Authors: Kejia Fan, Jianheng Tang, Zhirui Yang, Feijiang Han, Jiaxu Li, Run He, Yajiang Huang, Anfeng Liu, Houbing Herbert Song, Yunhuai Liu, Huiping Zhuang,
- Abstract要約: 解析的パーソナライズド・フェデレーション・ラーニング (APFL) 手法を提案する。
当社のAPFLは,全クライアントを対象としたグローバルな一般化のための共有プライマリストリームと,各クライアントのローカルパーソナライズのための専用リファインメントストリームを組み込んでいる。
さまざまなデータセットにまたがる実証的な結果は、最先端のベースラインよりもAPFLの方が優れていることを証明します。
- 参考スコア(独自算出の注目度): 15.83153405076735
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Personalized Federated Learning (PFL) has presented a significant challenge to deliver personalized models to individual clients through collaborative training. Existing PFL methods are often vulnerable to non-IID data, which severely hinders collective generalization and then compromises the subsequent personalization efforts. In this paper, to address this non-IID issue in PFL, we propose an Analytic Personalized Federated Learning (APFL) approach via dual-stream least squares. In our APFL, we use a foundation model as a frozen backbone for feature extraction. Subsequent to the feature extractor, we develop dual-stream analytic models to achieve both collective generalization and individual personalization. Specifically, our APFL incorporates a shared primary stream for global generalization across all clients, and a dedicated refinement stream for local personalization of each individual client. The analytical solutions of our APFL enable its ideal property of heterogeneity invariance, theoretically meaning that each personalized model remains identical regardless of how heterogeneous the data are distributed across all other clients. Empirical results across various datasets also validate the superiority of our APFL over state-of-the-art baselines, with advantages of at least 1.10%-15.45% in accuracy.
- Abstract(参考訳): パーソナライズド・フェデレーション・ラーニング(PFL)は、コラボレーティブトレーニングを通じて、個々のクライアントにパーソナライズされたモデルを提供するという大きな課題を提示している。
既存のPFL法は、しばしば非IIDデータに対して脆弱であり、集団の一般化を著しく妨げ、その後のパーソナライゼーションの努力を損なう。
本稿では,PFLにおけるこの非IID問題に対処するため,二列最小二乗法を用いた分析パーソナライズド・フェデレーション・ラーニング(APFL)アプローチを提案する。
APFLでは、ファンデーションモデルをフリーズバックボーンとして、特徴抽出に使用しています。
特徴抽出器の後, 集団的一般化と個人的パーソナライゼーションの両立を実現するために, 二重ストリーム解析モデルを構築した。
具体的には、APFLは全クライアントをまたいだグローバルな一般化のための共有プライマリストリームと、各クライアントのローカルパーソナライズのための専用リファインメントストリームを組み込んでいる。
理論的には、各パーソナライズされたモデルは、データが他のすべてのクライアントに分散されているかに関わらず、同一であることを意味する。
様々なデータセットにまたがる実証的な結果は、少なくとも1.10%-15.45%の精度で、最先端のベースラインよりもAPFLの方が優れていることを証明している。
関連論文リスト
- FedHiP: Heterogeneity-Invariant Personalized Federated Learning Through Closed-Form Solutions [22.424881385529783]
我々は、勾配に基づく更新を避けるために、解析的(つまり、クローズドフォーム)な解を通じて、FedHiPと呼ばれる不均質不変な個人化フェデレーション学習スキームを提案する。
提案手法は,分析的局所学習,分析的グローバルアグリゲーション,分析的局所パーソナライゼーションの3段階を含む。
ベンチマークデータセットの実験は、我々のFedHiPスキームの優位性を検証し、最先端のベースラインを少なくとも5.79%-20.97%の精度で上回った。
論文 参考訳(メタデータ) (2025-08-06T14:15:57Z) - Not All Clients Are Equal: Personalized Federated Learning on Heterogeneous Multi-Modal Clients [52.14230635007546]
ファンデーションモデルは多様なマルチモーダルタスクにまたがって顕著な能力を示してきたが、その集中的なトレーニングはプライバシーの懸念を高め、高い伝達コストを引き起こす。
異なるユーザー目的のためにAIモデルをパーソナライズする需要が高まっているため、パーソナライズされたフェデレーションラーニング(PFL)が出現している。
PFLは、各クライアントが他のクライアントの知識を活用して、データを共有することなく、個々のユーザの好みにさらに適応することを可能にする。
論文 参考訳(メタデータ) (2025-05-20T09:17:07Z) - Spectral Co-Distillation for Personalized Federated Learning [69.97016362754319]
本稿では,モデルスペクトル情報に基づく新しい蒸留法を提案する。
また、汎用モデルトレーニングとパーソナライズモデルトレーニングの双方向ブリッジを確立するための共蒸留フレームワークも導入する。
提案したスペクトル共蒸留法の有効性と性能を実証し,また,待ち時間のないトレーニングプロトコルについて述べる。
論文 参考訳(メタデータ) (2024-01-29T16:01:38Z) - PRIOR: Personalized Prior for Reactivating the Information Overlooked in
Federated Learning [16.344719695572586]
各クライアントのグローバルモデルにパーソナライズされた事前知識を注入する新しいスキームを提案する。
提案したアプローチの中心は,Bregman Divergence (pFedBreD) による PFL フレームワークである。
提案手法は5つのデータセット上での最先端のパフォーマンスに到達し、8つのベンチマークで最大3.5%性能を向上する。
論文 参考訳(メタデータ) (2023-10-13T15:21:25Z) - PFL-GAN: When Client Heterogeneity Meets Generative Models in
Personalized Federated Learning [55.930403371398114]
パーソナライズドラーニング(PFL)のための新しいGAN(Generative Adversarial Network)の共有と集約戦略を提案する。
PFL-GANは、異なるシナリオにおけるクライアントの不均一性に対処する。より具体的には、まずクライアント間の類似性を学び、次に重み付けされた協調データアグリゲーションを開発する。
いくつかのよく知られたデータセットに対する厳密な実験による実験結果は、PFL-GANの有効性を示している。
論文 参考訳(メタデータ) (2023-08-23T22:38:35Z) - Learning to Specialize: Joint Gating-Expert Training for Adaptive MoEs in Decentralized Settings [41.98633628526484]
Mixture-of-Experts (MoEs)は、コンポーネントのサブセットを動的に活性化することでスケーラビリティを実現する。
推論コストとデータヘテロジニティにより、ゲーティング関数と専門家の協調トレーニングがドメイン固有の専門知識を割り当てる方法について検討する。
論文 参考訳(メタデータ) (2023-06-14T15:47:52Z) - Towards More Suitable Personalization in Federated Learning via
Decentralized Partial Model Training [67.67045085186797]
既存のシステムのほとんどは、中央のFLサーバが失敗した場合、大きな通信負荷に直面しなければならない。
共有パラメータと個人パラメータを交互に更新することで、ディープモデルの「右」をパーソナライズする。
共有パラメータアグリゲーションプロセスをさらに促進するために、ローカルシャープネス最小化を統合するDFedを提案する。
論文 参考訳(メタデータ) (2023-05-24T13:52:18Z) - Personalized Federated Learning on Long-Tailed Data via Adversarial
Feature Augmentation [24.679535905451758]
PFLは、プライバシを保存する方法で、すべてのクライアントの知識に基づいて、各クライアントのパーソナライズされたモデルを学ぶことを目的としている。
既存のPFL法では、全てのクライアントにわたる基礎となるグローバルデータが、ロングテール分布を考慮せずに均一に分散されていると仮定している。
PFLにおけるこの共同問題に対処するために,FedAFA(Federated Learning with Adversarial Feature Augmentation)を提案する。
論文 参考訳(メタデータ) (2023-03-27T13:00:20Z) - Visual Prompt Based Personalized Federated Learning [83.04104655903846]
pFedPTと呼ばれる画像分類タスクのための新しいPFLフレームワークを提案し、クライアントのローカルデータ配信情報を暗黙的に表現するためにパーソナライズされた視覚的プロンプトを利用する。
CIFAR10とCIFAR100データセットの実験では、pFedPTは様々な設定でいくつかの最先端(SOTA)PFLアルゴリズムより優れていた。
論文 参考訳(メタデータ) (2023-03-15T15:02:15Z) - Adapt to Adaptation: Learning Personalization for Cross-Silo Federated
Learning [6.0088002781256185]
従来のフェデレーション学習は、分散データによるクライアントのフェデレーションのためのグローバルモデルをトレーニングすることを目的としている。
非IIDデータセット間の分散シフトは、データヘテロジニティとしても知られ、この1つのグローバルモデルに適合するソリューションにしばしば挑戦する。
我々は、各クライアントが他のクライアントのモデルからどれだけの恩恵を受けることができるかを適応的に学習するパーソナライズされたクロスサイロFLフレームワークであるAPPLEを提案する。
論文 参考訳(メタデータ) (2021-10-15T22:23:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。