論文の概要: FedHiP: Heterogeneity-Invariant Personalized Federated Learning Through Closed-Form Solutions
- arxiv url: http://arxiv.org/abs/2508.04470v1
- Date: Wed, 06 Aug 2025 14:15:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-07 20:09:22.753259
- Title: FedHiP: Heterogeneity-Invariant Personalized Federated Learning Through Closed-Form Solutions
- Title（参考訳）: FedHiP: クローズドフォームソリューションによる不均一な個人化フェデレーション学習
- Authors: Jianheng Tang, Zhirui Yang, Jingchao Wang, Kejia Fan, Jinfeng Xu, Huiping Zhuang, Anfeng Liu, Houbing Herbert Song, Leye Wang, Yunhuai Liu,
- Abstract要約: 我々は、勾配に基づく更新を避けるために、解析的(つまり、クローズドフォーム)な解を通じて、FedHiPと呼ばれる不均質不変な個人化フェデレーション学習スキームを提案する。
提案手法は,分析的局所学習,分析的グローバルアグリゲーション,分析的局所パーソナライゼーションの3段階を含む。
ベンチマークデータセットの実験は、我々のFedHiPスキームの優位性を検証し、最先端のベースラインを少なくとも5.79%-20.97%の精度で上回った。
- 参考スコア（独自算出の注目度）: 22.424881385529783
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Lately, Personalized Federated Learning (PFL) has emerged as a prevalent paradigm to deliver personalized models by collaboratively training while simultaneously adapting to each client's local applications. Existing PFL methods typically face a significant challenge due to the ubiquitous data heterogeneity (i.e., non-IID data) across clients, which severely hinders convergence and degrades performance. We identify that the root issue lies in the long-standing reliance on gradient-based updates, which are inherently sensitive to non-IID data. To fundamentally address this issue and bridge the research gap, in this paper, we propose a Heterogeneity-invariant Personalized Federated learning scheme, named FedHiP, through analytical (i.e., closed-form) solutions to avoid gradient-based updates. Specifically, we exploit the trend of self-supervised pre-training, leveraging a foundation model as a frozen backbone for gradient-free feature extraction. Following the feature extractor, we further develop an analytic classifier for gradient-free training. To support both collective generalization and individual personalization, our FedHiP scheme incorporates three phases: analytic local training, analytic global aggregation, and analytic local personalization. The closed-form solutions of our FedHiP scheme enable its ideal property of heterogeneity invariance, meaning that each personalized model remains identical regardless of how non-IID the data are distributed across all other clients. Extensive experiments on benchmark datasets validate the superiority of our FedHiP scheme, outperforming the state-of-the-art baselines by at least 5.79%-20.97% in accuracy.
- Abstract（参考訳）: 最近、パーソナライズド・フェデレート・ラーニング(PFL)は、各クライアントのローカルアプリケーションに同時に適応しながら、協調的なトレーニングによってパーソナライズド・モデルを提供するための、一般的なパラダイムとして登場した。
既存のPFL手法は、クライアント間でのユビキタスなデータ不均一性(すなわち非IIDデータ)により、収束を著しく妨げ、性能を低下させるため、大きな課題に直面している。
根本問題は、非IIDデータに本質的に敏感な勾配ベースの更新に長期間依存することにある。
本稿では,この課題を根本的に解決し,研究ギャップを埋めるために,勾配に基づく更新を避けるための解析的(クローズドな)ソリューションを通じて,FedHiPという不均一な個人化フェデレーション学習手法を提案する。
具体的には,基礎モデルを凍結したバックボーンとして活用し,自己教師付き事前学習の傾向を利用する。
特徴抽出器に続き、勾配なし学習のための分析分類器をさらに開発する。
包括的一般化と個人的パーソナライゼーションの両方をサポートするため,我々のFedHiPスキームは分析的局所訓練,分析的グローバルアグリゲーション,分析的局所パーソナライゼーションの3段階を取り入れた。
当社のFedHiPスキームのクローズドフォームソリューションは、その理想的な不均一性の特性を可能にする。つまり、各パーソナライズされたモデルは、他のすべてのクライアントに分散される非IIDモデルに関係なく、同一のままである。
ベンチマークデータセットの大規模な実験は、我々のFedHiPスキームの優位性を検証し、最先端のベースラインを少なくとも5.79%-20.97%の精度で上回っている。
関連論文リスト
- Generalized and Personalized Federated Learning with Foundation Models via Orthogonal Transformations [4.008780119020479]
Federated Learningは、集中的なデータ収集を必要とせずに、分散化されたクライアントやローカルデータを保持するデバイス間でモデルをトレーニングすることを目的としている。
我々は,ブラックボックス基盤モデルを活用した新しいアプローチであるFedOTを紹介する。
FedOTは、さまざまなクライアント間の勾配競合を緩和し、セマンティックな整合性を保持し、実質的なデータの存在下でも堅牢なパフォーマンスを達成する。
論文 参考訳（メタデータ） (2025-05-26T12:18:24Z) - Not All Clients Are Equal: Personalized Federated Learning on Heterogeneous Multi-Modal Clients [52.14230635007546]
ファンデーションモデルは多様なマルチモーダルタスクにまたがって顕著な能力を示してきたが、その集中的なトレーニングはプライバシーの懸念を高め、高い伝達コストを引き起こす。
異なるユーザー目的のためにAIモデルをパーソナライズする需要が高まっているため、パーソナライズされたフェデレーションラーニング(PFL)が出現している。
PFLは、各クライアントが他のクライアントの知識を活用して、データを共有することなく、個々のユーザの好みにさらに適応することを可能にする。
論文 参考訳（メタデータ） (2025-05-20T09:17:07Z) - AFCL: Analytic Federated Continual Learning for Spatio-Temporal Invariance of Non-IID Data [45.66391633579935]
Federated Continual Learning (FCL)は、分散クライアントがオンラインタスクストリームからグローバルモデルを協調的にトレーニングすることを可能にする。
FCL法は,分散クライアント間の空間的データ不均一性とオンラインタスク間の時間的データ不均一性の両方の課題に直面している。
凍結抽出特徴量から解析的解(すなわち閉形式)を導出することにより,解析的フェデレート連続学習(AFCL)と呼ばれる勾配のない手法を提案する。
論文 参考訳（メタデータ） (2025-05-18T05:55:09Z) - Client-Centric Federated Adaptive Optimization [78.30827455292827]
Federated Learning(FL)は、クライアントが独自のデータをプライベートに保ちながら、協調的にモデルをトレーニングする分散学習パラダイムである。
本稿では,新しいフェデレーション最適化手法のクラスであるフェデレーション中心適応最適化を提案する。
論文 参考訳（メタデータ） (2025-01-17T04:00:50Z) - FedImpro: Measuring and Improving Client Update in Federated Learning [77.68805026788836]
フェデレートラーニング(FL)モデルは、不均一なデータによって引き起こされるクライアントのドリフトを経験することが多い。
我々は、クライアントのドリフトに対する別の視点を示し、改善されたローカルモデルを生成することにより、それを緩和することを目指している。
論文 参考訳（メタデータ） (2024-02-10T18:14:57Z) - Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳（メタデータ） (2023-12-22T02:12:08Z) - PRIOR: Personalized Prior for Reactivating the Information Overlooked in
Federated Learning [16.344719695572586]
各クライアントのグローバルモデルにパーソナライズされた事前知識を注入する新しいスキームを提案する。
提案したアプローチの中心は,Bregman Divergence (pFedBreD) による PFL フレームワークである。
提案手法は5つのデータセット上での最先端のパフォーマンスに到達し、8つのベンチマークで最大3.5%性能を向上する。
論文 参考訳（メタデータ） (2023-10-13T15:21:25Z) - Towards Personalized Federated Learning via Heterogeneous Model
Reassembly [84.44268421053043]
pFedHRは、異種モデルの再組み立てを利用して、パーソナライズされたフェデレーション学習を実現するフレームワークである。
pFedHRは、動的に多様なパーソナライズされたモデルを自動生成する。
論文 参考訳（メタデータ） (2023-08-16T19:36:01Z) - Adaptive Federated Learning via New Entropy Approach [14.595709494370372]
Federated Learning (FL) は、分散機械学習フレームワークとして注目されている。
本稿では,不均一クライアント間のパラメータ偏差を軽減するために,entropy理論(FedEnt)に基づく適応型FEDerated Learningアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-03-27T07:57:04Z) - Exploiting Personalized Invariance for Better Out-of-distribution
Generalization in Federated Learning [13.246981646250518]
本稿では, 個人化学習手法と比較して, 個人化非分散を探索する汎用的な二重正規化学習フレームワークを提案する。
本手法は,既存のフェデレーション学習や不変学習よりも,多様なアウト・オブ・ディストリビューションおよび非IIDデータケースにおいて優れていることを示す。
論文 参考訳（メタデータ） (2022-11-21T08:17:03Z) - DRFLM: Distributionally Robust Federated Learning with Inter-client
Noise via Local Mixup [58.894901088797376]
連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。
上記の2つの課題を同時に解決するための一般的な枠組みを提案する。
我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
論文 参考訳（メタデータ） (2022-04-16T08:08:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。