論文の概要: Fine-Tuning Impairs the Balancedness of Foundation Models in Long-tailed Personalized Federated Learning

• arxiv url: http://arxiv.org/abs/2605.02247v1
• Date: Mon, 04 May 2026 05:41:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-05 20:33:50.150367
• Title: Fine-Tuning Impairs the Balancedness of Foundation Models in Long-tailed Personalized Federated Learning
• Title（参考訳）: ロングテールの個人化フェデレーション学習におけるファインチューニングは基礎モデルのバランスを損なう
• Authors: Shihao Hou, Chikai Shang, Zhiheng Yang, Jiacheng Yang, Xinyi Shang, Junlong Gao, Yiqun Zhang, Yang Lu,
• Abstract要約: グラディエント・パーフィケーションと残留学習によるフェデレート・ラーニング(FedPuReL)を提案する。 FedPuReLは、不偏のパーソナライゼーションを可能にしながら、グローバルモデルにおけるバランスのとれた知識を保存する。 実験により、FedPuReLは最先端の手法よりも一貫して優れていることが示された。
• 参考スコア（独自算出の注目度）: 14.554714155285374
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Personalized federated learning (PFL) with foundation models has emerged as a promising paradigm enabling clients to adapt to heterogeneous data distributions. However, real-world scenarios often face the co-occurrence of non-IID data and long-tailed class distributions, presenting unique challenges that remain underexplored in PFL. In this paper, we investigate this long-tailed personalized federated learning and observe that current methods suffer from two limitations: (i) fine-tuning degrades performance below zero-shot baselines due to the erosion of inherent class balance in foundation models; (ii) conventional personalization techniques further transfer this bias to local models through parameter or feature-level fusion. To address these challenges, we propose Federated Learning via Gradient Purification and Residual Learning (FedPuReL), which preserves balanced knowledge in the global model while enabling unbiased personalization. Specifically, we purify local gradients using zero-shot predictions to maintain a class-balanced global model, and model personalization as residual correction atop the frozen global model. Extensive experiments demonstrate that FedPuReL consistently outperforms state-of-the-art methods, achieving superior performance on both global and personalized models across diverse long-tailed scenarios. The code is available at https://github.com/shihaohou/FedPuReL.
• Abstract（参考訳）: ファウンデーションモデルを用いたパーソナライズド・フェデレーション・ラーニング(PFL)は、クライアントが異種データ分散に適応できる有望なパラダイムとして登場した。 しかし、現実世界のシナリオは非IIDデータと長い尾を持つクラス分布の共起に直面することが多く、PFLでは未解明のままである。 本稿では、この長い尾を持つパーソナライズド・フェデレーション・ラーニングを調査し、現在の手法が2つの制限を負うことを観察する。 一 ファインチューニングは、基礎モデルの固有のクラスバランスの侵食により、ゼロショット基準線以下の性能を低下させる。 (II)従来のパーソナライズ手法により、パラメータや特徴レベルの融合を通じて、このバイアスを局所モデルに転送する。 これらの課題に対処するため,グローバルモデルにおけるバランスのとれた知識を保ちながら,偏りのないパーソナライゼーションを実現するためのFedPuReL(FedPuReL)を提案する。 具体的には、ゼロショット予測を用いて局所勾配を浄化し、クラスバランスのグローバルモデルを維持するとともに、凍結したグローバルモデル上の残差補正としてパーソナライズをモデル化する。 大規模な実験により、FedPuReLは最先端の手法を一貫して上回り、さまざまなロングテールシナリオにまたがるグローバルモデルとパーソナライズモデルの両方で優れたパフォーマンスを実現している。 コードはhttps://github.com/shihaohou/FedPuReL.comで公開されている。

関連論文リスト

• FedImpro: Measuring and Improving Client Update in Federated Learning [77.68805026788836]
  フェデレートラーニング(FL)モデルは、不均一なデータによって引き起こされるクライアントのドリフトを経験することが多い。 我々は、クライアントのドリフトに対する別の視点を示し、改善されたローカルモデルを生成することにより、それを緩和することを目指している。
  論文  参考訳（メタデータ） (2024-02-10T18:14:57Z)
• FedLoGe: Joint Local and Generic Federated Learning under Long-tailed Data [46.29190753993415]
  Federated Long-Tailed Learning (Fed-LT)は、分散化されたローカルクライアントから収集されたデータが、グローバルに普及しているロングテール分布を示すパラダイムである。 本稿では、Fed-LT(FedLoGe)におけるFederated Local and Generic Model Training(FedLoGe)というアプローチを紹介し、ローカルモデルとジェネリックモデルの両方のパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2024-01-17T05:04:33Z)
• PRIOR: Personalized Prior for Reactivating the Information Overlooked in Federated Learning [16.344719695572586]
  各クライアントのグローバルモデルにパーソナライズされた事前知識を注入する新しいスキームを提案する。 提案したアプローチの中心は,Bregman Divergence (pFedBreD) による PFL フレームワークである。 提案手法は5つのデータセット上での最先端のパフォーマンスに到達し、8つのベンチマークで最大3.5%性能を向上する。
  論文  参考訳（メタデータ） (2023-10-13T15:21:25Z)
• Integrating Local Real Data with Global Gradient Prototypes for Classifier Re-Balancing in Federated Long-Tailed Learning [60.41501515192088]
  フェデレートラーニング(FL)は、グローバルモデルを協調的にトレーニングする複数のクライアントを含む、人気のある分散ラーニングパラダイムになっています。 データサンプルは通常、現実世界の長い尾の分布に従っており、分散化された長い尾のデータのFLは、貧弱なグローバルモデルをもたらす。 本研究では、局所的な実データとグローバルな勾配のプロトタイプを統合し、局所的なバランスの取れたデータセットを形成する。
  論文  参考訳（メタデータ） (2023-01-25T03:18:10Z)
• Closing the Gap between Client and Global Model Performance in Heterogeneous Federated Learning [2.1044900734651626]
  カスタムクライアントモデルをトレーニングするための選択されたアプローチが、グローバルモデルにどのように影響するかを示す。 KDとLwoF(LwoF)を併用して、改良されたパーソナライズドモデルを生成する手法を提案する。
  論文  参考訳（メタデータ） (2022-11-07T11:12:57Z)
• Fine-tuning Global Model via Data-Free Knowledge Distillation for Non-IID Federated Learning [86.59588262014456]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。 サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。 私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
  論文  参考訳（メタデータ） (2022-03-17T11:18:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。