論文の概要: A Closer Look at Personalized Fine-Tuning in Heterogeneous Federated Learning

• arxiv url: http://arxiv.org/abs/2511.12695v1
• Date: Sun, 16 Nov 2025 17:19:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-18 14:36:24.487297
• Title: A Closer Look at Personalized Fine-Tuning in Heterogeneous Federated Learning
• Title（参考訳）: 不均一なフェデレーション学習におけるパーソナライズされたファインチューニング
• Authors: Minghui Chen, Hrad Ghoukasian, Ruinan Jin, Zehua Wang, Sai Praneeth Karimireddy, Xiaoxiao Li,
• Abstract要約: フェデレートラーニング(FL)は、分散されたプライバシ保護モデルトレーニングを可能にするが、グローバルな一般化とローカルパーソナライゼーションのバランスをとるのに苦労している。 特徴歪みを緩和する基本的集中型戦略であるフルファインチューニング(LP-FT)を採用することを提案する。
• 参考スコア（独自算出の注目度）: 42.09768870974917
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated Learning (FL) enables decentralized, privacy-preserving model training but struggles to balance global generalization and local personalization due to non-identical data distributions across clients. Personalized Fine-Tuning (PFT), a popular post-hoc solution, fine-tunes the final global model locally but often overfits to skewed client distributions or fails under domain shifts. We propose adapting Linear Probing followed by full Fine-Tuning (LP-FT), a principled centralized strategy for alleviating feature distortion (Kumar et al., 2022), to the FL setting. Through systematic evaluation across seven datasets and six PFT variants, we demonstrate LP-FT's superiority in balancing personalization and generalization. Our analysis uncovers federated feature distortion, a phenomenon where local fine-tuning destabilizes globally learned features, and theoretically characterizes how LP-FT mitigates this via phased parameter updates. We further establish conditions (e.g., partial feature overlap, covariate-concept shift) under which LP-FT outperforms standard fine-tuning, offering actionable guidelines for deploying robust personalization in FL.
• Abstract（参考訳）: フェデレートラーニング(FL)は、分散されたプライバシ保護モデルトレーニングを可能にするが、クライアント間の非IDデータ分散によるグローバルな一般化とローカルなパーソナライゼーションのバランスをとるのに苦労する。 人気のポストホックソリューションであるPersonalized Fine-Tuning (PFT)は、ローカルで最終グローバルモデルを微調整するが、しばしばドメインシフトの下でクライアントの分散を歪ませたり失敗したりする。 特徴歪みを緩和する原則的集中型戦略であるフルファインチューニング(LP-FT)をFL設定に適用することを提案する。 7つのデータセットと6つのPFT変異体を体系的に評価することにより、パーソナライゼーションと一般化のバランスをとるLP-FTの優位性を実証する。 我々の分析では,局所的な微調整がグローバルに学習された特徴を不安定にする現象であるフェデレーション特徴の歪みを明らかにし,LP-FTが位相パラメータの更新によってこれを緩和する方法を理論的に特徴付ける。 さらに、LP-FTが標準微調整よりも優れており、FLで堅牢なパーソナライゼーションを展開するための実用的なガイドラインを提供する条件(例えば、部分的特徴重なり、共変量-概念シフト)を確立する。

関連論文リスト

• FedPPA: Progressive Parameter Alignment for Personalized Federated Learning [0.9931624906346306]
  フェデレートラーニング(FL)は、複数のクライアントがデータを共有せずに協調的にモデルをトレーニングできる、分散されたプライバシ保護機械学習パラダイムとして設計されている。 実世界のシナリオでは、クライアントは不均一な計算資源を持ち、非独立で同一の分散データ(非IID)を保持し、トレーニング中に重大な課題を生じさせる。 本稿では,クライアント間の共通レイヤの重み付けとグローバルモデルの重み付けを段階的に整合させるプログレッシブアライメント(FedPPA)を提案する。 MNIST、FMNIST、CIFAR-10を含む3つの画像分類データセットの実験は、FedPPAが既存のFLアルゴリズムより一貫して優れていることを示した。
  論文  参考訳（メタデータ） (2025-10-16T14:03:05Z)
• FedReFT: Federated Representation Fine-Tuning with All-But-Me Aggregation [12.544628972135905]
  本稿では,クライアントの隠れ表現を微調整する新しい手法であるFederated Representation Fine-Tuning(FedReFT)を紹介する。 FedReFTは、隠された表現を直接操作するためにスパース介入層を適用し、軽量でセマンティックにリッチな微調整の代替を提供する。 We evaluate FedReFT on commonsense reasoning, arithmetic reasoning, instruction-tuning, and GLUE。
  論文  参考訳（メタデータ） (2025-08-27T22:03:19Z)
• FedImpro: Measuring and Improving Client Update in Federated Learning [77.68805026788836]
  フェデレートラーニング(FL)モデルは、不均一なデータによって引き起こされるクライアントのドリフトを経験することが多い。 我々は、クライアントのドリフトに対する別の視点を示し、改善されたローカルモデルを生成することにより、それを緩和することを目指している。
  論文  参考訳（メタデータ） (2024-02-10T18:14:57Z)
• FedLoGe: Joint Local and Generic Federated Learning under Long-tailed Data [46.29190753993415]
  Federated Long-Tailed Learning (Fed-LT)は、分散化されたローカルクライアントから収集されたデータが、グローバルに普及しているロングテール分布を示すパラダイムである。 本稿では、Fed-LT(FedLoGe)におけるFederated Local and Generic Model Training(FedLoGe)というアプローチを紹介し、ローカルモデルとジェネリックモデルの両方のパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2024-01-17T05:04:33Z)
• Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
  フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。 その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。 我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
  論文  参考訳（メタデータ） (2023-08-20T04:41:01Z)
• Towards More Suitable Personalization in Federated Learning via Decentralized Partial Model Training [67.67045085186797]
  既存のシステムのほとんどは、中央のFLサーバが失敗した場合、大きな通信負荷に直面しなければならない。 共有パラメータと個人パラメータを交互に更新することで、ディープモデルの「右」をパーソナライズする。 共有パラメータアグリゲーションプロセスをさらに促進するために、ローカルシャープネス最小化を統合するDFedを提案する。
  論文  参考訳（メタデータ） (2023-05-24T13:52:18Z)
• Confidence-aware Personalized Federated Learning via Variational Expectation Maximization [34.354154518009956]
  パーソナライズド・フェデレーション・ラーニング(PFL)のための新しいフレームワークを提案する。 PFLは、クライアント間で共有モデルをトレーニングする分散学習スキームである。 階層的モデリングと変分推論に基づくPFLの新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-21T20:12:27Z)
• Disentangled Federated Learning for Tackling Attributes Skew via Invariant Aggregation and Diversity Transferring [104.19414150171472]
  属性は、クライアント間の一貫した最適化方向から、現在の連邦学習(FL)フレームワークを歪めます。 本稿では,ドメイン固有属性とクロス不変属性を2つの補足枝に分離するために,非絡み付きフェデレーション学習(DFL)を提案する。 実験により、DFLはSOTA FL法と比較して高い性能、より良い解釈可能性、より高速な収束率でFLを促進することが確認された。
  論文  参考訳（メタデータ） (2022-06-14T13:12:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。