論文の概要: Few-for-Many Personalized Federated Learning
- arxiv url: http://arxiv.org/abs/2603.11992v1
- Date: Thu, 12 Mar 2026 14:43:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-13 14:46:26.148619
- Title: Few-for-Many Personalized Federated Learning
- Title(参考訳): 多人数個人化フェデレーションラーニング
- Authors: Ping Guo, Tiantian Zhang, Xi Lin, Xiang Li, Zhi-Ri Tang, Qingfu Zhang,
- Abstract要約: FedFewは、効率的な勾配ベースの更新を通じて、$K$サーバーモデルを共同で最適化する実用的なアルゴリズムである。
ビジョン、NLP、実世界の医療データセットにわたる実験では、FedFewはわずか3つのモデルしか持たないが、他の最先端のアプローチよりも一貫して優れていることが示されている。
- 参考スコア(独自算出の注目度): 21.377573928351833
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Personalized Federated Learning (PFL) aims to train customized models for clients with highly heterogeneous data distributions while preserving data privacy. Existing approaches often rely on heuristics like clustering or model interpolation, which lack principled mechanisms for balancing heterogeneous client objectives. Serving $M$ clients with distinct data distributions is inherently a multi-objective optimization problem, where achieving optimal personalization ideally requires $M$ distinct models on the Pareto front. However, maintaining $M$ separate models poses significant scalability challenges in federated settings with hundreds or thousands of clients. To address this challenge, we reformulate PFL as a few-for-many optimization problem that maintains only $K$ shared server models ($K \ll M$) to collectively serve all $M$ clients. We prove that this framework achieves near-optimal personalization: the approximation error diminishes as $K$ increases and each client's model converges to each client's optimum as data grows. Building on this reformulation, we propose FedFew, a practical algorithm that jointly optimizes the $K$ server models through efficient gradient-based updates. Unlike clustering-based approaches that require manual client partitioning or interpolation-based methods that demand careful hyperparameter tuning, FedFew automatically discovers the optimal model diversity through its optimization process. Experiments across vision, NLP, and real-world medical imaging datasets demonstrate that FedFew, with just 3 models, consistently outperforms other state-of-the-art approaches. Code is available at https://github.com/pgg3/FedFew.
- Abstract(参考訳): パーソナライズド・フェデレーション・ラーニング(PFL)は、データのプライバシを保ちながら、高度に異質なデータ分散を持つクライアント向けにカスタマイズされたモデルをトレーニングすることを目的としている。
既存のアプローチはしばしばクラスタリングやモデル補間のようなヒューリスティックな手法に依存しており、これは異種クライアントの目的のバランスをとるための原則的なメカニズムを欠いている。
異なるデータ分布を持つ$M$クライアントを実現することは、本質的に多目的最適化問題であり、最適パーソナライゼーションを達成するためには、理想的にはParetoのフロントで$M$の異なるモデルを必要とする。
しかし、M$の別モデルを維持することは、数百から数千のクライアントでフェデレートされた設定において、大きなスケーラビリティ上の課題をもたらす。
この課題に対処するため、PFLを数対多の最適化問題として再定義し、共有サーバモデル(K \ll M$)のみを維持して、すべての$M$クライアントに一括してサービスを提供する。
近似誤差はK$の増加とともに減少し、各クライアントのモデルはデータが大きくなるにつれて各クライアントの最適値に収束する。
この再編成に基づいてFedFewを提案する。FedFewは、効率的な勾配に基づく更新によって、$K$サーバモデルを協調的に最適化する実用的なアルゴリズムである。
手動のクライアントパーティショニングや、注意深いハイパーパラメータチューニングを必要とする補間ベースのメソッドを必要とするクラスタリングベースのアプローチとは異なり、FedFewは最適化プロセスを通じて最適なモデルの多様性を自動的に発見する。
視覚、NLP、実世界の医療画像データセットにわたる実験により、FedFewはわずか3つのモデルしか持たないが、他の最先端のアプローチよりも一貫して優れていることが示された。
コードはhttps://github.com/pgg3/FedFew.comで入手できる。
関連論文リスト
- FedPPA: Progressive Parameter Alignment for Personalized Federated Learning [0.9931624906346306]
フェデレートラーニング(FL)は、複数のクライアントがデータを共有せずに協調的にモデルをトレーニングできる、分散されたプライバシ保護機械学習パラダイムとして設計されている。
実世界のシナリオでは、クライアントは不均一な計算資源を持ち、非独立で同一の分散データ(非IID)を保持し、トレーニング中に重大な課題を生じさせる。
本稿では,クライアント間の共通レイヤの重み付けとグローバルモデルの重み付けを段階的に整合させるプログレッシブアライメント(FedPPA)を提案する。
MNIST、FMNIST、CIFAR-10を含む3つの画像分類データセットの実験は、FedPPAが既存のFLアルゴリズムより一貫して優れていることを示した。
論文 参考訳(メタデータ) (2025-10-16T14:03:05Z) - Not All Clients Are Equal: Collaborative Model Personalization on Heterogeneous Multi-Modal Clients [59.52341877720199]
計算コストを伴わずに異種アーキテクチャ間の知識共有を可能にするFedMosaicを提案する。
実世界のタスクの多様性を模倣するために,40の異なるタスクにまたがるマルチモーダルPFLベンチマークを提案する。
実証研究は、FedMosaicが最先端のPFL法より優れていることを示している。
論文 参考訳(メタデータ) (2025-05-20T09:17:07Z) - FedMerge: Federated Personalization via Model Merging [51.12769696559237]
1つのグローバルモデルでは、非IIDタスクや分散を多くのクライアントに提供するには不十分かもしれない。
我々は、複数のグローバルモデルをマージするだけで、クライアントごとにパーソナライズされたモデルを作成することができる新しいFedMergeのアプローチを提案する。
我々はFedMergeを、さまざまなタスクとデータタイプを持つ異なるドメインに適用した3つの異なる非IID設定で評価する。
論文 参考訳(メタデータ) (2025-04-09T10:44:14Z) - Client-Centric Federated Adaptive Optimization [78.30827455292827]
Federated Learning(FL)は、クライアントが独自のデータをプライベートに保ちながら、協調的にモデルをトレーニングする分散学習パラダイムである。
本稿では,新しいフェデレーション最適化手法のクラスであるフェデレーション中心適応最適化を提案する。
論文 参考訳(メタデータ) (2025-01-17T04:00:50Z) - Learn What You Need in Personalized Federated Learning [53.83081622573734]
$textitLearn2pFed$は、アルゴリズムに基づくパーソナライズされたフェデレーション学習フレームワークである。
我々は、textitLearn2pFed$が、従来のパーソナライズされたフェデレーション学習方法よりも大幅に優れていることを示す。
論文 参考訳(メタデータ) (2024-01-16T12:45:15Z) - FedDWA: Personalized Federated Learning with Dynamic Weight Adjustment [20.72576355616359]
本稿では,この問題を解決するために,emphFedDWA (Federated Learning with Dynamic Weight Adjustment) と呼ばれる新しいPFLアルゴリズムを提案する。
FedDWAは、クライアントから収集したモデルに基づいて、パーソナライズされたアグリゲーション重みを計算する。
我々は,5つの実データを用いて広範囲な実験を行い,FedDWAが通信トラフィックを大幅に削減し,最先端のアプローチよりもはるかに高いモデル精度を達成できることを実証した。
論文 参考訳(メタデータ) (2023-05-10T13:12:07Z) - Personalized Federated Learning with First Order Model Optimization [76.81546598985159]
そこで我々は,各クライアントが他のクライアントと連携して,クライアント固有の目的ごとのより強力なモデルを得る,フェデレーション学習の代替案を提案する。
基礎となるデータ分布やクライアントの類似性に関する知識を前提とせず、各クライアントが関心のある任意のターゲット分布を最適化できるようにします。
この手法は既存の代替品を上回り、ローカルデータ配信以外の転送のようなパーソナライズされたFLの新機能を可能にする。
論文 参考訳(メタデータ) (2020-12-15T19:30:29Z) - Federated Mutual Learning [65.46254760557073]
Federated Mutual Leaning (FML)は、クライアントが汎用モデルとパーソナライズされたモデルを独立してトレーニングすることを可能にする。
実験により、FMLは一般的なフェデレート学習環境よりも優れた性能が得られることが示された。
論文 参考訳(メタデータ) (2020-06-27T09:35:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。