論文の概要: WarmFed: Federated Learning with Warm-Start for Globalization and Personalization Via Personalized Diffusion Models

• arxiv url: http://arxiv.org/abs/2503.03110v1
• Date: Wed, 05 Mar 2025 02:10:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-06 15:53:11.375154
• Title: WarmFed: Federated Learning with Warm-Start for Globalization and Personalization Via Personalized Diffusion Models
• Title（参考訳）: WarmFed: 個人化拡散モデルによるグローバリゼーションとパーソナライゼーションのためのワームスター付きフェデレーションラーニング
• Authors: Tao Feng, Jie Zhang, Xiangjian Li, Rong Huang, Huashan Liu, Zhijie Wang,
• Abstract要約: フェデレートラーニング(FL)は、プライバシリークのない統一グローバルモデルを実現するために、複数のクライアントの間で顕著な分散学習パラダイムである。 FLとは対照的に、パーソナライズド・フェデレーション・ラーニングはパーソナライズド・モデルを達成するために各クライアントにサービスを提供することを目的としている。 サーバで単一のグローバルモデルを開発するか、パーソナライズに対応するために、クライアントでパーソナライズされたモデルを育むかの選択肢です。
• 参考スコア（独自算出の注目度）: 8.9679224358238
• License:
• Abstract: Federated Learning (FL) stands as a prominent distributed learning paradigm among multiple clients to achieve a unified global model without privacy leakage. In contrast to FL, Personalized federated learning aims at serving for each client in achieving persoanlized model. However, previous FL frameworks have grappled with a dilemma: the choice between developing a singular global model at the server to bolster globalization or nurturing personalized model at the client to accommodate personalization. Instead of making trade-offs, this paper commences its discourse from the pre-trained initialization, obtaining resilient global information and facilitating the development of both global and personalized models. Specifically, we propose a novel method called WarmFed to achieve this. WarmFed customizes Warm-start through personalized diffusion models, which are generated by local efficient fine-tunining (LoRA). Building upon the Warm-Start, we advance a server-side fine-tuning strategy to derive the global model, and propose a dynamic self-distillation (DSD) to procure more resilient personalized models simultaneously. Comprehensive experiments underscore the substantial gains of our approach across both global and personalized models, achieved within just one-shot and five communication(s).
• Abstract（参考訳）: フェデレートラーニング(FL)は、プライバシリークのない統一グローバルモデルを実現するために、複数のクライアントの間で顕著な分散学習パラダイムである。 FLとは対照的に、パーソナライズド・フェデレーション・ラーニングはパーソナライズド・モデルを達成するために各クライアントにサービスを提供することを目的としている。 しかし、従来のFLフレームワークは、サーバで単一のグローバルモデルを開発するか、パーソナライズに対応するためにクライアントでパーソナライズされたモデルを育むかという選択というジレンマに悩まされてきた。 トレードオフを行う代わりに,本論文では,事前訓練した初期化から,レジリエンスなグローバル情報を取得し,グローバルモデルとパーソナライズドモデルの両方の開発を円滑に進める。 具体的には,これを実現するために WarmFed という新しい手法を提案する。 WarmFedはパーソナライズされた拡散モデルを通じてWarm-startをカスタマイズする。 Warm-Startをベースとしたサーバサイドの微調整戦略を推進し、より弾力性のあるパーソナライズされたモデルを同時に調達する動的自己蒸留(DSD)を提案する。 総合的な実験は、グローバルモデルとパーソナライズモデルの両方において、我々のアプローチの実質的な利益を、ワンショットと5つのコミュニケーションで示している。

関連論文リスト

• Multi-Level Additive Modeling for Structured Non-IID Federated Learning [54.53672323071204]
  我々は、異種クライアント間のより良い知識共有のために、マルチレベル付加モデル(MAM)と呼ばれるマルチレベル構造で編成されたモデルを訓練する。 フェデレートMAM(FeMAM)では、各クライアントは各レベル毎に少なくとも1つのモデルに割り当てられ、そのパーソナライズされた予測は、各レベルに割り当てられたモデルの出力を合計する。 実験により、FeMAMは既存のクラスタリングFLおよびパーソナライズされたFLメソッドを様々な非IID設定で超越していることが示された。
  論文  参考訳（メタデータ） (2024-05-26T07:54:53Z)
• Client-supervised Federated Learning: Towards One-model-for-all Personalization [28.574858341430858]
  FLシステムにおける未確認/テストクライアント上のパーソナライズされたモデルと競合する性能を達成するために,単一の堅牢なグローバルモデルのみを学習する新しいフェデレーション学習フレームワークを提案する。 具体的には、新しいクライアント監督型フェデレートラーニング(FedCS)を設計し、クライアントの潜在表現に対するバイアスを解消し、グローバルモデルがクライアント固有の知識とクライアントに依存しない知識の両方を学習できるようにする。
  論文  参考訳（メタデータ） (2024-03-28T15:29:19Z)
• Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
  フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。 FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。 そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-11-12T11:01:10Z)
• PRIOR: Personalized Prior for Reactivating the Information Overlooked in Federated Learning [16.344719695572586]
  各クライアントのグローバルモデルにパーソナライズされた事前知識を注入する新しいスキームを提案する。 提案したアプローチの中心は,Bregman Divergence (pFedBreD) による PFL フレームワークである。 提案手法は5つのデータセット上での最先端のパフォーマンスに到達し、8つのベンチマークで最大3.5%性能を向上する。
  論文  参考訳（メタデータ） (2023-10-13T15:21:25Z)
• Towards More Suitable Personalization in Federated Learning via Decentralized Partial Model Training [67.67045085186797]
  既存のシステムのほとんどは、中央のFLサーバが失敗した場合、大きな通信負荷に直面しなければならない。 共有パラメータと個人パラメータを交互に更新することで、ディープモデルの「右」をパーソナライズする。 共有パラメータアグリゲーションプロセスをさらに促進するために、ローカルシャープネス最小化を統合するDFedを提案する。
  論文  参考訳（メタデータ） (2023-05-24T13:52:18Z)
• Visual Prompt Based Personalized Federated Learning [83.04104655903846]
  pFedPTと呼ばれる画像分類タスクのための新しいPFLフレームワークを提案し、クライアントのローカルデータ配信情報を暗黙的に表現するためにパーソナライズされた視覚的プロンプトを利用する。 CIFAR10とCIFAR100データセットの実験では、pFedPTは様々な設定でいくつかの最先端(SOTA)PFLアルゴリズムより優れていた。
  論文  参考訳（メタデータ） (2023-03-15T15:02:15Z)
• Closing the Gap between Client and Global Model Performance in Heterogeneous Federated Learning [2.1044900734651626]
  カスタムクライアントモデルをトレーニングするための選択されたアプローチが、グローバルモデルにどのように影響するかを示す。 KDとLwoF(LwoF)を併用して、改良されたパーソナライズドモデルを生成する手法を提案する。
  論文  参考訳（メタデータ） (2022-11-07T11:12:57Z)
• Personalizing or Not: Dynamically Personalized Federated Learning with Incentives [37.42347737911428]
  個人データを共有せずにパーソナライズされたモデルを学習するためのパーソナライズド・フェデレーション・ラーニング(FL)を提案する。 パーソナライズレートは、パーソナライズされたモデルのトレーニングを希望する顧客の割合として測定され、フェデレーションされた設定に導入され、DyPFLを提案する。 この技術は、クライアントがローカルモデルをパーソナライズすることへのインセンティブを与えると同時に、より優れたパフォーマンスでグローバルモデルを採用できるようにする。
  論文  参考訳（メタデータ） (2022-08-12T09:51:20Z)
• Self-Aware Personalized Federated Learning [32.97492968378679]
  本研究では,ベイズ階層モデルにインスパイアされた自己認識型パーソナライズド・フェデレーション・ラーニング(FL)手法を開発した。 本手法では,従来の局所微調整法とサンプルサイズに基づくアグリゲーションの代わりに,不確実性駆動型局所トレーニングステップとアグリゲーションルールを用いる。 合成データ、Amazon Alexa音声データ、MNIST、FEMNIST、CIFAR10、Sent140などの公開データセットに関する実験的研究により、提案手法はパーソナライズ性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-04-17T19:02:25Z)
• Personalized Federated Learning with First Order Model Optimization [76.81546598985159]
  そこで我々は,各クライアントが他のクライアントと連携して,クライアント固有の目的ごとのより強力なモデルを得る,フェデレーション学習の代替案を提案する。 基礎となるデータ分布やクライアントの類似性に関する知識を前提とせず、各クライアントが関心のある任意のターゲット分布を最適化できるようにします。 この手法は既存の代替品を上回り、ローカルデータ配信以外の転送のようなパーソナライズされたFLの新機能を可能にする。
  論文  参考訳（メタデータ） (2020-12-15T19:30:29Z)
• Federated Mutual Learning [65.46254760557073]
  Federated Mutual Leaning (FML)は、クライアントが汎用モデルとパーソナライズされたモデルを独立してトレーニングすることを可能にする。 実験により、FMLは一般的なフェデレート学習環境よりも優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2020-06-27T09:35:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。