Fugu-MT 論文翻訳(概要): DP2FL: Dual Prompt Personalized Federated Learning in Foundation Models

論文の概要: DP2FL: Dual Prompt Personalized Federated Learning in Foundation Models

arxiv url: http://arxiv.org/abs/2504.16357v1
Date: Wed, 23 Apr 2025 02:13:56 GMT
ステータス: 翻訳完了
システム内更新日: 2025-05-02 19:15:52.974779
Title: DP2FL: Dual Prompt Personalized Federated Learning in Foundation Models
Title（参考訳）: DP2FL:基礎モデルにおける個人化フェデレーション学習
Authors: Ying Chang, Xiaohu Shi, Xiaohui Zhao, Zhaohuang Chen, Deyin Ma,
Abstract要約: ファンデーションモデルは強力な特徴抽出機能を示し、限られたローカルデータを微調整することでこの問題を軽減することができる。本稿では,グローバルなタスク認識とローカルデータ駆動型インサイトを組み合わせたDual Prompt Personalized Federated Learningフレームワークを提案する。 DP2FLの迅速な設計と集約戦略の有効性を, 高度に異質な環境下で実験的に検証した。
参考スコア（独自算出の注目度）: 1.8408298575385194
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Personalized federated learning (PFL) has garnered significant attention for its ability to address heterogeneous client data distributions while preserving data privacy. However, when local client data is limited, deep learning models often suffer from insufficient training, leading to suboptimal performance. Foundation models, such as CLIP (Contrastive Language-Image Pretraining), exhibit strong feature extraction capabilities and can alleviate this issue by fine-tuning on limited local data. Despite their potential, foundation models are rarely utilized in federated learning scenarios, and challenges related to integrating new clients remain largely unresolved. To address these challenges, we propose the Dual Prompt Personalized Federated Learning (DP2FL) framework, which introduces dual prompts and an adaptive aggregation strategy. DP2FL combines global task awareness with local data-driven insights, enabling local models to achieve effective generalization while remaining adaptable to specific data distributions. Moreover, DP2FL introduces a global model that enables prediction on new data sources and seamlessly integrates newly added clients without requiring retraining. Experimental results in highly heterogeneous environments validate the effectiveness of DP2FL's prompt design and aggregation strategy, underscoring the advantages of prediction on novel data sources and demonstrating the seamless integration of new clients into the federated learning framework.
Abstract（参考訳）: パーソナライズド・フェデレーション・ラーニング(PFL)は、データのプライバシを保ちながら不均一なクライアントデータ分散に対処する能力において、大きな注目を集めている。しかし、ローカルクライアントデータが限られている場合、ディープラーニングモデルはトレーニングの不十分さに悩まされ、亜最適性能に繋がる。 CLIP(Contrastive Language- Image Pretraining)のような基礎モデルでは、強力な特徴抽出機能があり、限られたローカルデータを微調整することでこの問題を軽減することができる。その可能性にもかかわらず、ファウンデーションモデルは連合学習のシナリオではほとんど利用されず、新しいクライアントの統合に関わる課題は未解決のままである。これらの課題に対処するため,デュアルプロンプトと適応型アグリゲーション戦略を導入したDP2FL(Dual Prompt Personalized Federated Learning)フレームワークを提案する。 DP2FLは、グローバルタスク認識とローカルデータ駆動の洞察を組み合わせることで、ローカルモデルが特定のデータ分布に適応しながら効果的な一般化を実現することができる。さらに、DP2FLは、新たなデータソースの予測を可能にし、再トレーニングを必要とせずに、シームレスに新しいクライアントを統合するグローバルモデルを導入している。 DP2FLの迅速な設計と集約戦略の有効性を検証し、新しいデータソースの予測の利点を実証し、新しいクライアントをフェデレートした学習フレームワークにシームレスに統合することを示した。

関連論文リスト

Upcycling Noise for Federated Unlearning [10.943200894066125]
不明瞭性を伴うフェデレーション・アンラーニング(FUI) FuIは、ローカルモデルリトラクションとグローバルノイズキャリブレーションの2つの主要なステップで構成されている。 FuIはメインストリームのFU方式に比べて優れたモデル性能と高い効率を実現している。
論文参考訳（メタデータ） (2024-12-07T04:07:40Z)
FedMAP: Unlocking Potential in Personalized Federated Learning through Bi-Level MAP Optimization [11.040916982022978]
フェデレートラーニング(FL)は、分散データに基づく機械学習モデルの協調トレーニングを可能にする。クライアント間でのデータはしばしば、クラス不均衡、特徴分散スキュー、サンプルサイズ不均衡、その他の現象によって大きく異なる。本稿では,バイレベル最適化を用いた新しいベイズPFLフレームワークを提案する。
論文参考訳（メタデータ） (2024-05-29T11:28:06Z)
Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文参考訳（メタデータ） (2023-12-22T02:12:08Z)
Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。 FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
論文参考訳（メタデータ） (2023-11-12T11:01:10Z)
Unlocking the Potential of Prompt-Tuning in Bridging Generalized and Personalized Federated Learning [49.72857433721424]
Vision Transformer (ViT) と Visual Prompt Tuning (VPT) は、様々なコンピュータビジョンタスクの効率を改善して最先端のパフォーマンスを実現する。本稿では,GFL(Generalized FL)とPFL(Personalized FL)を組み合わせた新しいアルゴリズムSGPTを提案する。
論文参考訳（メタデータ） (2023-10-27T17:22:09Z)
PFL-GAN: When Client Heterogeneity Meets Generative Models in Personalized Federated Learning [55.930403371398114]
パーソナライズドラーニング(PFL)のための新しいGAN(Generative Adversarial Network)の共有と集約戦略を提案する。 PFL-GANは、異なるシナリオにおけるクライアントの不均一性に対処する。より具体的には、まずクライアント間の類似性を学び、次に重み付けされた協調データアグリゲーションを開発する。いくつかのよく知られたデータセットに対する厳密な実験による実験結果は、PFL-GANの有効性を示している。
論文参考訳（メタデータ） (2023-08-23T22:38:35Z)
Efficient Personalized Federated Learning via Sparse Model-Adaptation [47.088124462925684]
Federated Learning (FL)は、複数のクライアントに対して、独自のプライベートデータを共有せずに機械学習モデルをトレーニングすることを目的としている。疎局所モデルを適応的かつ効率的に学習し,効率的なパーソナライズFLのためのpFedGateを提案する。我々は,pFedGateが最先端手法よりも優れたグローバル精度,個人精度,効率性を同時に達成できることを示す。
論文参考訳（メタデータ） (2023-05-04T12:21:34Z)
Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
論文参考訳（メタデータ） (2023-05-01T20:04:46Z)
The Best of Both Worlds: Accurate Global and Personalized Models through Federated Learning with Data-Free Hyper-Knowledge Distillation [17.570719572024608]
FedHKD (Federated Hyper-Knowledge Distillation) は、クライアントがローカルモデルを訓練するために知識蒸留に依存する新しいFLアルゴリズムである。他のKDベースのpFLメソッドとは異なり、FedHKDはパブリックデータセットに依存したり、サーバに生成モデルをデプロイしたりしない。さまざまなシナリオにおける視覚的データセットに関する広範な実験を行い、FedHKDがパーソナライズおよびグローバルモデルパフォーマンスの両方において、大幅な改善を提供することを示した。
論文参考訳（メタデータ） (2023-01-21T16:20:57Z)
Personalized Federated Learning with Hidden Information on Personalized Prior [18.8426865970643]
本稿では,Bregmanの発散正規化を用いたモデル化のためのフレームワークであるpFedBreDを提案する。実験の結果,提案手法は複数の公開ベンチマークにおいて他のPFLアルゴリズムよりも優れていることがわかった。
論文参考訳（メタデータ） (2022-11-19T12:45:19Z)
Toward Understanding the Influence of Individual Clients in Federated Learning [52.07734799278535]
フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。 em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
論文参考訳（メタデータ） (2020-12-20T14:34:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。