Fugu-MT 論文翻訳(概要): Tackling Feature-Classifier Mismatch in Federated Learning via Prompt-Driven Feature Transformation

論文の概要: Tackling Feature-Classifier Mismatch in Federated Learning via Prompt-Driven Feature Transformation

arxiv url: http://arxiv.org/abs/2407.16139v1
Date: Tue, 23 Jul 2024 02:52:52 GMT
ステータス: 処理完了
システム内更新日: 2024-07-24 18:55:32.837920
Title: Tackling Feature-Classifier Mismatch in Federated Learning via Prompt-Driven Feature Transformation
Title（参考訳）: プロンプト駆動型特徴変換によるフェデレーション学習における特徴分類ミスマッチの処理
Authors: Xinghao Wu, Jianwei Niu, Xuefeng Liu, Mingjia Shi, Guogang Zhu, Shaojie Tang,
Abstract要約: 従来のフェデレートラーニングアプローチでは、グローバルモデルはデータの不均一性に直面するとパフォーマンスが低下する。我々は,FedPFTと呼ばれる新しいPFLフレームワークを提案し,特徴抽出器の品質を高めつつミスマッチ問題に対処する。実験の結果,FedPFTは最先端の手法より最大7.08%優れていた。
参考スコア（独自算出の注目度）: 12.19025665853089
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In traditional Federated Learning approaches like FedAvg, the global model underperforms when faced with data heterogeneity. Personalized Federated Learning (PFL) enables clients to train personalized models to fit their local data distribution better. However, we surprisingly find that the feature extractor in FedAvg is superior to those in most PFL methods. More interestingly, by applying a linear transformation on local features extracted by the feature extractor to align with the classifier, FedAvg can surpass the majority of PFL methods. This suggests that the primary cause of FedAvg's inadequate performance stems from the mismatch between the locally extracted features and the classifier. While current PFL methods mitigate this issue to some extent, their designs compromise the quality of the feature extractor, thus limiting the full potential of PFL. In this paper, we propose a new PFL framework called FedPFT to address the mismatch problem while enhancing the quality of the feature extractor. FedPFT integrates a feature transformation module, driven by personalized prompts, between the global feature extractor and classifier. In each round, clients first train prompts to transform local features to match the global classifier, followed by training model parameters. This approach can also align the training objectives of clients, reducing the impact of data heterogeneity on model collaboration. Moreover, FedPFT's feature transformation module is highly scalable, allowing for the use of different prompts to tailor local features to various tasks. Leveraging this, we introduce a collaborative contrastive learning task to further refine feature extractor quality. Our experiments demonstrate that FedPFT outperforms state-of-the-art methods by up to 7.08%.
Abstract（参考訳）: FedAvgのような従来のフェデレーテッドラーニングアプローチでは、グローバルモデルはデータの不均一性に直面した場合、パフォーマンスが低下する。パーソナライズド・フェデレート・ラーニング(PFL)は、パーソナライズされたモデルをトレーニングして、ローカルなデータ分散をより良く適合させることができる。しかし,FedAvgの特徴抽出器は,ほとんどのPFL法よりも優れていることがわかった。より興味深いことに、特徴抽出器によって抽出された局所的特徴に線形変換を適用して分類器と整合させることで、FedAvgはPFL法の大部分を超えることができる。これは、FedAvgの不適切なパフォーマンスの主な原因は、局所的に抽出された特徴と分類器とのミスマッチに起因することを示唆している。現在のPFL法はこの問題をある程度緩和するが、それらの設計は特徴抽出器の品質を損なうため、PFLの潜在能力を制限している。本稿では,FedPFTと呼ばれる新しいPFLフレームワークを提案する。 FedPFTは、グローバルな特徴抽出器と分類器の間に、パーソナライズされたプロンプトによって駆動される機能変換モジュールを統合する。各ラウンドで、クライアントはまずグローバルな分類器にマッチするようにローカル機能を変換し、次にトレーニングモデルパラメータを学習する。このアプローチはまた、クライアントのトレーニング目標を整合させ、データの不均一性がモデルコラボレーションに与える影響を減らすこともできる。さらに、FedPFTのフィーチャートランスフォーメーションモジュールはスケーラビリティが高く、さまざまなプロンプトを使用してローカル機能をさまざまなタスクにカスタマイズすることができる。これを活用することで,特徴抽出器の品質をさらに向上する,協調的コントラスト学習タスクを導入する。実験の結果,FedPFTは最先端の手法より最大7.08%優れていた。

関連論文リスト

FedDr+: Stabilizing Dot-regression with Global Feature Distillation for Federated Learning [27.782676760198697]
フェデレートラーニング(FL)は、効果的なグローバルモデル開発のための重要なフレームワークとして登場した。 FLの主な課題はクライアントのドリフトであり、データの不均一性は分散した知識の集約を妨げる。我々は,ドット回帰損失を用いた局所モデルアライメントを実現するFedDr+という新しいアルゴリズムを提案する。
論文参考訳（メタデータ） (2024-06-04T14:34:13Z)
FedImpro: Measuring and Improving Client Update in Federated Learning [77.68805026788836]
フェデレートラーニング(FL)モデルは、不均一なデータによって引き起こされるクライアントのドリフトを経験することが多い。我々は、クライアントのドリフトに対する別の視点を示し、改善されたローカルモデルを生成することにより、それを緩和することを目指している。
論文参考訳（メタデータ） (2024-02-10T18:14:57Z)
Parametric Feature Transfer: One-shot Federated Learning with Foundation Models [14.97955440815159]
ワンショットのフェデレーション学習では、クライアントは単一のコミュニケーションでグローバルモデルを協調的にトレーニングする。本稿では,基礎モデルの転送可能性を利用してワンショットFLの精度と通信効率を向上させる手法であるFedPFTを紹介する。
論文参考訳（メタデータ） (2024-02-02T19:34:46Z)
Unlocking the Potential of Prompt-Tuning in Bridging Generalized and Personalized Federated Learning [49.72857433721424]
Vision Transformer (ViT) と Visual Prompt Tuning (VPT) は、様々なコンピュータビジョンタスクの効率を改善して最先端のパフォーマンスを実現する。本稿では,GFL(Generalized FL)とPFL(Personalized FL)を組み合わせた新しいアルゴリズムSGPTを提案する。
論文参考訳（メタデータ） (2023-10-27T17:22:09Z)
PFL-GAN: When Client Heterogeneity Meets Generative Models in Personalized Federated Learning [55.930403371398114]
パーソナライズドラーニング(PFL)のための新しいGAN(Generative Adversarial Network)の共有と集約戦略を提案する。 PFL-GANは、異なるシナリオにおけるクライアントの不均一性に対処する。より具体的には、まずクライアント間の類似性を学び、次に重み付けされた協調データアグリゲーションを開発する。いくつかのよく知られたデータセットに対する厳密な実験による実験結果は、PFL-GANの有効性を示している。
論文参考訳（メタデータ） (2023-08-23T22:38:35Z)
Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
論文参考訳（メタデータ） (2023-08-20T04:41:01Z)
FedPerfix: Towards Partial Model Personalization of Vision Transformers in Federated Learning [9.950367271170592]
視覚変換器モデル(ViT)のパーソナライズ方法について検討する。自己注意層と分類ヘッドがViTの最も敏感な部分であるという知見に基づいて、FedPerfixと呼ばれる新しいアプローチを提案する。 CIFAR-100、OrganAMNIST、Office-Homeのデータセットに対する提案手法の評価を行い、いくつかの先進的なPFL手法と比較してその効果を実証した。
論文参考訳（メタデータ） (2023-08-17T19:22:30Z)
Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。本稿では,FedInsという新しいFLアルゴリズムを提案する。我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文参考訳（メタデータ） (2023-08-11T09:58:47Z)
Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
論文参考訳（メタデータ） (2023-05-01T20:04:46Z)
Personalized Federated Learning with Local Attention [5.018560254008613]
Federated Learning(FL)は、ローカルデータにアクセスせずに、中央サーバがローカルクライアントでのモデルトレーニングを支援する、単一のグローバルモデルを学ぶことを目的としている。 FLの主な課題は、異種ラベルの分布と特徴シフトであり、学習したモデルの大幅な性能劣化につながる可能性がある。 textbfLocal textbfAttention (pFedLA) を用いたTextbfpersonalized textbfFederated Learningを提案する。 pFedLAでは2つのモジュールが提案されている。
論文参考訳（メタデータ） (2023-04-02T20:10:32Z)
Personalized Federated Learning on Long-Tailed Data via Adversarial Feature Augmentation [24.679535905451758]
PFLは、プライバシを保存する方法で、すべてのクライアントの知識に基づいて、各クライアントのパーソナライズされたモデルを学ぶことを目的としている。既存のPFL法では、全てのクライアントにわたる基礎となるグローバルデータが、ロングテール分布を考慮せずに均一に分散されていると仮定している。 PFLにおけるこの共同問題に対処するために,FedAFA(Federated Learning with Adversarial Feature Augmentation)を提案する。
論文参考訳（メタデータ） (2023-03-27T13:00:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。