論文の概要: FedTGP: Trainable Global Prototypes with Adaptive-Margin-Enhanced
Contrastive Learning for Data and Model Heterogeneity in Federated Learning
- arxiv url: http://arxiv.org/abs/2401.03230v1
- Date: Sat, 6 Jan 2024 14:43:47 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-09 19:52:18.697508
- Title: FedTGP: Trainable Global Prototypes with Adaptive-Margin-Enhanced
Contrastive Learning for Data and Model Heterogeneity in Federated Learning
- Title（参考訳）: FedTGP:Federated Learningにおけるデータとモデル不均一性のための適応マージン強化コントラスト学習による訓練可能なグローバルプロトタイプ
- Authors: Jianqing Zhang, Yang Liu, Yang Hua, and Jian Cao
- Abstract要約: 不均一フェデレートラーニング(HtFL)は異種モデルやデータをサポートする能力から注目されている。
我々は,ACL(Adaptive-margin-enhanced Contrastive Learning)を活用して,サーバ上でトレーニング可能なグローバルプロトタイプ(TGP)を学習する,FedTGPという新しいHtFLアプローチを導入する。
- 参考スコア（独自算出の注目度）: 18.916282151435727
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Recently, Heterogeneous Federated Learning (HtFL) has attracted attention due
to its ability to support heterogeneous models and data. To reduce the high
communication cost of transmitting model parameters, a major challenge in HtFL,
prototype-based HtFL methods are proposed to solely share class
representatives, a.k.a, prototypes, among heterogeneous clients while
maintaining the privacy of clients' models. However, these prototypes are
naively aggregated into global prototypes on the server using weighted
averaging, resulting in suboptimal global knowledge which negatively impacts
the performance of clients. To overcome this challenge, we introduce a novel
HtFL approach called FedTGP, which leverages our Adaptive-margin-enhanced
Contrastive Learning (ACL) to learn Trainable Global Prototypes (TGP) on the
server. By incorporating ACL, our approach enhances prototype separability
while preserving semantic meaning. Extensive experiments with twelve
heterogeneous models demonstrate that our FedTGP surpasses state-of-the-art
methods by up to 9.08% in accuracy while maintaining the communication and
privacy advantages of prototype-based HtFL. Our code is available at
https://github.com/TsingZ0/FedTGP.
- Abstract（参考訳）: 近年,ヘテロジニアス・フェデレート・ラーニング (HtFL) が注目されている。
モデルパラメータ送信の通信コストを低減させるため,プロトタイプベースのhtfl手法が提案されており,クライアントのモデルのプライバシーを維持しつつ,クラスの代表者,すなわちプロトタイプを異種クライアント間でのみ共有できる。
しかし、これらのプロトタイプは重み付け平均を用いてサーバ上のグローバルプロトタイプにナイーブに集約され、結果としてクライアントのパフォーマンスに悪影響を及ぼす最適化されたグローバル知識が生まれる。
この課題を克服するために,我々のACL(Adaptive-margin-enhanced Contrastive Learning)を活用して,サーバ上でトレーニング可能なグローバルプロトタイプ(TGP)を学習する,FedTGPという新しいHtFLアプローチを導入する。
ACLを取り入れることで,意味的意味を保ちながらプロトタイプの分離性を高めることができる。
12種類の異種モデルによる大規模な実験により、FedTGPはプロトタイプベースのHtFLの通信とプライバシーの優位性を保ちながら、最先端の手法を最大9.08%の精度で超えることを示した。
私たちのコードはhttps://github.com/TsingZ0/FedTGPで利用可能です。
関連論文リスト
- An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。
従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。
我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文 参考訳（メタデータ） (2024-04-29T05:55:23Z) - Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。
FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。
そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
論文 参考訳（メタデータ） (2023-11-12T11:01:10Z) - Unlocking the Potential of Prompt-Tuning in Bridging Generalized and
Personalized Federated Learning [49.72857433721424]
Vision Transformer (ViT) と Visual Prompt Tuning (VPT) は、様々なコンピュータビジョンタスクの効率を改善して最先端のパフォーマンスを実現する。
本稿では,GFL(Generalized FL)とPFL(Personalized FL)を組み合わせた新しいアルゴリズムSGPTを提案する。
論文 参考訳（メタデータ） (2023-10-27T17:22:09Z) - Inclusive Data Representation in Federated Learning: A Novel Approach
Integrating Textual and Visual Prompt [12.869146009608816]
我々は、視覚とテキストの両モードを統合する先駆的なソリューションであるTwin Prompt Federated Learning (TPFL)を紹介する。
データの不均一性問題に対処するために、クライアントモデルのグローバルな知識獲得を促進するだけでなく、堅牢でコンパクトなモデルの開発を促進するAugmented TPFL(ATPFL)を導入する。
TPFLとATPFLの有効性は広範囲な評価によって実証され,全てのベースラインと比較して常に優れた性能を示した。
論文 参考訳（メタデータ） (2023-10-04T11:20:28Z) - PFL-GAN: When Client Heterogeneity Meets Generative Models in
Personalized Federated Learning [55.930403371398114]
パーソナライズドラーニング(PFL)のための新しいGAN(Generative Adversarial Network)の共有と集約戦略を提案する。
PFL-GANは、異なるシナリオにおけるクライアントの不均一性に対処する。より具体的には、まずクライアント間の類似性を学び、次に重み付けされた協調データアグリゲーションを開発する。
いくつかのよく知られたデータセットに対する厳密な実験による実験結果は、PFL-GANの有効性を示している。
論文 参考訳（メタデータ） (2023-08-23T22:38:35Z) - FedPerfix: Towards Partial Model Personalization of Vision Transformers
in Federated Learning [9.950367271170592]
視覚変換器モデル(ViT)のパーソナライズ方法について検討する。
自己注意層と分類ヘッドがViTの最も敏感な部分であるという知見に基づいて、FedPerfixと呼ばれる新しいアプローチを提案する。
CIFAR-100、OrganAMNIST、Office-Homeのデータセットに対する提案手法の評価を行い、いくつかの先進的なPFL手法と比較してその効果を実証した。
論文 参考訳（メタデータ） (2023-08-17T19:22:30Z) - Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-08-11T09:58:47Z) - Tackling Data Heterogeneity in Federated Learning with Class Prototypes [44.746340839025194]
パーソナライズと一般化の両面において,ローカルモデルの性能を改善する新しい手法であるFedNHを提案する。
クラスセマンティクスを注入することで局所モデルを改善する一方で,一様性を付与することでプロトタイプの崩壊に対処できることを示す。
論文 参考訳（メタデータ） (2022-12-06T05:15:38Z) - Closing the Gap between Client and Global Model Performance in
Heterogeneous Federated Learning [2.1044900734651626]
カスタムクライアントモデルをトレーニングするための選択されたアプローチが、グローバルモデルにどのように影響するかを示す。
KDとLwoF(LwoF)を併用して、改良されたパーソナライズドモデルを生成する手法を提案する。
論文 参考訳（メタデータ） (2022-11-07T11:12:57Z) - Fine-tuning Global Model via Data-Free Knowledge Distillation for
Non-IID Federated Learning [86.59588262014456]
フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。
サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。
私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
論文 参考訳（メタデータ） (2022-03-17T11:18:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。