論文の概要: Heterogeneous Federated Learning with Group-Aware Prompt Tuning

• arxiv url: http://arxiv.org/abs/2310.18285v1
• Date: Fri, 27 Oct 2023 17:22:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-30 12:40:02.473240
• Title: Heterogeneous Federated Learning with Group-Aware Prompt Tuning
• Title（参考訳）: グループ認識型プロンプトチューニングによるヘテロジニアスフェデレーション学習
• Authors: Wenlong Deng, Christos Thrampoulidis, Xiaoxiao Li
• Abstract要約: 本稿では、共有プロンプトとグループプロンプトの両方の学習の概念を導入し、同時に普遍的な知識とグループ固有の知識の獲得を可能にする。 プロンプト選択モジュールは、各入力にパーソナライズされたグループプロンプトを割り当て、グローバルモデルと各クライアントのデータ分散を整合させる。 このアプローチにより、ローカルな微調整を必要とせずに、ローカルなクライアントデータ分散に自動的に適応できる単一のグローバルモデルをトレーニングできる。
• 参考スコア（独自算出の注目度）: 49.72857433721424
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformers have achieved remarkable success in various machine-learning tasks, prompting their widespread adoption. In this paper, we explore their application in the context of federated learning (FL), with a particular focus on heterogeneous scenarios where individual clients possess diverse local datasets. To meet the computational and communication demands of FL, we leverage pre-trained Transformers and use an efficient prompt-tuning strategy. Our strategy introduces the concept of learning both shared and group prompts, enabling the acquisition of universal knowledge and group-specific knowledge simultaneously. Additionally, a prompt selection module assigns personalized group prompts to each input, aligning the global model with the data distribution of each client. This approach allows us to train a single global model that can automatically adapt to various local client data distributions without requiring local fine-tuning. In this way, our proposed method effectively bridges the gap between global and personalized local models in Federated Learning and surpasses alternative approaches that lack the capability to adapt to previously unseen clients. The effectiveness of our approach is rigorously validated through extensive experimentation and ablation studies.
• Abstract（参考訳）: トランスフォーマーは様々な機械学習タスクで顕著な成功を収め、その普及を促した。 本稿では,フェデレーション学習(fl)の文脈において,個々のクライアントが多様なローカルデータセットを持つ異種シナリオに注目して,それらのアプリケーションについて検討する。 FLの計算・通信要求を満たすため、事前学習したトランスフォーマーを活用し、効率的なプロンプトチューニング戦略を用いる。 本戦略は,共有とグループの両方のプロンプトを学習する概念を導入し,普遍的な知識とグループ固有の知識を同時に獲得することを可能にする。 さらに、プロンプト選択モジュールは、各入力にパーソナライズされたグループプロンプトを割り当て、グローバルモデルと各クライアントのデータ分散を整合させる。 このアプローチにより、ローカルな微調整を必要とせずに、ローカルなクライアントデータ分散に自動的に適応できる単一のグローバルモデルをトレーニングできる。 このようにして,提案手法は,フェデレートラーニングにおけるグローバルモデルとパーソナライズされたローカルモデル間のギャップを効果的に橋渡しし,これまで見つからなかったクライアントに適応する能力に欠ける代替アプローチを克服する。 本手法の有効性は広範囲な実験およびアブレーション実験により厳密に検証される。

関連論文リスト

• Mixture of Experts Made Personalized: Federated Prompt Learning for Vision-Language Models [7.810284483002312]
  我々は,Mixture of Experts (MoE) のレンズを通して,迅速な学習プロセスをパーソナライズする新しいフレームワークを提案する。 pFedMoAPは、クライアント上のローカル画像データとの整合性を改善するために、拡張されたテキスト機能を生成することを学習する、ローカルアテンションベースのゲーティングネットワークを実装している。 その結果、pFedMoAPは最先端の代替品よりも一貫して優れており、CLIPの迅速な学習をパーソナライズする効果が強調されている。
  論文  参考訳（メタデータ） (2024-10-14T03:05:12Z)
• Tackling Feature-Classifier Mismatch in Federated Learning via Prompt-Driven Feature Transformation [12.19025665853089]
  従来のフェデレートラーニングアプローチでは、グローバルモデルはデータの不均一性に直面するとパフォーマンスが低下する。 我々は,FedPFTと呼ばれる新しいPFLフレームワークを提案し,特徴抽出器の品質を高めつつミスマッチ問題に対処する。 実験の結果,FedPFTは最先端の手法より最大7.08%優れていた。
  論文  参考訳（メタデータ） (2024-07-23T02:52:52Z)
• FedTGP: Trainable Global Prototypes with Adaptive-Margin-Enhanced Contrastive Learning for Data and Model Heterogeneity in Federated Learning [18.916282151435727]
  不均一フェデレートラーニング(HtFL)は異種モデルやデータをサポートする能力から注目されている。 我々は,ACL(Adaptive-margin-enhanced Contrastive Learning)を活用して,サーバ上でトレーニング可能なグローバルプロトタイプ(TGP)を学習する,FedTGPという新しいHtFLアプローチを導入する。
  論文  参考訳（メタデータ） (2024-01-06T14:43:47Z)
• Inclusive Data Representation in Federated Learning: A Novel Approach Integrating Textual and Visual Prompt [12.869146009608816]
  我々は、視覚とテキストの両モードを統合する先駆的なソリューションであるTwin Prompt Federated Learning (TPFL)を紹介する。 データの不均一性問題に対処するために、クライアントモデルのグローバルな知識獲得を促進するだけでなく、堅牢でコンパクトなモデルの開発を促進するAugmented TPFL(ATPFL)を導入する。 TPFLとATPFLの有効性は広範囲な評価によって実証され,全てのベースラインと比較して常に優れた性能を示した。
  論文  参考訳（メタデータ） (2023-10-04T11:20:28Z)
• Personalized Federated Learning with Local Attention [5.018560254008613]
  Federated Learning(FL)は、ローカルデータにアクセスせずに、中央サーバがローカルクライアントでのモデルトレーニングを支援する、単一のグローバルモデルを学ぶことを目的としている。 FLの主な課題は、異種ラベルの分布と特徴シフトであり、学習したモデルの大幅な性能劣化につながる可能性がある。 textbfLocal textbfAttention (pFedLA) を用いたTextbfpersonalized textbfFederated Learningを提案する。 pFedLAでは2つのモジュールが提案されている。
  論文  参考訳（メタデータ） (2023-04-02T20:10:32Z)
• Visual Prompt Based Personalized Federated Learning [83.04104655903846]
  pFedPTと呼ばれる画像分類タスクのための新しいPFLフレームワークを提案し、クライアントのローカルデータ配信情報を暗黙的に表現するためにパーソナライズされた視覚的プロンプトを利用する。 CIFAR10とCIFAR100データセットの実験では、pFedPTは様々な設定でいくつかの最先端(SOTA)PFLアルゴリズムより優れていた。
  論文  参考訳（メタデータ） (2023-03-15T15:02:15Z)
• Vertical Semi-Federated Learning for Efficient Online Advertising [50.18284051956359]
  VFLの実践的な産業的応用を実現するために,Semi-VFL (Vertical Semi-Federated Learning) を提案する。 サンプル空間全体に適用可能な推論効率のよいシングルパーティ学生モデルを構築した。 新しい表現蒸留法は、重なり合うデータと非重なり合うデータの両方について、パーティ間の特徴相関を抽出するように設計されている。
  論文  参考訳（メタデータ） (2022-09-30T17:59:27Z)
• Disentangled Federated Learning for Tackling Attributes Skew via Invariant Aggregation and Diversity Transferring [104.19414150171472]
  属性は、クライアント間の一貫した最適化方向から、現在の連邦学習(FL)フレームワークを歪めます。 本稿では,ドメイン固有属性とクロス不変属性を2つの補足枝に分離するために,非絡み付きフェデレーション学習(DFL)を提案する。 実験により、DFLはSOTA FL法と比較して高い性能、より良い解釈可能性、より高速な収束率でFLを促進することが確認された。
  論文  参考訳（メタデータ） (2022-06-14T13:12:12Z)
• Fine-tuning Global Model via Data-Free Knowledge Distillation for Non-IID Federated Learning [86.59588262014456]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。 サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。 私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
  論文  参考訳（メタデータ） (2022-03-17T11:18:17Z)
• Heterogeneous Federated Learning via Grouped Sequential-to-Parallel Training [60.892342868936865]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ保護のためのコラボレーション機械学習パラダイムである。 本稿では,この課題に対処するため,データヘテロジニアス・ロバストFLアプローチであるFedGSPを提案する。 その結果,FedGSPは7つの最先端アプローチと比較して平均3.7%の精度向上を実現していることがわかった。
  論文  参考訳（メタデータ） (2022-01-31T03:15:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。