論文の概要: Personalized Federated Learning with Local Attention
- arxiv url: http://arxiv.org/abs/2304.01783v1
- Date: Sun, 2 Apr 2023 20:10:32 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-05 13:49:40.563537
- Title: Personalized Federated Learning with Local Attention
- Title（参考訳）: 局所的注意を伴う個人化フェデレーション学習
- Authors: Sicong Liang, Junchao Tian, Shujun Yang, Yu Zhang
- Abstract要約: Federated Learning(FL)は、ローカルデータにアクセスせずに、中央サーバがローカルクライアントでのモデルトレーニングを支援する、単一のグローバルモデルを学ぶことを目的としている。
FLの主な課題は、異種ラベルの分布と特徴シフトであり、学習したモデルの大幅な性能劣化につながる可能性がある。
textbfLocal textbfAttention (pFedLA) を用いたTextbfpersonalized textbfFederated Learningを提案する。
pFedLAでは2つのモジュールが提案されている。
- 参考スコア（独自算出の注目度）: 5.018560254008613
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated Learning (FL) aims to learn a single global model that enables the
central server to help the model training in local clients without accessing
their local data. The key challenge of FL is the heterogeneity of local data in
different clients, such as heterogeneous label distribution and feature shift,
which could lead to significant performance degradation of the learned models.
Although many studies have been proposed to address the heterogeneous label
distribution problem, few studies attempt to explore the feature shift issue.
To address this issue, we propose a simple yet effective algorithm, namely
\textbf{p}ersonalized \textbf{Fed}erated learning with \textbf{L}ocal
\textbf{A}ttention (pFedLA), by incorporating the attention mechanism into
personalized models of clients while keeping the attention blocks
client-specific. Specifically, two modules are proposed in pFedLA, i.e., the
personalized single attention module and the personalized hybrid attention
module. In addition, the proposed pFedLA method is quite flexible and general
as it can be incorporated into any FL method to improve their performance
without introducing additional communication costs. Extensive experiments
demonstrate that the proposed pFedLA method can boost the performance of
state-of-the-art FL methods on different tasks such as image classification and
object detection tasks.
- Abstract（参考訳）: Federated Learning(FL)は、ローカルデータにアクセスせずに、中央サーバがローカルクライアントでのモデルトレーニングを支援する、単一のグローバルモデルを学ぶことを目的としている。
FLの主な課題は、異種ラベルの分布や特徴シフトなど、異なるクライアントにおけるローカルデータの均一性であり、学習したモデルの大幅な性能劣化につながる可能性がある。
不均一なラベル分布問題に対処するために多くの研究が提案されているが、特徴シフト問題を探究する研究はほとんどない。
この問題に対処するため,我々は,注意ブロックをクライアント固有に保ちつつ,クライアントのパーソナライズモデルに注意機構を組み込むことにより,単純かつ効果的なアルゴリズム,すなわち, \textbf{p}ersonalized \textbf{fed}erated learning with \textbf{l}ocal \textbf{a}ttention (pfedla)を提案する。
具体的には、pFedLA、すなわちパーソナライズされたシングルアテンションモジュールとパーソナライズされたハイブリッドアテンションモジュールの2つのモジュールを提案する。
さらに,pFedLA法は,追加の通信コストを発生させることなく,FL法に組み込んで性能向上を図ることができるため,柔軟で汎用性の高い手法である。
pFedLA法は画像分類や物体検出といった様々なタスクにおける最先端のFL法の性能を向上させることができることを示す。
関連論文リスト
- Personalized Federated Learning via Feature Distribution Adaptation [3.410799378893257]
Federated Learning(FL)は、分散クライアントデータセット間の共通性を利用してグローバルモデルをトレーニングする分散学習フレームワークである。
パーソナライズド・フェデレーション・ラーニング(PFL)は、各クライアントに適した個々のモデルを学習することで、この問題に対処しようとしている。
我々は,グローバルな生成型分類器を局所的な特徴分布に適応させることで,パーソナライズされたモデルを効率的に生成するアルゴリズム,pFedFDAを提案する。
論文 参考訳（メタデータ） (2024-11-01T03:03:52Z) - Fed-CO2: Cooperation of Online and Offline Models for Severe Data
Heterogeneity in Federated Learning [14.914477928398133]
フェデレートラーニング(FL)は、有望な分散ラーニングパラダイムとして登場した。
FLの有効性は、トレーニングに使われているデータの品質に大きく依存する。
ラベル分布スキューと特徴スキューの両方を扱う普遍的なFLフレームワークであるFed-CO$_2$を提案する。
論文 参考訳（メタデータ） (2023-12-21T15:12:12Z) - Contrastive encoder pre-training-based clustered federated learning for
heterogeneous data [17.580390632874046]
フェデレートラーニング(FL)は、分散クライアントがデータのプライバシを保持しながら、グローバルモデルを協調的にトレーニングすることを可能にする。
本稿では,モデル収束とFLシステム全体の性能を改善するために,CP-CFL(Contrative Pre-training-based Clustered Federated Learning)を提案する。
論文 参考訳（メタデータ） (2023-11-28T05:44:26Z) - Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。
FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。
そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
論文 参考訳（メタデータ） (2023-11-12T11:01:10Z) - Unlocking the Potential of Prompt-Tuning in Bridging Generalized and
Personalized Federated Learning [49.72857433721424]
Vision Transformer (ViT) と Visual Prompt Tuning (VPT) は、様々なコンピュータビジョンタスクの効率を改善して最先端のパフォーマンスを実現する。
本稿では,GFL(Generalized FL)とPFL(Personalized FL)を組み合わせた新しいアルゴリズムSGPTを提案する。
論文 参考訳（メタデータ） (2023-10-27T17:22:09Z) - Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。
その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。
我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
論文 参考訳（メタデータ） (2023-08-20T04:41:01Z) - Visual Prompt Based Personalized Federated Learning [83.04104655903846]
pFedPTと呼ばれる画像分類タスクのための新しいPFLフレームワークを提案し、クライアントのローカルデータ配信情報を暗黙的に表現するためにパーソナライズされた視覚的プロンプトを利用する。
CIFAR10とCIFAR100データセットの実験では、pFedPTは様々な設定でいくつかの最先端(SOTA)PFLアルゴリズムより優れていた。
論文 参考訳（メタデータ） (2023-03-15T15:02:15Z) - Feature Correlation-guided Knowledge Transfer for Federated
Self-supervised Learning [19.505644178449046]
特徴相関に基づくアグリゲーション(FedFoA)を用いたフェデレーション型自己教師型学習法を提案する。
私たちの洞察は、機能相関を利用して、特徴マッピングを整列し、ローカルトレーニングプロセス中にクライアント間でローカルモデルの更新を校正することにあります。
我々はFedFoAがモデルに依存しないトレーニングフレームワークであることを証明する。
論文 参考訳（メタデータ） (2022-11-14T13:59:50Z) - Multi-Source Domain Adaptation Based on Federated Knowledge Alignment [0.0]
フェデレートラーニング(FL)は、ユーザのプライバシを保護するために、分散モデル学習を容易にする。
我々は、異なるクライアントと対象タスクの特徴を整合させるフェデレーション知識アライメント(FedKA)を提案する。
論文 参考訳（メタデータ） (2022-03-22T11:42:25Z) - Fine-tuning Global Model via Data-Free Knowledge Distillation for
Non-IID Federated Learning [86.59588262014456]
フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。
サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。
私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
論文 参考訳（メタデータ） (2022-03-17T11:18:17Z) - Local Learning Matters: Rethinking Data Heterogeneity in Federated
Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文 参考訳（メタデータ） (2021-11-28T19:03:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。