論文の概要: FedPerfix: Towards Partial Model Personalization of Vision Transformers in Federated Learning

• arxiv url: http://arxiv.org/abs/2308.09160v1
• Date: Thu, 17 Aug 2023 19:22:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-21 15:25:34.294381
• Title: FedPerfix: Towards Partial Model Personalization of Vision Transformers in Federated Learning
• Title（参考訳）: FedPerfix:フェデレートラーニングにおける視覚変換器の部分モデルパーソナライズ
• Authors: Guangyu Sun, Matias Mendieta, Jun Luo, Shandong Wu, Chen Chen
• Abstract要約: 視覚変換器モデル(ViT)のパーソナライズ方法について検討する。 自己注意層と分類ヘッドがViTの最も敏感な部分であるという知見に基づいて、FedPerfixと呼ばれる新しいアプローチを提案する。 CIFAR-100、OrganAMNIST、Office-Homeのデータセットに対する提案手法の評価を行い、いくつかの先進的なPFL手法と比較してその効果を実証した。
• 参考スコア（独自算出の注目度）: 9.950367271170592
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Personalized Federated Learning (PFL) represents a promising solution for decentralized learning in heterogeneous data environments. Partial model personalization has been proposed to improve the efficiency of PFL by selectively updating local model parameters instead of aggregating all of them. However, previous work on partial model personalization has mainly focused on Convolutional Neural Networks (CNNs), leaving a gap in understanding how it can be applied to other popular models such as Vision Transformers (ViTs). In this work, we investigate where and how to partially personalize a ViT model. Specifically, we empirically evaluate the sensitivity to data distribution of each type of layer. Based on the insights that the self-attention layer and the classification head are the most sensitive parts of a ViT, we propose a novel approach called FedPerfix, which leverages plugins to transfer information from the aggregated model to the local client as a personalization. Finally, we evaluate the proposed approach on CIFAR-100, OrganAMNIST, and Office-Home datasets and demonstrate its effectiveness in improving the model's performance compared to several advanced PFL methods.
• Abstract（参考訳）: パーソナライズド・フェデレーション・ラーニング(PFL)は、異種データ環境における分散学習のための有望なソリューションである。 部分モデルパーソナライゼーションは、PFLの効率を改善するために、これらすべてを集約するのではなく、局所モデルパラメータを選択的に更新することで提案されている。 しかし、部分モデルパーソナライゼーションに関する以前の研究は主に畳み込みニューラルネットワーク(cnns)に焦点を当てており、視覚トランスフォーマー(vits)のような他の人気のあるモデルにどのように適用できるかを理解する上でのギャップを残している。 本研究では,vitモデルの一部をパーソナライズする場所と方法を検討する。 具体的には,各層のデータ分布に対する感度を実証的に評価する。 自己認識層と分類ヘッドがViTの最も敏感な部分であるという知見に基づいて,FedPerfixと呼ばれる新しいアプローチを提案し,プラグインを利用して,集約されたモデルからローカルクライアントへの情報をパーソナライズする。 最後に,提案手法をcifar-100,organamnist,office-homeデータセットで評価し,いくつかのpfl法と比較して,その性能向上効果を示す。

関連論文リスト

• FedAli: Personalized Federated Learning with Aligned Prototypes through Optimal Transport [9.683642138601464]
  フェデレートラーニング(FL)は、生データを共有することなく、複数のデバイス間で協調してパーソナライズされたモデルトレーニングを可能にする。 入力埋め込みを学習可能なプロトタイプに近づけるPrototypesレイヤのアライメントを導入する。 我々はFedAliを異種センサによる人間の活動認識と視覚ベンチマークのデータセットで評価し、既存のFL戦略よりも優れていることを示した。
  論文  参考訳（メタデータ） (2024-11-15T21:35:21Z)
• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• PRIOR: Personalized Prior for Reactivating the Information Overlooked in Federated Learning [16.344719695572586]
  各クライアントのグローバルモデルにパーソナライズされた事前知識を注入する新しいスキームを提案する。 提案したアプローチの中心は,Bregman Divergence (pFedBreD) による PFL フレームワークである。 提案手法は5つのデータセット上での最先端のパフォーマンスに到達し、8つのベンチマークで最大3.5%性能を向上する。
  論文  参考訳（メタデータ） (2023-10-13T15:21:25Z)
• PFL-GAN: When Client Heterogeneity Meets Generative Models in Personalized Federated Learning [55.930403371398114]
  パーソナライズドラーニング(PFL)のための新しいGAN(Generative Adversarial Network)の共有と集約戦略を提案する。 PFL-GANは、異なるシナリオにおけるクライアントの不均一性に対処する。より具体的には、まずクライアント間の類似性を学び、次に重み付けされた協調データアグリゲーションを開発する。 いくつかのよく知られたデータセットに対する厳密な実験による実験結果は、PFL-GANの有効性を示している。
  論文  参考訳（メタデータ） (2023-08-23T22:38:35Z)
• Towards More Suitable Personalization in Federated Learning via Decentralized Partial Model Training [67.67045085186797]
  既存のシステムのほとんどは、中央のFLサーバが失敗した場合、大きな通信負荷に直面しなければならない。 共有パラメータと個人パラメータを交互に更新することで、ディープモデルの「右」をパーソナライズする。 共有パラメータアグリゲーションプロセスをさらに促進するために、ローカルシャープネス最小化を統合するDFedを提案する。
  論文  参考訳（メタデータ） (2023-05-24T13:52:18Z)
• Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
  本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
  論文  参考訳（メタデータ） (2023-05-01T20:04:46Z)
• Visual Prompt Based Personalized Federated Learning [83.04104655903846]
  pFedPTと呼ばれる画像分類タスクのための新しいPFLフレームワークを提案し、クライアントのローカルデータ配信情報を暗黙的に表現するためにパーソナライズされた視覚的プロンプトを利用する。 CIFAR10とCIFAR100データセットの実験では、pFedPTは様々な設定でいくつかの最先端(SOTA)PFLアルゴリズムより優れていた。
  論文  参考訳（メタデータ） (2023-03-15T15:02:15Z)
• Tackling Data Heterogeneity in Federated Learning with Class Prototypes [44.746340839025194]
  パーソナライズと一般化の両面において,ローカルモデルの性能を改善する新しい手法であるFedNHを提案する。 クラスセマンティクスを注入することで局所モデルを改善する一方で,一様性を付与することでプロトタイプの崩壊に対処できることを示す。
  論文  参考訳（メタデータ） (2022-12-06T05:15:38Z)
• FedDM: Iterative Distribution Matching for Communication-Efficient Federated Learning [87.08902493524556]
  フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。 我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。 そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
  論文  参考訳（メタデータ） (2022-07-20T04:55:18Z)
• Federated Adversarial Training with Transformers [16.149924042225106]
  フェデレーテッド・ラーニング(FL)は、プライバシを保ちながら、分散クライアントのデータ上でグローバルモデルトレーニングを可能にするために登場した。 本稿では,異なるトークン化と分類ヘッド技術を用いた異なるフェデレーションモデルアグリゲーション手法と異なるビジョントランスフォーマーモデルによる実現可能性について検討する。
  論文  参考訳（メタデータ） (2022-06-05T09:07:09Z)
• A Closer Look at Personalization in Federated Image Classification [33.27317065917578]
  フェデレートラーニング(FL)は、分散化されたデータにまたがる単一のグローバルモデルを学ぶために開発された。 本稿では,グローバルモデルの収束後,フレキシブルなパーソナライゼーションを実現することができることを示す。 独立二段階パーソナライズされたFLフレームワークであるRepPerを提案する。
  論文  参考訳（メタデータ） (2022-04-22T06:32:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。