Fugu-MT 論文翻訳(概要): FedAH: Aggregated Head for Personalized Federated Learning

論文の概要: FedAH: Aggregated Head for Personalized Federated Learning

arxiv url: http://arxiv.org/abs/2412.01295v1
Date: Mon, 02 Dec 2024 09:08:51 GMT
ステータス: 翻訳完了
システム内更新日: 2024-12-04 15:47:45.362123
Title: FedAH: Aggregated Head for Personalized Federated Learning
Title（参考訳）: FedAH:個人化フェデレーション学習の責任者
Authors: Pengzhan Zhou, Yuepeng He, Yijun Zhai, Kaixin Gao, Chao Chen, Zhida Qin, Chong Zhang, Songtao Guo,
Abstract要約: Federated Learning (FL)は、プライバシー保護と協調学習機能で人気を集めている。本稿では,各反復時にアグリゲートヘッドで頭部を初期化するFedAH(Federated Learning with Aggregated Head)と呼ばれる新しいPFL手法を提案する。 FedAHはテスト精度を2.87%向上させ、最先端のFL法を10つ上回っている。
参考スコア（独自算出の注目度）: 14.643741748536566
License:
Abstract: Recently, Federated Learning (FL) has gained popularity for its privacy-preserving and collaborative learning capabilities. Personalized Federated Learning (PFL), building upon FL, aims to address the issue of statistical heterogeneity and achieve personalization. Personalized-head-based PFL is a common and effective PFL method that splits the model into a feature extractor and a head, where the feature extractor is collaboratively trained and shared, while the head is locally trained and not shared. However, retaining the head locally, although achieving personalization, prevents the model from learning global knowledge in the head, thus affecting the performance of the personalized model. To solve this problem, we propose a novel PFL method called Federated Learning with Aggregated Head (FedAH), which initializes the head with an Aggregated Head at each iteration. The key feature of FedAH is to perform element-level aggregation between the local model head and the global model head to introduce global information from the global model head. To evaluate the effectiveness of FedAH, we conduct extensive experiments on five benchmark datasets in the fields of computer vision and natural language processing. FedAH outperforms ten state-of-the-art FL methods in terms of test accuracy by 2.87%. Additionally, FedAH maintains its advantage even in scenarios where some clients drop out unexpectedly. Our code is open-accessed at https://github.com/heyuepeng/FedAH.
Abstract（参考訳）: 最近、フェデレートラーニング(FL)はプライバシー保護と協調学習機能で人気を集めている。 FLに基づくパーソナライズド・フェデレート・ラーニング(PFL)は、統計的不均一性の問題に対処し、パーソナライズを実現することを目的としている。パーソナライズドヘッドベースのPFLは、モデルを特徴抽出器と頭部に分割し、特徴抽出器を協調的に訓練し、共有し、頭部を局所的に訓練し、共有しない共通かつ効果的なPFL手法である。しかし,パーソナライズには至らず,頭部を局所的に保持することは,頭部におけるグローバルな知識の学習を妨げるため,パーソナライズされたモデルの性能に影響を及ぼす。そこで本研究では,アグリゲードヘッドを用いた頭部初期化を行うFedAH(Federated Learning with Aggregated Head)と呼ばれる新しいPFL手法を提案する。 FedAHの重要な特徴は、ローカルモデルヘッドとグローバルモデルヘッドの間で要素レベルアグリゲーションを行い、グローバルモデルヘッドからグローバル情報を導入することである。 FedAHの有効性を評価するため、コンピュータビジョンと自然言語処理の分野で5つのベンチマークデータセットについて広範な実験を行った。 FedAHはテスト精度を2.87%向上させ、最先端のFL法を10つ上回っている。さらに、FedAHは、一部のクライアントが予期せずにドロップアウトするシナリオにおいても、その優位性を維持している。私たちのコードはhttps://github.com/heyuepeng/FedAH.comで公開されています。

関連論文リスト

Personalized Federated Learning with Adaptive Feature Aggregation and Knowledge Transfer [0.0]
フェデレートラーニング(FL)は、分散データ上で単一のモデルを生成するための、プライバシ保護機械学習パラダイムとして人気がある。適応的特徴集約と知識伝達(FedAFK)による個人化学習手法を提案する。広範に使われている2つの不均一な条件下で3つのデータセットについて広範な実験を行い、提案手法が13の最先端ベースラインに対して優れた性能を示す。
論文参考訳（メタデータ） (2024-10-19T11:32:39Z)
Tackling Feature-Classifier Mismatch in Federated Learning via Prompt-Driven Feature Transformation [12.19025665853089]
従来のフェデレートラーニングアプローチでは、グローバルモデルはデータの不均一性に直面するとパフォーマンスが低下する。我々は,FedPFTと呼ばれる新しいPFLフレームワークを提案し,特徴抽出器の品質を高めつつミスマッチ問題に対処する。実験の結果,FedPFTは最先端の手法より最大7.08%優れていた。
論文参考訳（メタデータ） (2024-07-23T02:52:52Z)
FedSSA: Semantic Similarity-based Aggregation for Efficient Model-Heterogeneous Personalized Federated Learning [40.827571502726805]
フェデレートラーニング(Federated Learning, FL)は、プライバシ保護と協調的な機械学習パラダイムである。 MHPFL(Model-Heterogeneous Personalized FL)がこの課題に対処するために登場した。既存のMHPFLアプローチは、学習タスクと同じ性質の公開データセットに依存している場合や、高い計算と通信コストがかかる場合が多い。教師付き分類タスクに対するFedSSA(Federated Semantic similarity Aggregation)アプローチを提案する。 FedSSAの精度は3.62%、通信効率は15.54倍、計算効率は7つの最先端のMHPFLベースラインに比べて15.52倍である。
論文参考訳（メタデータ） (2023-12-14T14:55:32Z)
Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。 FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
論文参考訳（メタデータ） (2023-11-12T11:01:10Z)
pFedLoRA: Model-Heterogeneous Personalized Federated Learning with LoRA Tuning [35.59830784463706]
フェデレートラーニング(FL)は、中央サーバーが複数の参加者(クライアント)を協調的に調整し、分散データをトレーニングする、新たな機械学習パラダイムである。我々は,LoRAチューニング(pFedLoRA)に基づく,新規で効率的なモデル・ヘテロジニアス・パーソナライズド・ラーニング・フレームワークを提案する。 2つのベンチマークデータセットの実験では、pFedLoRAは6つの最先端ベースラインを上回っている。
論文参考訳（メタデータ） (2023-10-20T05:24:28Z)
Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
論文参考訳（メタデータ） (2023-08-20T04:41:01Z)
FedJETs: Efficient Just-In-Time Personalization with Federated Mixture of Experts [48.78037006856208]
FedJETsは、Federated Learning(FL)セットアップ内でMixture-of-Experts(MoE)フレームワークを使用することで、新しいソリューションである。我々の方法は、クライアントの多様性を活用して、クラスのサブセットの異なる専門家を訓練し、最も関係のある専門家に入力をルーティングするゲーティング機能を提供します。我々の手法は、競争力のあるゼロショット性能を維持しながら、アートFL設定時の精度を最大18%向上させることができる。
論文参考訳（メタデータ） (2023-06-14T15:47:52Z)
Towards More Suitable Personalization in Federated Learning via Decentralized Partial Model Training [67.67045085186797]
既存のシステムのほとんどは、中央のFLサーバが失敗した場合、大きな通信負荷に直面しなければならない。共有パラメータと個人パラメータを交互に更新することで、ディープモデルの「右」をパーソナライズする。共有パラメータアグリゲーションプロセスをさらに促進するために、ローカルシャープネス最小化を統合するDFedを提案する。
論文参考訳（メタデータ） (2023-05-24T13:52:18Z)
FedGH: Heterogeneous Federated Learning with Generalized Global Header [16.26231633749833]
フェデレートラーニング(Federated Learning, FL)は、複数のパーティが共有モデルをトレーニングできる、新興の機械学習パラダイムである。本稿では,FedGH(Federated Global Prediction Header)アプローチを提案する。 FedGHは、クライアントモデルのための異種抽出器による表現で、共通化されたグローバルな予測ヘッダーを訓練する。
論文参考訳（メタデータ） (2023-03-23T09:38:52Z)
Fine-tuning Global Model via Data-Free Knowledge Distillation for Non-IID Federated Learning [86.59588262014456]
フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
論文参考訳（メタデータ） (2022-03-17T11:18:17Z)
FedNLP: A Research Platform for Federated Learning in Natural Language Processing [55.01246123092445]
NLPのフェデレーションラーニングのための研究プラットフォームであるFedNLPを紹介します。 FedNLPは、テキスト分類、シーケンスタグ付け、質問応答、Seq2seq生成、言語モデリングなど、NLPで一般的なタスクの定式化をサポートしている。 FedNLPによる予備実験では、分散型データセットと集中型データセットの学習には大きなパフォーマンスギャップが存在することが明らかになった。
論文参考訳（メタデータ） (2021-04-18T11:04:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。