論文の概要: FedSSA: Semantic Similarity-based Aggregation for Efficient
Model-Heterogeneous Personalized Federated Learning
- arxiv url: http://arxiv.org/abs/2312.09006v2
- Date: Sun, 11 Feb 2024 14:09:28 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-13 21:21:13.743503
- Title: FedSSA: Semantic Similarity-based Aggregation for Efficient
Model-Heterogeneous Personalized Federated Learning
- Title（参考訳）: fedssa: 効率的なモデルヘテロジェンス個別化学習のための意味的類似性に基づくアグリゲーション
- Authors: Liping Yi, Han Yu, Zhuan Shi, Gang Wang, Xiaoguang Liu, Lizhen Cui,
Xiaoxiao Li
- Abstract要約: フェデレートラーニング(Federated Learning, FL)は、プライバシ保護と協調的な機械学習パラダイムである。
MHPFL(Model-Heterogeneous Personalized FL)がこの課題に対処するために登場した。
既存のMHPFLアプローチは、学習タスクと同じ性質の公開データセットを持つこと、あるいは高い計算と通信コストを発生させることにしばしば依存する。
- 参考スコア（独自算出の注目度）: 42.874899497937704
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) is a privacy-preserving collaboratively machine
learning paradigm. Traditional FL requires all data owners (a.k.a. FL clients)
to train the same local model. This design is not well-suited for scenarios
involving data and/or system heterogeneity. Model-Heterogeneous Personalized FL
(MHPFL) has emerged to address this challenge. Existing MHPFL approaches often
rely on having a public dataset with the same nature of the learning task, or
incur high computation and communication costs. To address these limitations,
we propose the Federated Semantic Similarity Aggregation (FedSSA) approach,
which splits each client's model into a heterogeneous (structure-different)
feature extractor and a homogeneous (structure-same) classification header. It
performs local-to-global knowledge transfer via semantic similarity-based
header parameter aggregation. In addition, global-to-local knowledge transfer
is achieved via an adaptive parameter stabilization strategy which fuses the
seen-class parameters of historical local headers with that of the latest
global header for each client. In this way, FedSSA does not rely on public
datasets, while only requiring partial header parameter transmission (thereby
saving costs). Theoretical analysis proves the convergence of FedSSA. Extensive
experiments present that FedSSA achieves up to 3.62% higher accuracy, 15.54
times higher communication efficiency, and 15.52 times higher computational
efficiency compared to 7 state-of-the-art MHPFL baselines.
- Abstract（参考訳）: フェデレートラーニング(Federated Learning, FL)は、プライバシー保護のための機械学習パラダイムである。
従来のFLでは、すべてのデータ所有者(FLクライアント)が同じローカルモデルをトレーニングする必要がある。
この設計は、データやシステムの不均一性を伴うシナリオには適していない。
MHPFL(Model-Heterogeneous Personalized FL)がこの課題に対処するために登場した。
既存のMHPFLアプローチは、学習タスクと同じ性質の公開データセットを持つこと、あるいは高い計算と通信コストを発生させることにしばしば依存する。
これらの制約に対処するため,FedSSA(Federated Semantic similarity Aggregation)アプローチを提案し,各クライアントのモデルを異種(構造差)特徴抽出器と均質(構造相)分類ヘッダに分割する。
意味的類似性に基づくヘッダパラメータアグリゲーションを通じて、グローバル知識転送を実行する。
さらに、各クライアントの最新のグローバルヘッダーと過去のローカルヘッダーの目に見えるパラメータを融合させる適応パラメータ安定化戦略により、グローバルからローカルへの知識伝達を実現する。
このように、FedSSAは公開データセットに依存せず、部分的なヘッダパラメータ送信のみを必要とする(節約コスト)。
理論的解析はFedSSAの収束を証明している。
大規模な実験の結果、FedSSAの精度は最大3.62%、通信効率は15.54倍、計算効率は7つの最先端のMHPFLベースラインに比べて15.52倍である。
関連論文リスト
- Addressing Data Heterogeneity in Federated Learning with Adaptive Normalization-Free Feature Recalibration [1.33512912917221]
フェデレートラーニング(Federated Learning)は、ステークホルダーのデータ所有を保護し、パフォーマンスと一般化を改善した分散コラボレーティブトレーニングパラダイムである。
本稿では、重み付け標準化とチャネルアテンションを組み合わせたアーキテクチャレベルの手法である、適応正規化自由特徴校正(ANFR)を提案する。
論文 参考訳（メタデータ） (2024-10-02T20:16:56Z) - FedMAP: Unlocking Potential in Personalized Federated Learning through Bi-Level MAP Optimization [11.040916982022978]
フェデレートラーニング(FL)は、分散データに基づく機械学習モデルの協調トレーニングを可能にする。
クライアント間でのデータはしばしば、クラス不均衡、特徴分散スキュー、サンプルサイズ不均衡、その他の現象によって大きく異なる。
本稿では,バイレベル最適化を用いた新しいベイズPFLフレームワークを提案する。
論文 参考訳（メタデータ） (2024-05-29T11:28:06Z) - An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。
従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。
我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文 参考訳（メタデータ） (2024-04-29T05:55:23Z) - Parametric Feature Transfer: One-shot Federated Learning with Foundation
Models [14.97955440815159]
ワンショットのフェデレーション学習では、クライアントは単一のコミュニケーションでグローバルモデルを協調的にトレーニングする。
本稿では,基礎モデルの転送可能性を利用してワンショットFLの精度と通信効率を向上させる手法であるFedPFTを紹介する。
論文 参考訳（メタデータ） (2024-02-02T19:34:46Z) - Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-08-11T09:58:47Z) - FedGH: Heterogeneous Federated Learning with Generalized Global Header [16.26231633749833]
フェデレートラーニング(Federated Learning, FL)は、複数のパーティが共有モデルをトレーニングできる、新興の機械学習パラダイムである。
本稿では,FedGH(Federated Global Prediction Header)アプローチを提案する。
FedGHは、クライアントモデルのための異種抽出器による表現で、共通化されたグローバルな予測ヘッダーを訓練する。
論文 参考訳（メタデータ） (2023-03-23T09:38:52Z) - Fine-tuning Global Model via Data-Free Knowledge Distillation for
Non-IID Federated Learning [86.59588262014456]
フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。
サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。
私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
論文 参考訳（メタデータ） (2022-03-17T11:18:17Z) - Heterogeneous Federated Learning via Grouped Sequential-to-Parallel
Training [60.892342868936865]
フェデレートラーニング(Federated Learning, FL)は、プライバシ保護のためのコラボレーション機械学習パラダイムである。
本稿では,この課題に対処するため,データヘテロジニアス・ロバストFLアプローチであるFedGSPを提案する。
その結果,FedGSPは7つの最先端アプローチと比較して平均3.7%の精度向上を実現していることがわかった。
論文 参考訳（メタデータ） (2022-01-31T03:15:28Z) - Local Learning Matters: Rethinking Data Heterogeneity in Federated
Learning [61.488646649045215]
フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
論文 参考訳（メタデータ） (2021-11-28T19:03:39Z) - Federated learning with hierarchical clustering of local updates to
improve training on non-IID data [3.3517146652431378]
一つのジョイントモデルを学ぶことは、特定の種類の非IDデータが存在する場合に最適ではないことがよく示される。
階層的クラスタリングステップ(FL+HC)を導入することでFLに修正を加える。
FL+HCは,クラスタリングを伴わないFLに比べて,より少ない通信ラウンドでモデルトレーニングを収束させることができることを示す。
論文 参考訳（メタデータ） (2020-04-24T15:16:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。