論文の概要: Parameterized Knowledge Transfer for Personalized Federated Learning

• arxiv url: http://arxiv.org/abs/2111.02862v1
• Date: Thu, 4 Nov 2021 13:41:45 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-05 15:44:52.948114
• Title: Parameterized Knowledge Transfer for Personalized Federated Learning
• Title（参考訳）: 個人化フェデレーション学習のためのパラメータ化知識伝達
• Authors: Jie Zhang, Song Guo, Xiaosong Ma, Haozhao Wang, Wencao Xu, Feijie Wu
• Abstract要約: 異なるクライアントに対してパーソナライズされたモデルを採用するための新しいトレーニングフレームワークを提案する。 提案フレームワークは,パーソナライズされたモデルトレーニングを実現する最初のフェデレーション学習パラダイムであることが実証された。
• 参考スコア（独自算出の注目度）: 11.223753730705374
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, personalized federated learning (pFL) has attracted increasing attention for its potential in dealing with statistical heterogeneity among clients. However, the state-of-the-art pFL methods rely on model parameters aggregation at the server side, which require all models to have the same structure and size, and thus limits the application for more heterogeneous scenarios. To deal with such model constraints, we exploit the potentials of heterogeneous model settings and propose a novel training framework to employ personalized models for different clients. Specifically, we formulate the aggregation procedure in original pFL into a personalized group knowledge transfer training algorithm, namely, KT-pFL, which enables each client to maintain a personalized soft prediction at the server side to guide the others' local training. KT-pFL updates the personalized soft prediction of each client by a linear combination of all local soft predictions using a knowledge coefficient matrix, which can adaptively reinforce the collaboration among clients who own similar data distribution. Furthermore, to quantify the contributions of each client to others' personalized training, the knowledge coefficient matrix is parameterized so that it can be trained simultaneously with the models. The knowledge coefficient matrix and the model parameters are alternatively updated in each round following the gradient descent way. Extensive experiments on various datasets (EMNIST, Fashion\_MNIST, CIFAR-10) are conducted under different settings (heterogeneous models and data distributions). It is demonstrated that the proposed framework is the first federated learning paradigm that realizes personalized model training via parameterized group knowledge transfer while achieving significant performance gain comparing with state-of-the-art algorithms.
• Abstract（参考訳）: 近年,個人化フェデレーション学習(pFL)は,顧客間の統計的不均一性を扱う可能性に注目が集まっている。 しかし、最先端のpFLメソッドはサーバ側のモデルパラメータアグリゲーションに依存しており、すべてのモデルが同じ構造とサイズを持つ必要があるため、より異質なシナリオに対するアプリケーションを制限することができる。 このようなモデル制約に対処するために,ヘテロジニアスモデル設定の可能性を活用し,異なるクライアントに対してパーソナライズされたモデルを採用するための新しいトレーニングフレームワークを提案する。 具体的には、各クライアントがサーバ側でパーソナライズされたソフト予測を維持でき、他のクライアントのローカルトレーニングをガイドできる、パーソナライズされたグループ知識伝達トレーニングアルゴリズムKT-pFLに、元のpFLの集約手順を定式化する。 kt-pflは、知識係数行列を用いて、各クライアントのパーソナライズされたソフト予測を全てのローカルソフト予測の線形結合により更新する。 さらに、各クライアントの個人化学習への貢献を定量化するために、知識係数行列をパラメータ化してモデルと同時に訓練することができる。 知識係数行列とモデルパラメータは、勾配降下方法に従って各ラウンドで代替的に更新される。 各種データセット(EMNIST, Fashion\_MNIST, CIFAR-10)の総合的な実験は、異なる設定(異種モデルとデータ分布)の下で行われる。 提案したフレームワークは,パラメータ化グループ知識伝達によるパーソナライズされたモデルトレーニングを実現し,最先端のアルゴリズムと比較した性能向上を実現した最初のフェデレーション学習パラダイムである。

関連論文リスト

• Multi-Level Additive Modeling for Structured Non-IID Federated Learning [54.53672323071204]
  我々は、異種クライアント間のより良い知識共有のために、マルチレベル付加モデル(MAM)と呼ばれるマルチレベル構造で編成されたモデルを訓練する。 フェデレートMAM(FeMAM)では、各クライアントは各レベル毎に少なくとも1つのモデルに割り当てられ、そのパーソナライズされた予測は、各レベルに割り当てられたモデルの出力を合計する。 実験により、FeMAMは既存のクラスタリングFLおよびパーソナライズされたFLメソッドを様々な非IID設定で超越していることが示された。
  論文  参考訳（メタデータ） (2024-05-26T07:54:53Z)
• DA-PFL: Dynamic Affinity Aggregation for Personalized Federated Learning [13.393529840544117]
  既存のパーソナライズされた学習モデルでは、学習モデルの性能を改善するために、類似したクライアントを同様のデータ分散で集約するのが好ましい。 本稿では,動的親和性に基づく個人化フェデレーション学習モデル(DA-PFL)を提案する。
  論文  参考訳（メタデータ） (2024-03-14T11:12:10Z)
• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• FedDWA: Personalized Federated Learning with Dynamic Weight Adjustment [20.72576355616359]
  本稿では,この問題を解決するために,emphFedDWA (Federated Learning with Dynamic Weight Adjustment) と呼ばれる新しいPFLアルゴリズムを提案する。 FedDWAは、クライアントから収集したモデルに基づいて、パーソナライズされたアグリゲーション重みを計算する。 我々は,5つの実データを用いて広範囲な実験を行い,FedDWAが通信トラフィックを大幅に削減し,最先端のアプローチよりもはるかに高いモデル精度を達成できることを実証した。
  論文  参考訳（メタデータ） (2023-05-10T13:12:07Z)
• Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
  本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
  論文  参考訳（メタデータ） (2023-05-01T20:04:46Z)
• Visual Prompt Based Personalized Federated Learning [83.04104655903846]
  pFedPTと呼ばれる画像分類タスクのための新しいPFLフレームワークを提案し、クライアントのローカルデータ配信情報を暗黙的に表現するためにパーソナライズされた視覚的プロンプトを利用する。 CIFAR10とCIFAR100データセットの実験では、pFedPTは様々な設定でいくつかの最先端(SOTA)PFLアルゴリズムより優れていた。
  論文  参考訳（メタデータ） (2023-03-15T15:02:15Z)
• Personalizing or Not: Dynamically Personalized Federated Learning with Incentives [37.42347737911428]
  個人データを共有せずにパーソナライズされたモデルを学習するためのパーソナライズド・フェデレーション・ラーニング(FL)を提案する。 パーソナライズレートは、パーソナライズされたモデルのトレーニングを希望する顧客の割合として測定され、フェデレーションされた設定に導入され、DyPFLを提案する。 この技術は、クライアントがローカルモデルをパーソナライズすることへのインセンティブを与えると同時に、より優れたパフォーマンスでグローバルモデルを採用できるようにする。
  論文  参考訳（メタデータ） (2022-08-12T09:51:20Z)
• QuPeD: Quantized Personalization via Distillation with Applications to Federated Learning [8.420943739336067]
  統合学習(FL)は、複数のクライアントとサーバを協調的に使用しながら、単一のグローバルモデルをトレーニングすることを目的としている。 本稿では,集合的(個人化されたモデル圧縮)訓練を容易にする,テキスト化およびテキスト化FLアルゴリズムQuPeDを提案する。 数値的には、QuPeDは、さまざまな異種環境におけるクライアントの個人化FLメソッド、FedAvg、およびローカルトレーニングよりも優れていた。
  論文  参考訳（メタデータ） (2021-07-29T10:55:45Z)
• Personalized Federated Learning with First Order Model Optimization [76.81546598985159]
  そこで我々は,各クライアントが他のクライアントと連携して,クライアント固有の目的ごとのより強力なモデルを得る,フェデレーション学習の代替案を提案する。 基礎となるデータ分布やクライアントの類似性に関する知識を前提とせず、各クライアントが関心のある任意のターゲット分布を最適化できるようにします。 この手法は既存の代替品を上回り、ローカルデータ配信以外の転送のようなパーソナライズされたFLの新機能を可能にする。
  論文  参考訳（メタデータ） (2020-12-15T19:30:29Z)
• Federated Mutual Learning [65.46254760557073]
  Federated Mutual Leaning (FML)は、クライアントが汎用モデルとパーソナライズされたモデルを独立してトレーニングすることを可能にする。 実験により、FMLは一般的なフェデレート学習環境よりも優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2020-06-27T09:35:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。