論文の概要: MAP: Model Aggregation and Personalization in Federated Learning with Incomplete Classes
- arxiv url: http://arxiv.org/abs/2404.09232v1
- Date: Sun, 14 Apr 2024 12:22:42 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-16 14:58:08.905581
- Title: MAP: Model Aggregation and Personalization in Federated Learning with Incomplete Classes
- Title（参考訳）: MAP:不完全クラスによるフェデレーション学習におけるモデル集約とパーソナライゼーション
- Authors: Xin-Chun Li, Shaoming Song, Yinchuan Li, Bingshuai Li, Yunfeng Shao, Yang Yang, De-Chuan Zhan,
- Abstract要約: 一部の実世界のアプリケーションでは、データサンプルは通常、ローカルデバイスに分散される。
本稿では,クライアントが不完全なクラスを所有する特別なI.I.D.シーンに焦点を当てる。
提案するMAPアルゴリズムは,FLにおけるアグリゲーションとパーソナライゼーションの目標を同時に達成できる。
- 参考スコア（独自算出の注目度）: 49.22075916259368
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In some real-world applications, data samples are usually distributed on local devices, where federated learning (FL) techniques are proposed to coordinate decentralized clients without directly sharing users' private data. FL commonly follows the parameter server architecture and contains multiple personalization and aggregation procedures. The natural data heterogeneity across clients, i.e., Non-I.I.D. data, challenges both the aggregation and personalization goals in FL. In this paper, we focus on a special kind of Non-I.I.D. scene where clients own incomplete classes, i.e., each client can only access a partial set of the whole class set. The server aims to aggregate a complete classification model that could generalize to all classes, while the clients are inclined to improve the performance of distinguishing their observed classes. For better model aggregation, we point out that the standard softmax will encounter several problems caused by missing classes and propose "restricted softmax" as an alternative. For better model personalization, we point out that the hard-won personalized models are not well exploited and propose "inherited private model" to store the personalization experience. Our proposed algorithm named MAP could simultaneously achieve the aggregation and personalization goals in FL. Abundant experimental studies verify the superiorities of our algorithm.
- Abstract（参考訳）: 一部の実世界のアプリケーションでは、データサンプルは通常、ローカルデバイスに分散され、ユーザのプライベートデータを直接共有することなく、分散学習(FL)技術が分散クライアントのコーディネートとして提案される。
FLは一般にパラメータサーバアーキテクチャに従っており、複数のパーソナライズと集約手順を含んでいる。
非I.I.D.データのようなクライアント間の自然データの不均一性は、FLにおける集約とパーソナライゼーションの目標の両方に挑戦する。
本稿では,クライアントが不完全なクラスを所有している,すなわち各クライアントがクラス全体の部分集合にしかアクセスできない,特別なタイプの非I.I.D.シーンに焦点を当てる。
サーバは、すべてのクラスに一般化可能な完全な分類モデルを集約することを目的としており、クライアントは、観察されたクラスを区別するパフォーマンスを改善する傾向にある。
モデルアグリゲーションを改善するために、標準ソフトマックスは欠落クラスに起因するいくつかの問題に遭遇し、代替として「制限ソフトマックス」を提案することを指摘した。
モデルパーソナライゼーションを改善するために、ハードウォンパーソナライズされたモデルはあまり活用されていないことを指摘し、パーソナライゼーション体験を保存するために「継承されたプライベートモデル」を提案する。
提案するMAPアルゴリズムは,FLにおけるアグリゲーションとパーソナライゼーションの目標を同時に達成できる。
我々のアルゴリズムの優位性を検証する実験結果が得られている。
関連論文リスト
- Multi-Level Additive Modeling for Structured Non-IID Federated Learning [54.53672323071204]
我々は、異種クライアント間のより良い知識共有のために、マルチレベル付加モデル(MAM)と呼ばれるマルチレベル構造で編成されたモデルを訓練する。
フェデレートMAM(FeMAM)では、各クライアントは各レベル毎に少なくとも1つのモデルに割り当てられ、そのパーソナライズされた予測は、各レベルに割り当てられたモデルの出力を合計する。
実験により、FeMAMは既存のクラスタリングFLおよびパーソナライズされたFLメソッドを様々な非IID設定で超越していることが示された。
論文 参考訳（メタデータ） (2024-05-26T07:54:53Z) - FedJETs: Efficient Just-In-Time Personalization with Federated Mixture
of Experts [48.78037006856208]
FedJETsは、Federated Learning(FL)セットアップ内でMixture-of-Experts(MoE)フレームワークを使用することで、新しいソリューションである。
我々の方法は、クライアントの多様性を活用して、クラスのサブセットの異なる専門家を訓練し、最も関係のある専門家に入力をルーティングするゲーティング機能を提供します。
我々の手法は、競争力のあるゼロショット性能を維持しながら、アートFL設定時の精度を最大18%向上させることができる。
論文 参考訳（メタデータ） (2023-06-14T15:47:52Z) - FedDWA: Personalized Federated Learning with Dynamic Weight Adjustment [20.72576355616359]
本稿では,この問題を解決するために,emphFedDWA (Federated Learning with Dynamic Weight Adjustment) と呼ばれる新しいPFLアルゴリズムを提案する。
FedDWAは、クライアントから収集したモデルに基づいて、パーソナライズされたアグリゲーション重みを計算する。
我々は,5つの実データを用いて広範囲な実験を行い,FedDWAが通信トラフィックを大幅に削減し,最先端のアプローチよりもはるかに高いモデル精度を達成できることを実証した。
論文 参考訳（メタデータ） (2023-05-10T13:12:07Z) - Personalized Federated Learning on Long-Tailed Data via Adversarial
Feature Augmentation [24.679535905451758]
PFLは、プライバシを保存する方法で、すべてのクライアントの知識に基づいて、各クライアントのパーソナライズされたモデルを学ぶことを目的としている。
既存のPFL法では、全てのクライアントにわたる基礎となるグローバルデータが、ロングテール分布を考慮せずに均一に分散されていると仮定している。
PFLにおけるこの共同問題に対処するために,FedAFA(Federated Learning with Adversarial Feature Augmentation)を提案する。
論文 参考訳（メタデータ） (2023-03-27T13:00:20Z) - Visual Prompt Based Personalized Federated Learning [83.04104655903846]
pFedPTと呼ばれる画像分類タスクのための新しいPFLフレームワークを提案し、クライアントのローカルデータ配信情報を暗黙的に表現するためにパーソナライズされた視覚的プロンプトを利用する。
CIFAR10とCIFAR100データセットの実験では、pFedPTは様々な設定でいくつかの最先端(SOTA)PFLアルゴリズムより優れていた。
論文 参考訳（メタデータ） (2023-03-15T15:02:15Z) - Personalizing or Not: Dynamically Personalized Federated Learning with
Incentives [37.42347737911428]
個人データを共有せずにパーソナライズされたモデルを学習するためのパーソナライズド・フェデレーション・ラーニング(FL)を提案する。
パーソナライズレートは、パーソナライズされたモデルのトレーニングを希望する顧客の割合として測定され、フェデレーションされた設定に導入され、DyPFLを提案する。
この技術は、クライアントがローカルモデルをパーソナライズすることへのインセンティブを与えると同時に、より優れたパフォーマンスでグローバルモデルを採用できるようにする。
論文 参考訳（メタデータ） (2022-08-12T09:51:20Z) - Subspace Learning for Personalized Federated Optimization [7.475183117508927]
本稿では,AIシステムにおけるパーソナライズされた学習の問題に対処する手法を提案する。
提案手法は、パーソナライズされたクライアント評価設定と見当たらないクライアント評価設定の両方において、一貫した利得が得られることを示す。
論文 参考訳（メタデータ） (2021-09-16T00:03:23Z) - QuPeD: Quantized Personalization via Distillation with Applications to
Federated Learning [8.420943739336067]
統合学習(FL)は、複数のクライアントとサーバを協調的に使用しながら、単一のグローバルモデルをトレーニングすることを目的としている。
本稿では,集合的(個人化されたモデル圧縮)訓練を容易にする,テキスト化およびテキスト化FLアルゴリズムQuPeDを提案する。
数値的には、QuPeDは、さまざまな異種環境におけるクライアントの個人化FLメソッド、FedAvg、およびローカルトレーニングよりも優れていた。
論文 参考訳（メタデータ） (2021-07-29T10:55:45Z) - Personalized Federated Learning with First Order Model Optimization [76.81546598985159]
そこで我々は,各クライアントが他のクライアントと連携して,クライアント固有の目的ごとのより強力なモデルを得る,フェデレーション学習の代替案を提案する。
基礎となるデータ分布やクライアントの類似性に関する知識を前提とせず、各クライアントが関心のある任意のターゲット分布を最適化できるようにします。
この手法は既存の代替品を上回り、ローカルデータ配信以外の転送のようなパーソナライズされたFLの新機能を可能にする。
論文 参考訳（メタデータ） (2020-12-15T19:30:29Z) - Federated Mutual Learning [65.46254760557073]
Federated Mutual Leaning (FML)は、クライアントが汎用モデルとパーソナライズされたモデルを独立してトレーニングすることを可能にする。
実験により、FMLは一般的なフェデレート学習環境よりも優れた性能が得られることが示された。
論文 参考訳（メタデータ） (2020-06-27T09:35:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。