論文の概要: Multi-Level Additive Modeling for Structured Non-IID Federated Learning
- arxiv url: http://arxiv.org/abs/2405.16472v1
- Date: Sun, 26 May 2024 07:54:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-28 21:08:36.722779
- Title: Multi-Level Additive Modeling for Structured Non-IID Federated Learning
- Title（参考訳）: 構造化非IIDフェデレーション学習のための多層付加モデル
- Authors: Shutong Chen, Tianyi Zhou, Guodong Long, Jie Ma, Jing Jiang, Chengqi Zhang,
- Abstract要約: 我々は、異種クライアント間のより良い知識共有のために、マルチレベル付加モデル(MAM)と呼ばれるマルチレベル構造で編成されたモデルを訓練する。
フェデレートMAM(FeMAM)では、各クライアントは各レベル毎に少なくとも1つのモデルに割り当てられ、そのパーソナライズされた予測は、各レベルに割り当てられたモデルの出力を合計する。
実験により、FeMAMは既存のクラスタリングFLおよびパーソナライズされたFLメソッドを様々な非IID設定で超越していることが示された。
- 参考スコア（独自算出の注目度）: 54.53672323071204
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The primary challenge in Federated Learning (FL) is to model non-IID distributions across clients, whose fine-grained structure is important to improve knowledge sharing. For example, some knowledge is globally shared across all clients, some is only transferable within a subgroup of clients, and some are client-specific. To capture and exploit this structure, we train models organized in a multi-level structure, called ``Multi-level Additive Models (MAM)'', for better knowledge-sharing across heterogeneous clients and their personalization. In federated MAM (FeMAM), each client is assigned to at most one model per level and its personalized prediction sums up the outputs of models assigned to it across all levels. For the top level, FeMAM trains one global model shared by all clients as FedAvg. For every mid-level, it learns multiple models each assigned to a subgroup of clients, as clustered FL. Every bottom-level model is trained for one client only. In the training objective, each model aims to minimize the residual of the additive predictions by the other models assigned to each client. To approximate the arbitrary structure of non-IID across clients, FeMAM introduces more flexibility and adaptivity to FL by incrementally adding new models to the prediction of each client and reassigning another if necessary, automatically optimizing the knowledge-sharing structure. Extensive experiments show that FeMAM surpasses existing clustered FL and personalized FL methods in various non-IID settings. Our code is available at https://github.com/shutong043/FeMAM.
- Abstract（参考訳）: フェデレートラーニング(FL)における最大の課題は、知識共有を改善するために、きめ細かい構造が重要であるクライアント間の非IID分布をモデル化することである。
例えば、ある知識はグローバルにすべてのクライアントで共有され、ある知識はクライアントのサブグループ内でのみ転送可能であり、ある知識はクライアント固有のものです。
この構造を捕捉し、活用するために、異種クライアント間の知識共有とパーソナライゼーションを改善するために、'Multi-level Additive Models (MAM)'と呼ばれるマルチレベル構造で編成されたモデルを訓練する。
フェデレートMAM(FeMAM)では、各クライアントは各レベル毎に少なくとも1つのモデルに割り当てられ、そのパーソナライズされた予測は、各レベルに割り当てられたモデルの出力を合計する。
トップレベルでは、FeMAMはFedAvgとしてすべてのクライアントが共有するグローバルモデル1つをトレーニングします。
各中間レベルにおいて、クラスタ化されたFLとして、クライアントのサブグループに割り当てられた複数のモデルを学ぶ。
すべてのボトムレベルモデルは、1つのクライアントでのみトレーニングされます。
トレーニング目標では、各モデルは、各クライアントに割り当てられた他のモデルによる追加予測の残余を最小限にすることを目的としている。
クライアント間の非IIDの任意の構造を近似するために、FeMAMは各クライアントの予測に新たなモデルを追加し、必要に応じて別のモデルを再割り当てすることでFLに柔軟性と適応性を導入し、知識共有構造を自動的に最適化する。
FeMAMは、既存のクラスタリングFLとパーソナライズされたFLメソッドを、様々な非IID設定で超越している。
私たちのコードはhttps://github.com/shutong043/FeMAMで利用可能です。
関連論文リスト
- Personalized Hierarchical Split Federated Learning in Wireless Networks [24.664469755746463]
本稿では、パーソナライズ性能の向上を目的とした、パーソナライズされた階層分割型フェデレーション学習(PHSFL)アルゴリズムを提案する。
まず、モデル分割と階層モデル集約がグローバルモデルに与える影響を理解するために、広範囲な理論的解析を行う。
グローバルモデルがトレーニングされると、各クライアントを微調整してパーソナライズされたモデルを取得します。
論文 参考訳（メタデータ） (2024-11-09T02:41:53Z) - FedReMa: Improving Personalized Federated Learning via Leveraging the Most Relevant Clients [13.98392319567057]
Federated Learning (FL) は分散機械学習のパラダイムであり、分散計算と周期モデル合成によってグローバルに堅牢なモデルを実現する。
広く採用されているにもかかわらず、既存のFLとPFLの作業は、クラス不均衡の問題に包括的に対処していない。
本稿では,適応型クライアント間コラーニング手法を用いて,クラス不均衡に対処できる効率的なPFLアルゴリズムであるFedReMaを提案する。
論文 参考訳（メタデータ） (2024-11-04T05:44:28Z) - MAP: Model Aggregation and Personalization in Federated Learning with Incomplete Classes [49.22075916259368]
一部の実世界のアプリケーションでは、データサンプルは通常、ローカルデバイスに分散される。
本稿では,クライアントが不完全なクラスを所有する特別なI.I.D.シーンに焦点を当てる。
提案するMAPアルゴリズムは,FLにおけるアグリゲーションとパーソナライゼーションの目標を同時に達成できる。
論文 参考訳（メタデータ） (2024-04-14T12:22:42Z) - Enhancing One-Shot Federated Learning Through Data and Ensemble
Co-Boosting [76.64235084279292]
ワンショットフェデレートラーニング(One-shot Federated Learning, OFL)は,単一のコミュニケーションラウンドを通じてグローバルサーバモデルのトレーニングを可能にする,有望な学習パラダイムである。
合成されたデータとアンサンブルモデルを相互に拡張する新しいフレームワークであるCo-Boostingを導入する。
論文 参考訳（メタデータ） (2024-02-23T03:15:10Z) - FAM: fast adaptive federated meta-learning [10.980548731600116]
単一グローバルモデルの協調学習のための高速適応型メタラーニング(FAM)フレームワークを提案する。
スケルトンネットワークは各クライアントで成長し、ローカルデータから追加のクライアント固有のパラメータを学習することでパーソナライズされたモデルをトレーニングする。
パーソナライズされたクライアントモデルは、ローカルにトレーニングされたモデルよりも優れ、FAMメカニズムの有効性を実証した。
論文 参考訳（メタデータ） (2023-08-26T22:54:45Z) - Visual Prompt Based Personalized Federated Learning [83.04104655903846]
pFedPTと呼ばれる画像分類タスクのための新しいPFLフレームワークを提案し、クライアントのローカルデータ配信情報を暗黙的に表現するためにパーソナライズされた視覚的プロンプトを利用する。
CIFAR10とCIFAR100データセットの実験では、pFedPTは様々な設定でいくつかの最先端(SOTA)PFLアルゴリズムより優れていた。
論文 参考訳（メタデータ） (2023-03-15T15:02:15Z) - Personalized Federated Learning with Multi-branch Architecture [0.0]
フェデレートラーニング(FL)は、複数のクライアントが相互に生データを公開することなく、協力的にモデルをトレーニングすることを可能にする。
ニューラルネットワークの各レイヤを複数のブランチに分割し,各ブランチにクライアント固有の重みを割り当てることで,パーソナライズを実現するマルチブランチアーキテクチャを用いた新しいPFL手法(pFedMB)を提案する。
CIFAR10およびCIFAR100データセットを用いて,pFedMBが最先端のPFL法よりも優れた性能を示すことを示す。
論文 参考訳（メタデータ） (2022-11-15T06:30:57Z) - Personalized Federated Learning by Structured and Unstructured Pruning
under Data Heterogeneity [3.291862617649511]
クライアントレベルの目的からパーソナライズされたモデルを得るための新しいアプローチを提案する。
このパーソナライズを実現するために、各クライアントの小さなサブネットワークを見つける。
論文 参考訳（メタデータ） (2021-05-02T22:10:46Z) - Personalized Federated Learning with First Order Model Optimization [76.81546598985159]
そこで我々は,各クライアントが他のクライアントと連携して,クライアント固有の目的ごとのより強力なモデルを得る,フェデレーション学習の代替案を提案する。
基礎となるデータ分布やクライアントの類似性に関する知識を前提とせず、各クライアントが関心のある任意のターゲット分布を最適化できるようにします。
この手法は既存の代替品を上回り、ローカルデータ配信以外の転送のようなパーソナライズされたFLの新機能を可能にする。
論文 参考訳（メタデータ） (2020-12-15T19:30:29Z) - Federated Mutual Learning [65.46254760557073]
Federated Mutual Leaning (FML)は、クライアントが汎用モデルとパーソナライズされたモデルを独立してトレーニングすることを可能にする。
実験により、FMLは一般的なフェデレート学習環境よりも優れた性能が得られることが示された。
論文 参考訳（メタデータ） (2020-06-27T09:35:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。