論文の概要: Personalized Federated Learning with Multi-branch Architecture
- arxiv url: http://arxiv.org/abs/2211.07931v3
- Date: Tue, 21 Nov 2023 13:59:55 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-23 05:53:04.482789
- Title: Personalized Federated Learning with Multi-branch Architecture
- Title（参考訳）: マルチブランチアーキテクチャによる個人化フェデレーション学習
- Authors: Junki Mori, Tomoyuki Yoshiyama, Furukawa Ryo, Isamu Teranishi
- Abstract要約: フェデレートラーニング(FL)は、複数のクライアントが相互に生データを公開することなく、協力的にモデルをトレーニングすることを可能にする。
ニューラルネットワークの各レイヤを複数のブランチに分割し,各ブランチにクライアント固有の重みを割り当てることで,パーソナライズを実現するマルチブランチアーキテクチャを用いた新しいPFL手法(pFedMB)を提案する。
CIFAR10およびCIFAR100データセットを用いて,pFedMBが最先端のPFL法よりも優れた性能を示すことを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) is a decentralized machine learning technique that
enables multiple clients to collaboratively train models without requiring
clients to reveal their raw data to each other. Although traditional FL trains
a single global model with average performance among clients, statistical data
heterogeneity across clients has resulted in the development of personalized FL
(PFL), which trains personalized models with good performance on each client's
data. A key challenge with PFL is how to facilitate clients with similar data
to collaborate more in a situation where each client has data from complex
distribution and cannot determine one another's distribution. In this paper, we
propose a new PFL method (pFedMB) using multi-branch architecture, which
achieves personalization by splitting each layer of a neural network into
multiple branches and assigning client-specific weights to each branch. We also
design an aggregation method to improve the communication efficiency and the
model performance, with which each branch is globally updated with weighted
averaging by client-specific weights assigned to the branch. pFedMB is simple
but effective in facilitating each client to share knowledge with similar
clients by adjusting the weights assigned to each branch. We experimentally
show that pFedMB performs better than the state-of-the-art PFL methods using
the CIFAR10 and CIFAR100 datasets.
- Abstract（参考訳）: Federated Learning(FL)は、複数のクライアントが相互に生データを公開することなく、協力的にモデルをトレーニングできる分散機械学習技術である。
従来のFLは、クライアント間で平均的なパフォーマンスを持つ単一のグローバルモデルを訓練するが、クライアント間の統計データの異質性は、各クライアントのデータに対して優れたパフォーマンスでパーソナライズされたモデルを訓練するパーソナライズされたFL(PFL)の開発につながっている。
PFLの主な課題は、クライアントが複雑な分散からのデータを持ち、お互いの分散を判断できない状況において、類似したデータを持つクライアントがより協力できるようにする方法である。
本稿では、ニューラルネットワークの各レイヤを複数のブランチに分割し、各ブランチにクライアント固有の重みを割り当てることでパーソナライズを実現するマルチブランチアーキテクチャを用いた新しいPFL手法(pFedMB)を提案する。
また,通信効率とモデル性能を向上させるために,各ブランチに割り当てられたクライアント固有の重み付けによる重み付け平均値でグローバルに更新する集約手法を設計した。
pFedMBは単純だが、各ブランチに割り当てられた重みを調整することで、各クライアントが同様のクライアントと知識を共有するのを容易にする。
CIFAR10およびCIFAR100データセットを用いて,pFedMBが最先端のPFL法よりも優れた性能を示すことを示す。
関連論文リスト
- Multi-Level Additive Modeling for Structured Non-IID Federated Learning [54.53672323071204]
我々は、異種クライアント間のより良い知識共有のために、マルチレベル付加モデル(MAM)と呼ばれるマルチレベル構造で編成されたモデルを訓練する。
フェデレートMAM(FeMAM)では、各クライアントは各レベル毎に少なくとも1つのモデルに割り当てられ、そのパーソナライズされた予測は、各レベルに割り当てられたモデルの出力を合計する。
実験により、FeMAMは既存のクラスタリングFLおよびパーソナライズされたFLメソッドを様々な非IID設定で超越していることが示された。
論文 参考訳（メタデータ） (2024-05-26T07:54:53Z) - FedSampling: A Better Sampling Strategy for Federated Learning [81.85411484302952]
フェデレートラーニング(FL)は、プライバシを保存する方法で分散化されたデータからモデルを学習するための重要なテクニックである。
既存のFLメソッドは通常、各ラウンドでローカルモデル学習のために一様にクライアントをサンプリングする。
フェデレート学習のための新しいデータ一様サンプリング戦略(FedSampling)を提案する。
論文 参考訳（メタデータ） (2023-06-25T13:38:51Z) - Adaptive Federated Learning with Auto-Tuned Clients [8.868957280690832]
Federated Learning(FL)は、中央サーバのグローバルモデルがデータを共有せずにクライアントに参加することで、複数の協調的なステップを通じてトレーニングされる分散機械学習フレームワークである。
我々は,SGD の単純なステップサイズルールである$Delta$-SGD を提案し,各クライアントが最適化している関数の局所的滑らかさに適応して,各クライアントが独自のステップサイズを利用できるようにした。
論文 参考訳（メタデータ） (2023-06-19T23:46:42Z) - Visual Prompt Based Personalized Federated Learning [83.04104655903846]
pFedPTと呼ばれる画像分類タスクのための新しいPFLフレームワークを提案し、クライアントのローカルデータ配信情報を暗黙的に表現するためにパーソナライズされた視覚的プロンプトを利用する。
CIFAR10とCIFAR100データセットの実験では、pFedPTは様々な設定でいくつかの最先端(SOTA)PFLアルゴリズムより優れていた。
論文 参考訳（メタデータ） (2023-03-15T15:02:15Z) - Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。
FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。
SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。
本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
論文 参考訳（メタデータ） (2022-11-20T10:49:22Z) - Federated Noisy Client Learning [105.00756772827066]
フェデレートラーニング(FL)は、複数のローカルクライアントに依存する共有グローバルモデルを協調的に集約する。
標準FLメソッドは、集約されたモデル全体のパフォーマンスを損なううるノイズの多いクライアントの問題を無視します。
本稿では,Fed-NCL (Federated Noisy Client Learning) を提案する。
論文 参考訳（メタデータ） (2021-06-24T11:09:17Z) - Unifying Distillation with Personalization in Federated Learning [1.8262547855491458]
Federated Learning(FL)は、クライアントがデータを共有せずに中央アグリゲータを通じて共同作業モデルを学習する分散プライバシ保護学習技術である。
この設定では、すべてのクライアントが単一の共通予測器(FedAvg)を学習する。
本稿では,2段階のパーソナライズされた学習アルゴリズムPersFLを用いてこの問題に対処する。
第1段階では、PersFLはFLトレーニングフェーズにおいて各クライアントの最適な教師モデルを見つけ、第2段階では、PersFLは有用な知識を抽出する。
論文 参考訳（メタデータ） (2021-05-31T17:54:29Z) - Personalized Federated Learning by Structured and Unstructured Pruning
under Data Heterogeneity [3.291862617649511]
クライアントレベルの目的からパーソナライズされたモデルを得るための新しいアプローチを提案する。
このパーソナライズを実現するために、各クライアントの小さなサブネットワークを見つける。
論文 参考訳（メタデータ） (2021-05-02T22:10:46Z) - FedNS: Improving Federated Learning for collaborative image
classification on mobile clients [22.980223900446997]
Federated Learning(FL)は、グローバルモデルを学ぶために疎結合のクライアントをサポートすることを目的としたパラダイムです。
本稿では、fl設定におけるサーバのグローバルモデル集約のためのフェデレーションノード選択(fedns)と呼ばれる新しい手法を提案する。
我々は、FedNSがFedAvgよりも一貫してパフォーマンスを向上させることができる複数のデータセットとネットワークからの実験で示します。
論文 参考訳（メタデータ） (2021-01-20T06:45:46Z) - Personalized Federated Learning with First Order Model Optimization [76.81546598985159]
そこで我々は,各クライアントが他のクライアントと連携して,クライアント固有の目的ごとのより強力なモデルを得る,フェデレーション学習の代替案を提案する。
基礎となるデータ分布やクライアントの類似性に関する知識を前提とせず、各クライアントが関心のある任意のターゲット分布を最適化できるようにします。
この手法は既存の代替品を上回り、ローカルデータ配信以外の転送のようなパーソナライズされたFLの新機能を可能にする。
論文 参考訳（メタデータ） (2020-12-15T19:30:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。