論文の概要: Personalized Federated Learning with Multi-branch Architecture
- arxiv url: http://arxiv.org/abs/2211.07931v1
- Date: Tue, 15 Nov 2022 06:30:57 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-16 15:18:59.971907
- Title: Personalized Federated Learning with Multi-branch Architecture
- Title（参考訳）: マルチブランチアーキテクチャによる個人化フェデレーション学習
- Authors: Junki Mori, Tomoyuki Yoshiyama, Furukawa Ryo, Isamu Teranishi
- Abstract要約: マルチブランチアーキテクチャ(pFedMB)を用いたパーソナライズド・フェデレーション学習のための新しいPFL手法を提案する。
pFedMBは、ニューラルネットワークの各レイヤを複数のブランチに分割し、各ブランチにクライアント固有の重み付けを割り当てることで、パーソナライズを実現する。
CIFAR10データセットを用いて,pFedMBは最先端のPFL法よりも優れた性能を示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) is a decentralized machine learning technique that
enables multiple clients to collaboratively train models without revealing the
raw data to each other. Although the traditional FL trains a single global
model with average performance among clients, the statistical data
heterogeneity across clients motivates personalized FL (PFL) which learns
personalized models with good performance on each client's data. A key
challenge in PFL is how to promote clients with similar data to collaborate
more in a situation where each client has data from complex distribution and
does not know each other's distribution. In this paper, we propose a new PFL
method, personalized federated learning with multi-branch architecture
(pFedMB), which achieves personalization by splitting each layer of neural
networks into multiple branches and assigning client-specific weights to each
branch. pFedMB is simple but effective to facilitate each client to share the
knowledge with similar clients by adjusting the weights assigned to each
branch. We experimentally show that pFedMB performs better than the
state-of-the-art PFL methods using CIFAR10 dataset.
- Abstract（参考訳）: Federated Learning(FL)は、複数のクライアントが互いに生データを公開せずに、協力的にモデルをトレーニングできる分散機械学習技術である。
従来のflは、クライアント間で平均的なパフォーマンスを持つ単一のグローバルモデルをトレーニングするが、クライアント間の統計データの不均一性は、各クライアントのデータで優れたパフォーマンスを持つパーソナライズされたモデルを学ぶパーソナライズドfl(pfl)を動機付ける。
pflの重要な課題は、各クライアントが複雑な分散からのデータを持ち、お互いの分散を知らない状況において、類似したデータを持つクライアントのコラボレーションを促進する方法である。
本稿では、ニューラルネットワークの各レイヤを複数のブランチに分割し、各ブランチにクライアント固有の重みを割り当てることでパーソナライズを実現する、マルチブランチアーキテクチャ(pfedmb)によるパーソナライズされた連合学習手法を提案する。
pFedMBは単純だが、各クライアントが各ブランチに割り当てられた重みを調整することで、同様のクライアントと知識を共有するのを容易にする。
CIFAR10データセットを用いて,pFedMBは最先端のPFL法よりも優れた性能を示す。
関連論文リスト
- Multi-Level Additive Modeling for Structured Non-IID Federated Learning [54.53672323071204]
我々は、異種クライアント間のより良い知識共有のために、マルチレベル付加モデル(MAM)と呼ばれるマルチレベル構造で編成されたモデルを訓練する。
フェデレートMAM(FeMAM)では、各クライアントは各レベル毎に少なくとも1つのモデルに割り当てられ、そのパーソナライズされた予測は、各レベルに割り当てられたモデルの出力を合計する。
実験により、FeMAMは既存のクラスタリングFLおよびパーソナライズされたFLメソッドを様々な非IID設定で超越していることが示された。
論文 参考訳（メタデータ） (2024-05-26T07:54:53Z) - FedSampling: A Better Sampling Strategy for Federated Learning [81.85411484302952]
フェデレートラーニング(FL)は、プライバシを保存する方法で分散化されたデータからモデルを学習するための重要なテクニックである。
既存のFLメソッドは通常、各ラウンドでローカルモデル学習のために一様にクライアントをサンプリングする。
フェデレート学習のための新しいデータ一様サンプリング戦略(FedSampling)を提案する。
論文 参考訳（メタデータ） (2023-06-25T13:38:51Z) - Adaptive Federated Learning with Auto-Tuned Clients [8.868957280690832]
Federated Learning(FL)は、中央サーバのグローバルモデルがデータを共有せずにクライアントに参加することで、複数の協調的なステップを通じてトレーニングされる分散機械学習フレームワークである。
我々は,SGD の単純なステップサイズルールである$Delta$-SGD を提案し,各クライアントが最適化している関数の局所的滑らかさに適応して,各クライアントが独自のステップサイズを利用できるようにした。
論文 参考訳（メタデータ） (2023-06-19T23:46:42Z) - Visual Prompt Based Personalized Federated Learning [83.04104655903846]
pFedPTと呼ばれる画像分類タスクのための新しいPFLフレームワークを提案し、クライアントのローカルデータ配信情報を暗黙的に表現するためにパーソナライズされた視覚的プロンプトを利用する。
CIFAR10とCIFAR100データセットの実験では、pFedPTは様々な設定でいくつかの最先端(SOTA)PFLアルゴリズムより優れていた。
論文 参考訳（メタデータ） (2023-03-15T15:02:15Z) - Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。
FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。
SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。
本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
論文 参考訳（メタデータ） (2022-11-20T10:49:22Z) - Federated Noisy Client Learning [105.00756772827066]
フェデレートラーニング(FL)は、複数のローカルクライアントに依存する共有グローバルモデルを協調的に集約する。
標準FLメソッドは、集約されたモデル全体のパフォーマンスを損なううるノイズの多いクライアントの問題を無視します。
本稿では,Fed-NCL (Federated Noisy Client Learning) を提案する。
論文 参考訳（メタデータ） (2021-06-24T11:09:17Z) - Unifying Distillation with Personalization in Federated Learning [1.8262547855491458]
Federated Learning(FL)は、クライアントがデータを共有せずに中央アグリゲータを通じて共同作業モデルを学習する分散プライバシ保護学習技術である。
この設定では、すべてのクライアントが単一の共通予測器(FedAvg)を学習する。
本稿では,2段階のパーソナライズされた学習アルゴリズムPersFLを用いてこの問題に対処する。
第1段階では、PersFLはFLトレーニングフェーズにおいて各クライアントの最適な教師モデルを見つけ、第2段階では、PersFLは有用な知識を抽出する。
論文 参考訳（メタデータ） (2021-05-31T17:54:29Z) - Personalized Federated Learning by Structured and Unstructured Pruning
under Data Heterogeneity [3.291862617649511]
クライアントレベルの目的からパーソナライズされたモデルを得るための新しいアプローチを提案する。
このパーソナライズを実現するために、各クライアントの小さなサブネットワークを見つける。
論文 参考訳（メタデータ） (2021-05-02T22:10:46Z) - FedNS: Improving Federated Learning for collaborative image
classification on mobile clients [22.980223900446997]
Federated Learning(FL)は、グローバルモデルを学ぶために疎結合のクライアントをサポートすることを目的としたパラダイムです。
本稿では、fl設定におけるサーバのグローバルモデル集約のためのフェデレーションノード選択(fedns)と呼ばれる新しい手法を提案する。
我々は、FedNSがFedAvgよりも一貫してパフォーマンスを向上させることができる複数のデータセットとネットワークからの実験で示します。
論文 参考訳（メタデータ） (2021-01-20T06:45:46Z) - Personalized Federated Learning with First Order Model Optimization [76.81546598985159]
そこで我々は,各クライアントが他のクライアントと連携して,クライアント固有の目的ごとのより強力なモデルを得る,フェデレーション学習の代替案を提案する。
基礎となるデータ分布やクライアントの類似性に関する知識を前提とせず、各クライアントが関心のある任意のターゲット分布を最適化できるようにします。
この手法は既存の代替品を上回り、ローカルデータ配信以外の転送のようなパーソナライズされたFLの新機能を可能にする。
論文 参考訳（メタデータ） (2020-12-15T19:30:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。