論文の概要: Fusion of Global and Local Knowledge for Personalized Federated Learning
- arxiv url: http://arxiv.org/abs/2302.11051v1
- Date: Tue, 21 Feb 2023 23:09:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-23 16:53:57.973204
- Title: Fusion of Global and Local Knowledge for Personalized Federated Learning
- Title（参考訳）: 個人化フェデレーション学習のためのグローバル・ローカル知識の融合
- Authors: Tiansheng Huang, Li Shen, Yan Sun, Weiwei Lin, Dacheng Tao
- Abstract要約: 本稿では,低ランクおよびスパース分解を伴うパーソナライズされたモデルについて検討する。
我々はtextbfSparse と textbfRank を混合した2段階学習アルゴリズム textbfFederated Learning を提案する。
適切な仮定の下では、FedSLRによって訓練されたGKRが、少なくとも準線形に正規化問題の定常点に収束できることが示される。
- 参考スコア（独自算出の注目度）: 75.20751492913892
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Personalized federated learning, as a variant of federated learning, trains
customized models for clients using their heterogeneously distributed data.
However, it is still inconclusive about how to design personalized models with
better representation of shared global knowledge and personalized pattern. To
bridge the gap, we in this paper explore personalized models with low-rank and
sparse decomposition. Specifically, we employ proper regularization to extract
a low-rank global knowledge representation (GKR), so as to distill global
knowledge into a compact representation. Subsequently, we employ a sparse
component over the obtained GKR to fuse the personalized pattern into the
global knowledge. As a solution, we propose a two-stage proximal-based
algorithm named \textbf{Fed}erated learning with mixed \textbf{S}parse and
\textbf{L}ow-\textbf{R}ank representation (FedSLR) to efficiently search for
the mixed models. Theoretically, under proper assumptions, we show that the GKR
trained by FedSLR can at least sub-linearly converge to a stationary point of
the regularized problem, and that the sparse component being fused can converge
to its stationary point under proper settings. Extensive experiments also
demonstrate the superior empirical performance of FedSLR. Moreover, FedSLR
reduces the number of parameters, and lowers the down-link communication
complexity, which are all desirable for federated learning algorithms. Source
code is available in \url{https://github.com/huangtiansheng/fedslr}.
- Abstract（参考訳）: パーソナライズされたフェデレーション学習は、フェデレーション学習の変種として、異種分散データを使用してクライアント向けにカスタマイズされたモデルをトレーニングする。
しかし、共有されたグローバル知識とパーソナライズされたパターンをよりよく表現したパーソナライズされたモデルを設計する方法についてはまだ決定的ではない。
このギャップを埋めるため,本稿では,低ランクかつスパースな分解を伴うパーソナライズモデルについて検討する。
具体的には、適切な正規化を用いて、グローバル知識をコンパクトな表現に変換するために、低ランクなグローバル知識表現(GKR)を抽出する。
次に、得られたgkrよりもスパース成分を用いてパーソナライズされたパターンをグローバル知識に融合する。
そこで本研究では,混合モデルの探索を効率的に行うために,2段階の近位アルゴリズムである‘textbf{Fed}erated learning with mixed \textbf{S}parse and \textbf{L}ow-\textbf{R}ank representation (FedSLR)を提案する。
理論的には、適切な仮定の下では、FedSLRによって訓練されたGKRは、少なくとも正規化問題の定常点にサブ線形に収束し、融合しているスパース成分は適切な設定の下でその定常点に収束できることを示す。
大規模な実験は、FedSLRの優れた経験的性能を示す。
さらに、FedSLRはパラメータ数を削減し、すべてフェデレーション学習アルゴリズムに望ましいダウンリンク通信の複雑さを低減します。
ソースコードは \url{https://github.com/huangtiansheng/fedslr} で入手できる。
関連論文リスト
- Personalized Federated Learning via Feature Distribution Adaptation [3.410799378893257]
Federated Learning(FL)は、分散クライアントデータセット間の共通性を利用してグローバルモデルをトレーニングする分散学習フレームワークである。
パーソナライズド・フェデレーション・ラーニング(PFL)は、各クライアントに適した個々のモデルを学習することで、この問題に対処しようとしている。
我々は,グローバルな生成型分類器を局所的な特徴分布に適応させることで,パーソナライズされたモデルを効率的に生成するアルゴリズム,pFedFDAを提案する。
論文 参考訳（メタデータ） (2024-11-01T03:03:52Z) - Towards Realistic Long-tailed Semi-supervised Learning in an Open World [0.0]
我々は、既知のカテゴリと新規カテゴリの分布関係を前提としない、よりエフェリアティックなオープンワールドLong-tailed Semi-supervised Learning(textbfROLSSL)を構築する。
提案したROOSSL設定では、二重ステージロジット調整と呼ばれる、シンプルで効果的な解を提案する。
CIFAR100やImageNet100のようなデータセットの実験では、最大50.1%のパフォーマンス改善が示されている。
論文 参考訳（メタデータ） (2024-05-23T12:53:50Z) - FedSelect: Personalized Federated Learning with Customized Selection of Parameters for Fine-Tuning [9.22574528776347]
FedSelect は Lottery Ticket 仮説に使用される反復的なサブネットワーク発見手順にインスパイアされた新しい PFL アルゴリズムである。
我々は、FedSelectがクライアントデータの不均一性設定に挑戦して、最近の最先端のPFLアルゴリズムより優れていることを示す。
論文 参考訳（メタデータ） (2024-04-03T05:36:21Z) - Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳（メタデータ） (2023-12-22T02:12:08Z) - Exploiting Label Skews in Federated Learning with Model Concatenation [39.38427550571378]
Federated Learning(FL)は、生データを交換することなく、さまざまなデータオーナでディープラーニングを実行するための、有望なソリューションとして登場した。
非IID型では、ラベルスキューは困難であり、画像分類やその他のタスクで一般的である。
我々は,これらの局所モデルをグローバルモデルの基礎として分解する,シンプルで効果的なアプローチであるFedConcatを提案する。
論文 参考訳（メタデータ） (2023-12-11T10:44:52Z) - Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。
FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。
そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
論文 参考訳（メタデータ） (2023-11-12T11:01:10Z) - Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。
その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。
我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
論文 参考訳（メタデータ） (2023-08-20T04:41:01Z) - FedMix: Approximation of Mixup under Mean Augmented Federated Learning [60.503258658382]
フェデレートラーニング(FL)は、エッジデバイスが各デバイス内でデータを直接共有することなく、モデルを集合的に学習することを可能にする。
現在の最先端アルゴリズムは、クライアント間のローカルデータの均一性が増大するにつれて性能劣化に悩まされる。
我々はFedMixという名の新しい拡張アルゴリズムを提案し、これは驚くべきが単純なデータ拡張手法であるMixupにインスパイアされている。
論文 参考訳（メタデータ） (2021-07-01T06:14:51Z) - Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。
提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。
この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
論文 参考訳（メタデータ） (2021-02-14T05:36:25Z) - FedBE: Making Bayesian Model Ensemble Applicable to Federated Learning [23.726336635748783]
フェデレートラーニング(Federated Learning)は、ユーザのローカルにトレーニングされたモデルにアクセスして、自身のデータではなく、強力なグローバルモデルを協調的にトレーニングすることを目的としている。
したがって、ローカルモデルをグローバルモデルに集約することが重要なステップであり、これはユーザーが非i.d.データを持つ場合に困難であることが示されている。
我々は,ハイクオリティなグローバルモデルをサンプリングすることによってベイズ推論の観点から,FedBEという新しい集約アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-09-04T01:18:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。