Fugu-MT 論文翻訳(概要): PeFLL: A Lifelong Learning Approach to Personalized Federated Learning

論文の概要: PeFLL: A Lifelong Learning Approach to Personalized Federated Learning

arxiv url: http://arxiv.org/abs/2306.05515v1
Date: Thu, 8 Jun 2023 19:12:42 GMT
ステータス: 処理完了
システム内更新日: 2023-06-12 15:46:52.308651
Title: PeFLL: A Lifelong Learning Approach to Personalized Federated Learning
Title（参考訳）: PeFLL: 個人化フェデレーション学習のための生涯学習アプローチ
Authors: Jonathan Scott, Hossein Zakerinia, Christoph H. Lampert
Abstract要約: 生涯学習に根ざした新しいpFLアプローチであるPeFLLを提案する。 PeFLLは、埋め込みネットワークとハイパーネットワークを共同でトレーニングすることで、クライアント固有のモデルを出力することを学ぶ。実験により,PeFLLは従来の手法に比べて精度のよいモデルを生成することを示した。
参考スコア（独自算出の注目度）: 24.23332673671625
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Personalized federated learning (pFL) has emerged as a popular approach to dealing with the challenge of statistical heterogeneity between the data distributions of the participating clients. Instead of learning a single global model, pFL aims to learn an individual model for each client while still making use of the data available at other clients. In this work, we present PeFLL, a new pFL approach rooted in lifelong learning that performs well not only on clients present during its training phase, but also on any that may emerge in the future. PeFLL learns to output client specific models by jointly training an embedding network and a hypernetwork. The embedding network learns to represent clients in a latent descriptor space in a way that reflects their similarity to each other. The hypernetwork learns a mapping from this latent space to the space of possible client models. We demonstrate experimentally that PeFLL produces models of superior accuracy compared to previous methods, especially for clients not seen during training, and that it scales well to large numbers of clients. Moreover, generating a personalized model for a new client is efficient as no additional fine-tuning or optimization is required by either the client or the server. We also present theoretical results supporting PeFLL in the form of a new PAC-Bayesian generalization bound for lifelong learning and we prove the convergence of our proposed optimization procedure.
Abstract（参考訳）: パーソナライズド・フェデレーション・ラーニング (pFL) は、参加するクライアントのデータ分布間の統計的不均一性に対処するための一般的なアプローチとして登場した。単一のグローバルモデルを学ぶ代わりに、pflは、他のクライアントで利用可能なデータを使いながら、各クライアントの個別モデルを学ぶことを目標としている。本稿では,PFLLについて述べる。これは生涯学習に根ざした新しいpFLアプローチで,トレーニング期間中のクライアントだけでなく,将来的に出現する可能性のあるクライアントにも有効である。 pefllは組み込みネットワークとハイパーネットワークを共同でトレーニングすることで、クライアント固有のモデルを出力することを学ぶ。埋め込みネットワークは、相互に類似性を反映した方法で、潜在ディスクリプタ空間でクライアントを表現することを学ぶ。ハイパーネットワークは、この潜在空間から可能なクライアントモデルの空間へのマッピングを学ぶ。実験により,pefllは従来手法と比較して,特にトレーニング中に見えないクライアントに対して,精度の高いモデルを生成し,多数のクライアントに拡張可能であることを実証した。さらに、クライアントまたはサーバが追加の微調整や最適化を必要とせず、新しいクライアントのためにパーソナライズされたモデルを生成することは効率的である。また,PeFLLを生涯学習に限定した新しいPAC-Bayesian一般化の形で支援する理論的結果も提示し,提案手法の収束を実証する。

関連論文リスト

Personalized Hierarchical Split Federated Learning in Wireless Networks [24.664469755746463]
本稿では、パーソナライズ性能の向上を目的とした、パーソナライズされた階層分割型フェデレーション学習(PHSFL)アルゴリズムを提案する。まず、モデル分割と階層モデル集約がグローバルモデルに与える影響を理解するために、広範囲な理論的解析を行う。グローバルモデルがトレーニングされると、各クライアントを微調整してパーソナライズされたモデルを取得します。
論文参考訳（メタデータ） (2024-11-09T02:41:53Z)
FedSheafHN: Personalized Federated Learning on Graph-structured Data [22.825083541211168]
我々はFedSheafHNと呼ばれるモデルを提案し、各クライアントのローカルサブグラフをサーバ構築コラボレーショングラフに埋め込む。我々のモデルは複雑なクライアント特性の統合と解釈を改善します。また、高速なモデル収束と効果的な新しいクライアントの一般化も備えている。
論文参考訳（メタデータ） (2024-05-25T04:51:41Z)
Visual Prompt Based Personalized Federated Learning [83.04104655903846]
pFedPTと呼ばれる画像分類タスクのための新しいPFLフレームワークを提案し、クライアントのローカルデータ配信情報を暗黙的に表現するためにパーソナライズされた視覚的プロンプトを利用する。 CIFAR10とCIFAR100データセットの実験では、pFedPTは様々な設定でいくつかの最先端(SOTA)PFLアルゴリズムより優れていた。
論文参考訳（メタデータ） (2023-03-15T15:02:15Z)
Personalizing Federated Learning with Over-the-Air Computations [84.8089761800994]
フェデレートされたエッジ学習は、プライバシー保護の方法で無線ネットワークのエッジにインテリジェンスをデプロイする、有望な技術である。このような設定の下で、複数のクライアントは、エッジサーバの調整の下でグローバルジェネリックモデルを協調的にトレーニングする。本稿では,アナログオーバー・ザ・エア計算を用いて通信ボトルネックに対処する分散トレーニングパラダイムを提案する。
論文参考訳（メタデータ） (2023-02-24T08:41:19Z)
Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
論文参考訳（メタデータ） (2022-11-20T10:49:22Z)
Architecture Agnostic Federated Learning for Neural Networks [19.813602191888837]
この研究は、FedHeNN(Federated Heterogeneous Neural Networks)フレームワークを導入している。 FedHeNNは、クライアント間の共通アーキテクチャを強制することなく、各クライアントがパーソナライズされたモデルを構築することを可能にする。 FedHeNNのキーとなるアイデアは、ピアクライアントから取得したインスタンスレベルの表現を使用して、各クライアントの同時トレーニングをガイドすることだ。
論文参考訳（メタデータ） (2022-02-15T22:16:06Z)
An Expectation-Maximization Perspective on Federated Learning [75.67515842938299]
フェデレーション学習は、データをデバイス上でプライベートにしながら、複数のクライアントにわたるモデルの分散トレーニングを記述する。本稿では,サーバがクライアント固有のモデルパラメータに対して事前分布のパラメータを提供する階層的潜在変数モデルとして,サーバが設定したフェデレーション学習プロセスについて考察する。我々は,単純なガウス先行とよく知られた期待最大化(EM)アルゴリズムのハードバージョンを用いて,そのようなモデルの学習は,フェデレーション学習環境における最も一般的なアルゴリズムであるFedAvgに対応することを示す。
論文参考訳（メタデータ） (2021-11-19T12:58:59Z)
Comfetch: Federated Learning of Large Networks on Constrained Clients via Sketching [28.990067638230254]
フェデレートラーニング(FL)は、エッジ上でのプライベートおよびコラボレーティブモデルトレーニングの一般的なパラダイムである。我々は,グローバルニューラルネットワークの表現を用いて,クライアントが大規模ネットワークをトレーニングできる新しいアルゴリズムであるComdirectionalを提案する。
論文参考訳（メタデータ） (2021-09-17T04:48:42Z)
Personalized Federated Learning using Hypernetworks [26.329820911200546]
パーソナライズされたFederated HyperNetworksのためのpFedHNを提案する。このアプローチでは、中央のハイパーネットワークモデルをトレーニングして、各クライアントの1つのモデルであるモデルのセットを生成する。 pfedhnは,トレーニング中に観察した任意のクライアントと分布が異なる新しいクライアントに対して,より一般化できることを示す。
論文参考訳（メタデータ） (2021-03-08T09:29:08Z)
Toward Understanding the Influence of Individual Clients in Federated Learning [52.07734799278535]
フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。 em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
論文参考訳（メタデータ） (2020-12-20T14:34:36Z)
Federated Mutual Learning [65.46254760557073]
Federated Mutual Leaning (FML)は、クライアントが汎用モデルとパーソナライズされたモデルを独立してトレーニングすることを可能にする。実験により、FMLは一般的なフェデレート学習環境よりも優れた性能が得られることが示された。
論文参考訳（メタデータ） (2020-06-27T09:35:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。