Fugu-MT 論文翻訳(概要): PeFLL: Personalized Federated Learning by Learning to Learn

論文の概要: PeFLL: Personalized Federated Learning by Learning to Learn

arxiv url: http://arxiv.org/abs/2306.05515v3
Date: Mon, 13 May 2024 14:19:58 GMT
ステータス: 処理完了
システム内更新日: 2024-05-15 01:42:01.264025
Title: PeFLL: Personalized Federated Learning by Learning to Learn
Title（参考訳）: PeFLL: 学習による個人化フェデレーション学習
Authors: Jonathan Scott, Hossein Zakerinia, Christoph H. Lampert,
Abstract要約: PeFLLは,3つの側面で最先端の学習を改善する,個人化された新しいフェデレーション学習アルゴリズムである。 PeFLLの中核には、埋め込みネットワークとハイパーネットワークを共同でトレーニングする学習から学習へのアプローチがある。
参考スコア（独自算出の注目度）: 16.161876130822396
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We present PeFLL, a new personalized federated learning algorithm that improves over the state-of-the-art in three aspects: 1) it produces more accurate models, especially in the low-data regime, and not only for clients present during its training phase, but also for any that may emerge in the future; 2) it reduces the amount of on-client computation and client-server communication by providing future clients with ready-to-use personalized models that require no additional finetuning or optimization; 3) it comes with theoretical guarantees that establish generalization from the observed clients to future ones. At the core of PeFLL lies a learning-to-learn approach that jointly trains an embedding network and a hypernetwork. The embedding network is used to represent clients in a latent descriptor space in a way that reflects their similarity to each other. The hypernetwork takes as input such descriptors and outputs the parameters of fully personalized client models. In combination, both networks constitute a learning algorithm that achieves state-of-the-art performance in several personalized federated learning benchmarks.
Abstract（参考訳）: PeFLLは、新しいパーソナライズされたフェデレーション学習アルゴリズムで、最先端の3つの面で改善されている。 1) より正確なモデル、特に低データ体制において、訓練期間中に存在する顧客だけでなく、将来出現する可能性のある顧客のためにも作成する。 2) 追加の微調整や最適化を必要としないパーソナライズされたモデルを提供することにより、クライアント側での計算量やクライアント側通信量を削減します。 3) 観測されたクライアントから将来のクライアントへの一般化を確立する理論的保証が伴う。 PeFLLの中核には、埋め込みネットワークとハイパーネットワークを共同でトレーニングする学習から学習へのアプローチがある。埋め込みネットワークは、クライアント同士の類似性を反映して、潜在ディスクリプタ空間内のクライアントを表現するために使用される。ハイパーネットワークはそのような記述子を入力として、完全にパーソナライズされたクライアントモデルのパラメータを出力します。両ネットワークは、複数のパーソナライズされたフェデレーション学習ベンチマークにおいて、最先端のパフォーマンスを達成する学習アルゴリズムを構成する。

関連論文リスト

Personalized Hierarchical Split Federated Learning in Wireless Networks [24.664469755746463]
本稿では、パーソナライズ性能の向上を目的とした、パーソナライズされた階層分割型フェデレーション学習(PHSFL)アルゴリズムを提案する。まず、モデル分割と階層モデル集約がグローバルモデルに与える影響を理解するために、広範囲な理論的解析を行う。グローバルモデルがトレーニングされると、各クライアントを微調整してパーソナライズされたモデルを取得します。
論文参考訳（メタデータ） (2024-11-09T02:41:53Z)
FedSheafHN: Personalized Federated Learning on Graph-structured Data [22.825083541211168]
我々はFedSheafHNと呼ばれるモデルを提案し、各クライアントのローカルサブグラフをサーバ構築コラボレーショングラフに埋め込む。我々のモデルは複雑なクライアント特性の統合と解釈を改善します。また、高速なモデル収束と効果的な新しいクライアントの一般化も備えている。
論文参考訳（メタデータ） (2024-05-25T04:51:41Z)
Visual Prompt Based Personalized Federated Learning [83.04104655903846]
pFedPTと呼ばれる画像分類タスクのための新しいPFLフレームワークを提案し、クライアントのローカルデータ配信情報を暗黙的に表現するためにパーソナライズされた視覚的プロンプトを利用する。 CIFAR10とCIFAR100データセットの実験では、pFedPTは様々な設定でいくつかの最先端(SOTA)PFLアルゴリズムより優れていた。
論文参考訳（メタデータ） (2023-03-15T15:02:15Z)
Personalizing Federated Learning with Over-the-Air Computations [84.8089761800994]
フェデレートされたエッジ学習は、プライバシー保護の方法で無線ネットワークのエッジにインテリジェンスをデプロイする、有望な技術である。このような設定の下で、複数のクライアントは、エッジサーバの調整の下でグローバルジェネリックモデルを協調的にトレーニングする。本稿では,アナログオーバー・ザ・エア計算を用いて通信ボトルネックに対処する分散トレーニングパラダイムを提案する。
論文参考訳（メタデータ） (2023-02-24T08:41:19Z)
Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
論文参考訳（メタデータ） (2022-11-20T10:49:22Z)
Architecture Agnostic Federated Learning for Neural Networks [19.813602191888837]
この研究は、FedHeNN(Federated Heterogeneous Neural Networks)フレームワークを導入している。 FedHeNNは、クライアント間の共通アーキテクチャを強制することなく、各クライアントがパーソナライズされたモデルを構築することを可能にする。 FedHeNNのキーとなるアイデアは、ピアクライアントから取得したインスタンスレベルの表現を使用して、各クライアントの同時トレーニングをガイドすることだ。
論文参考訳（メタデータ） (2022-02-15T22:16:06Z)
An Expectation-Maximization Perspective on Federated Learning [75.67515842938299]
フェデレーション学習は、データをデバイス上でプライベートにしながら、複数のクライアントにわたるモデルの分散トレーニングを記述する。本稿では,サーバがクライアント固有のモデルパラメータに対して事前分布のパラメータを提供する階層的潜在変数モデルとして,サーバが設定したフェデレーション学習プロセスについて考察する。我々は,単純なガウス先行とよく知られた期待最大化(EM)アルゴリズムのハードバージョンを用いて,そのようなモデルの学習は,フェデレーション学習環境における最も一般的なアルゴリズムであるFedAvgに対応することを示す。
論文参考訳（メタデータ） (2021-11-19T12:58:59Z)
Comfetch: Federated Learning of Large Networks on Constrained Clients via Sketching [28.990067638230254]
フェデレートラーニング(FL)は、エッジ上でのプライベートおよびコラボレーティブモデルトレーニングの一般的なパラダイムである。我々は,グローバルニューラルネットワークの表現を用いて,クライアントが大規模ネットワークをトレーニングできる新しいアルゴリズムであるComdirectionalを提案する。
論文参考訳（メタデータ） (2021-09-17T04:48:42Z)
Personalized Federated Learning using Hypernetworks [26.329820911200546]
パーソナライズされたFederated HyperNetworksのためのpFedHNを提案する。このアプローチでは、中央のハイパーネットワークモデルをトレーニングして、各クライアントの1つのモデルであるモデルのセットを生成する。 pfedhnは,トレーニング中に観察した任意のクライアントと分布が異なる新しいクライアントに対して,より一般化できることを示す。
論文参考訳（メタデータ） (2021-03-08T09:29:08Z)
Toward Understanding the Influence of Individual Clients in Federated Learning [52.07734799278535]
フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。 em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
論文参考訳（メタデータ） (2020-12-20T14:34:36Z)
Federated Mutual Learning [65.46254760557073]
Federated Mutual Leaning (FML)は、クライアントが汎用モデルとパーソナライズされたモデルを独立してトレーニングすることを可能にする。実験により、FMLは一般的なフェデレート学習環境よりも優れた性能が得られることが示された。
論文参考訳（メタデータ） (2020-06-27T09:35:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。