Fugu-MT 論文翻訳(概要): Inference-Time Personalized Federated Learning

論文の概要: Inference-Time Personalized Federated Learning

arxiv url: http://arxiv.org/abs/2111.08356v1
Date: Tue, 16 Nov 2021 10:57:20 GMT
ステータス: 処理完了
システム内更新日: 2021-11-17 14:56:10.770706
Title: Inference-Time Personalized Federated Learning
Title（参考訳）: 推論時間に基づく個人化フェデレーション学習
Authors: Ohad Amosy, Gal Eyal and Gal Chechik
Abstract要約: 推論時間 PFL (Inference-Time PFL) は、一連のクライアントでトレーニングされたモデルを、推論時に新しい未ラベルのクライアントで後で評価する必要がある場所である。本稿では,ハイパーネットワークモジュールとエンコーダモジュールをベースとしたIT-PFL-HNを提案する。 IT-PFL-HNは、特に新規クライアントが大きなドメインシフトを持つ場合、現在のFL法やPFL法よりも一般化されている。
参考スコア（独自算出の注目度）: 17.60724466773559
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In Federated learning (FL), multiple clients collaborate to learn a model through a central server but keep the data decentralized. Personalized federated learning (PFL) further extends FL to handle data heterogeneity between clients by learning personalized models. In both FL and PFL, all clients participate in the training process and their labeled data is used for training. However, in reality, novel clients may wish to join a prediction service after it has been deployed, obtaining predictions for their own unlabeled data. Here, we defined a new learning setup, Inference-Time PFL (IT-PFL), where a model trained on a set of clients, needs to be later evaluated on novel unlabeled clients at inference time. We propose a novel approach to this problem IT-PFL-HN, based on a hypernetwork module and an encoder module. Specifically, we train an encoder network that learns a representation for a client given its unlabeled data. That client representation is fed to a hypernetwork that generates a personalized model for that client. Evaluated on four benchmark datasets, we find that IT-PFL-HN generalizes better than current FL and PFL methods, especially when the novel client has a large domain shift. We also analyzed the generalization error for the novel client, showing how it can be bounded using results from multi-task learning and domain adaptation. Finally, since novel clients do not contribute their data to training, they can potentially have better control over their data privacy; indeed, we showed analytically and experimentally how novel clients can apply differential privacy to their data.
Abstract（参考訳）: フェデレーション学習(fl)では、複数のクライアントが協力して、中央サーバを介してモデルを学習するが、データを分散化しておく。パーソナライズド・フェデレーション・ラーニング(PFL)はさらにFLを拡張して、パーソナライズされたモデルを学ぶことで、クライアント間のデータの均一性を処理する。 FLとPFLの両方では、すべてのクライアントがトレーニングプロセスに参加し、ラベル付きデータがトレーニングに使用される。しかし実際には、新規クライアントはデプロイ後に予測サービスに参加し、ラベルのないデータに対する予測を得たいかもしれない。そこで我々は,新しい学習環境である推論時間PFL(IT-PFL)を定義した。そこでは,一連のクライアントでトレーニングされたモデルを,推論時に新しい未ラベルのクライアント上で後で評価する必要がある。本稿では,ハイパーネットワークモジュールとエンコーダモジュールをベースとしたIT-PFL-HNを提案する。具体的には、未ラベルのデータからクライアントの表現を学習するエンコーダネットワークを訓練する。そのクライアント表現はハイパーネットワークに送られ、クライアントのパーソナライズされたモデルを生成する。 4つのベンチマークデータセットから評価したところ,IT-PFL-HN は現在の FL 法や PFL 法よりも一般化されている。また、新しいクライアントの一般化誤差を分析し、マルチタスク学習とドメイン適応の結果を用いて、どのようにバウンドできるかを示した。最後に、新規クライアントはトレーニングにデータを貢献しないので、データプライバシをより良くコントロールできる可能性がある。

関連論文リスト

FedSelect: Personalized Federated Learning with Customized Selection of Parameters for Fine-Tuning [9.22574528776347]
FedSelect は Lottery Ticket 仮説に使用される反復的なサブネットワーク発見手順にインスパイアされた新しい PFL アルゴリズムである。我々は、FedSelectがクライアントデータの不均一性設定に挑戦して、最近の最先端のPFLアルゴリズムより優れていることを示す。
論文参考訳（メタデータ） (2024-04-03T05:36:21Z)
PFL-GAN: When Client Heterogeneity Meets Generative Models in Personalized Federated Learning [55.930403371398114]
パーソナライズドラーニング(PFL)のための新しいGAN(Generative Adversarial Network)の共有と集約戦略を提案する。 PFL-GANは、異なるシナリオにおけるクライアントの不均一性に対処する。より具体的には、まずクライアント間の類似性を学び、次に重み付けされた協調データアグリゲーションを開発する。いくつかのよく知られたデータセットに対する厳密な実験による実験結果は、PFL-GANの有効性を示している。
論文参考訳（メタデータ） (2023-08-23T22:38:35Z)
FedSampling: A Better Sampling Strategy for Federated Learning [81.85411484302952]
フェデレートラーニング(FL)は、プライバシを保存する方法で分散化されたデータからモデルを学習するための重要なテクニックである。既存のFLメソッドは通常、各ラウンドでローカルモデル学習のために一様にクライアントをサンプリングする。フェデレート学習のための新しいデータ一様サンプリング戦略(FedSampling)を提案する。
論文参考訳（メタデータ） (2023-06-25T13:38:51Z)
Federated Learning of Shareable Bases for Personalization-Friendly Image Classification [54.72892987840267]
FedBasisは、いくつかの共有可能なベースモデルの集合を学習し、リニアに組み合わせて、クライアント用のパーソナライズされたモデルを形成することができる。具体的には、新しいクライアントの場合、モデルの重みではなく、小さな組み合わせ係数のみを学ぶ必要がある。また、FedBasisの有効性と適用性を示すために、画像分類のためのより実用的なPFLテストベッドを提案する。
論文参考訳（メタデータ） (2023-04-16T20:19:18Z)
Personalized Federated Learning on Long-Tailed Data via Adversarial Feature Augmentation [24.679535905451758]
PFLは、プライバシを保存する方法で、すべてのクライアントの知識に基づいて、各クライアントのパーソナライズされたモデルを学ぶことを目的としている。既存のPFL法では、全てのクライアントにわたる基礎となるグローバルデータが、ロングテール分布を考慮せずに均一に分散されていると仮定している。 PFLにおけるこの共同問題に対処するために,FedAFA(Federated Learning with Adversarial Feature Augmentation)を提案する。
論文参考訳（メタデータ） (2023-03-27T13:00:20Z)
Client Selection for Generalization in Accelerated Federated Learning: A Multi-Armed Bandit Approach [20.300740276237523]
フェデレート・ラーニング(Federated Learning, FL)は、ローカルデータセットを保持する複数のノード(すなわちクライアント)にわたるモデルをトレーニングするために使用される機械学習(ML)パラダイムである。 FL(Bandit Scheduling for FL)と呼ばれる,この目標を達成するための新しいアルゴリズムを開発した。
論文参考訳（メタデータ） (2023-03-18T09:45:58Z)
Visual Prompt Based Personalized Federated Learning [83.04104655903846]
pFedPTと呼ばれる画像分類タスクのための新しいPFLフレームワークを提案し、クライアントのローカルデータ配信情報を暗黙的に表現するためにパーソナライズされた視覚的プロンプトを利用する。 CIFAR10とCIFAR100データセットの実験では、pFedPTは様々な設定でいくつかの最先端(SOTA)PFLアルゴリズムより優れていた。
論文参考訳（メタデータ） (2023-03-15T15:02:15Z)
Knowledge-Enhanced Semi-Supervised Federated Learning for Aggregating Heterogeneous Lightweight Clients in IoT [34.128674870180596]
フェデレートラーニング(FL)は、複数のクライアントがローカルデータを共有せずに、協調的にモデルをトレーニングすることを可能にする。 pFedKnowは、ニューラルネットワークのプルーニング技術を用いて、軽量なパーソナライズされたクライアントモデルを生成し、通信コストを削減する。画像とテキストのデータセットによる実験結果から、提案したpFedKnowは最先端のベースラインを上回っていることがわかった。
論文参考訳（メタデータ） (2023-03-05T13:19:10Z)
Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
論文参考訳（メタデータ） (2022-11-20T10:49:22Z)
Federated Learning from Only Unlabeled Data with Class-Conditional-Sharing Clients [98.22390453672499]
Supervised Federated Learning (FL)は、複数のクライアントがラベル付きデータを共有せずにトレーニングされたモデルを共有することを可能にする。本研究では,教師なし学習(FedUL)のフェデレーションを提案し,各クライアントのラベル付きデータにラベル付きデータを変換する。
論文参考訳（メタデータ） (2022-04-07T09:12:00Z)
Unifying Distillation with Personalization in Federated Learning [1.8262547855491458]
Federated Learning(FL)は、クライアントがデータを共有せずに中央アグリゲータを通じて共同作業モデルを学習する分散プライバシ保護学習技術である。この設定では、すべてのクライアントが単一の共通予測器(FedAvg)を学習する。本稿では,2段階のパーソナライズされた学習アルゴリズムPersFLを用いてこの問題に対処する。第1段階では、PersFLはFLトレーニングフェーズにおいて各クライアントの最適な教師モデルを見つけ、第2段階では、PersFLは有用な知識を抽出する。
論文参考訳（メタデータ） (2021-05-31T17:54:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。