論文の概要: Salvaging Federated Learning by Local Adaptation
- arxiv url: http://arxiv.org/abs/2002.04758v3
- Date: Thu, 3 Mar 2022 23:28:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-01 18:44:27.851376
- Title: Salvaging Federated Learning by Local Adaptation
- Title(参考訳): 局所適応によるサルベージフェデレーション学習
- Authors: Tao Yu, Eugene Bagdasaryan, Vitaly Shmatikov
- Abstract要約: フェデレートラーニング(Federated Learning, FL)は、機密データに基づいてMLモデルをトレーニングする手法である。
個人がFLに参加する動機があるのか?」と問いかける。
次単語予測のような標準的なタスクでは、フェデレーションモデルがローカルでトレーニングできるモデルよりもデータ上で精度が低いため、多くの参加者がFLから恩恵を受けないことが示される。
我々は, ファインチューニング, マルチタスク学習, 知識蒸留という, フェデレーションモデルの局所的適応のための3つの手法を評価する。
- 参考スコア(独自算出の注目度): 26.915147034955925
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) is a heavily promoted approach for training ML models
on sensitive data, e.g., text typed by users on their smartphones. FL is
expressly designed for training on data that are unbalanced and non-iid across
the participants. To ensure privacy and integrity of the fedeated model, latest
FL approaches use differential privacy or robust aggregation.
We look at FL from the \emph{local} viewpoint of an individual participant
and ask: (1) do participants have an incentive to participate in FL? (2) how
can participants \emph{individually} improve the quality of their local models,
without re-designing the FL framework and/or involving other participants?
First, we show that on standard tasks such as next-word prediction, many
participants gain no benefit from FL because the federated model is less
accurate on their data than the models they can train locally on their own.
Second, we show that differential privacy and robust aggregation make this
problem worse by further destroying the accuracy of the federated model for
many participants.
Then, we evaluate three techniques for local adaptation of federated models:
fine-tuning, multi-task learning, and knowledge distillation. We analyze where
each is applicable and demonstrate that all participants benefit from local
adaptation. Participants whose local models are poor obtain big accuracy
improvements over conventional FL. Participants whose local models are better
than the federated model\textemdash and who have no incentive to participate in
FL today\textemdash improve less, but sufficiently to make the adapted
federated model better than their local models.
- Abstract(参考訳): フェデレートラーニング(Federated Learning, FL)は、スマートフォン上でユーザーが入力したセンシティブなデータに基づいてMLモデルをトレーニングする手法である。
FLは、参加者間で不均衡で非IDのデータをトレーニングするために設計されている。
フェデレーションモデルのプライバシと整合性を確保するために、最新のflアプローチでは、ディファレンシャルプライバシやロバストアグリゲーションを使用する。
fl を個々の参加者の \emph{local} の観点から見て,(1) 参加者は fl に参加する動機があるか?
2) FLフレームワークを再設計したり、他の参加者を巻き込んだりすることなく、参加者がローカルモデルの品質を改善するにはどうすればよいのか?
まず、次の単語予測のような標準的なタスクでは、フェデレーションモデルが自分自身でローカルにトレーニングできるモデルよりも正確ではないため、多くの参加者がflの利点を享受できないことを示します。
第2に,差分プライバシとロバストアグリゲーションが,多くの参加者のフェデレーションモデルの精度をさらに損なうことにより,この問題を悪化させることを示した。
次に, 微調整, マルチタスク学習, 知識蒸留という, フェデレーションモデルの局所適応のための3つの手法を評価した。
それぞれの適用場所を分析し、すべての参加者が局所的な適応の恩恵を受けることを示す。
ローカルモデルが貧弱な参加者は、従来のflよりも大きな精度向上が得られる。
ローカルモデルの方がfederated model\textemdashより優れており、今日flに参加する動機がない参加者は、改善は少ないが、適合したfederated modelをローカルモデルよりも良くするために十分である。
関連論文リスト
- GAI-Enabled Explainable Personalized Federated Semi-Supervised Learning [29.931169585178818]
フェデレーテッド・ラーニング(Federated Learning, FL)は、人工知能(AI)モデルをトレーニングするモバイルユーザー(MU)のための一般的な分散アルゴリズムである。
我々は,XPFLと呼ばれるパーソナライズ可能なFLフレームワークを提案する。特にローカルトレーニングでは,生成型AI(GAI)モデルを用いて,大規模なラベルなしデータから学習する。
グローバルアグリゲーションにおいて、局所的および大域的FLモデルを特定の割合で融合することにより、新しい局所的モデルを得る。
最後に,提案したXPFLフレームワークの有効性をシミュレーションにより検証した。
論文 参考訳(メタデータ) (2024-10-11T08:58:05Z) - A Survey on Efficient Federated Learning Methods for Foundation Model Training [62.473245910234304]
フェデレーテッド・ラーニング(FL)は、多数のクライアントにわたるプライバシー保護協調トレーニングを促進するための確立した技術となっている。
Foundation Models (FM)の後、多くのディープラーニングアプリケーションでは現実が異なる。
FLアプリケーションに対するパラメータ効率細調整(PEFT)の利点と欠点について論じる。
論文 参考訳(メタデータ) (2024-01-09T10:22:23Z) - Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。
FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。
そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
論文 参考訳(メタデータ) (2023-11-12T11:01:10Z) - VFedMH: Vertical Federated Learning for Training Multiple Heterogeneous
Models [53.30484242706966]
本稿では,複数の異種モデル(VFedMH)を学習するための垂直フェデレーション学習という新しい手法を提案する。
被験者の局所的な埋め込み値を保護するために,軽量なブラインド・ファクターに基づく埋め込み保護手法を提案する。
実験により、VFedMHは、不均一な最適化で複数の異種モデルを同時に訓練し、モデル性能の最近の手法より優れていることを示す。
論文 参考訳(メタデータ) (2023-10-20T09:22:51Z) - Towards More Suitable Personalization in Federated Learning via
Decentralized Partial Model Training [67.67045085186797]
既存のシステムのほとんどは、中央のFLサーバが失敗した場合、大きな通信負荷に直面しなければならない。
共有パラメータと個人パラメータを交互に更新することで、ディープモデルの「右」をパーソナライズする。
共有パラメータアグリゲーションプロセスをさらに促進するために、ローカルシャープネス最小化を統合するDFedを提案する。
論文 参考訳(メタデータ) (2023-05-24T13:52:18Z) - Can Fair Federated Learning reduce the need for Personalisation? [9.595853312558276]
フェデレートラーニング(FL)は、データを共有することなく、エッジクライアント上でMLモデルをトレーニングすることを可能にする。
本稿では、Fair FL (FFL) アルゴリズムをパーソナライゼーションの出発点として評価する。
本研究では,個人化を意識したフェデレーション学習(PaFL)を,トレーニング中に個人化損失を事前に活用するパラダイムとして提案する。
論文 参考訳(メタデータ) (2023-05-04T11:03:33Z) - PromptFL: Let Federated Participants Cooperatively Learn Prompts Instead
of Models -- Federated Learning in Age of Foundation Model [23.916918530195826]
本稿では,新しいFLフレームワークであるPromptFLを提案する。
PromptFLは市販のFM、すなわちCLIPを、共有ソフトプロンプトを共同で訓練する分散クライアントに出荷する。
本稿では,PromptFLを広範囲な実験により実証的に分析し,システムの実現性,ユーザプライバシ,パフォーマンスの面でその優位性を示す。
論文 参考訳(メタデータ) (2022-08-24T15:50:58Z) - FedMR: Fedreated Learning via Model Recombination [7.404225808071622]
Federated Learning (FL)は、クライアント間でのグローバルモデルトレーニングを可能にする。
既存のFLメソッドは、Federated Averaging(FedAvg)ベースのアグリゲーションに依存しています。
本稿ではFedMR(Federating Model Recombination)という新しいFLパラダイムを提案する。
論文 参考訳(メタデータ) (2022-08-16T11:30:19Z) - FL Games: A federated learning framework for distribution shifts [71.98708418753786]
フェデレートラーニングは、サーバのオーケストレーションの下で、クライアント間で分散されたデータの予測モデルをトレーニングすることを目的としている。
本稿では,クライアント間で不変な因果的特徴を学習するためのゲーム理論のフレームワークであるFL Gamesを提案する。
論文 参考訳(メタデータ) (2022-05-23T07:51:45Z) - Personalized Federated Learning with Clustered Generalization [16.178571176116073]
学習環境における非I.D.データの困難な問題に対処することを目的とした,近年のパーソナライズドラーニング(PFL)について検討する。
訓練対象におけるPFL法と従来のFL法の主な違い
本稿では,FLにおける統計的不均一性の問題に対処するため,クラスタ化一般化という新しい概念を提案する。
論文 参考訳(メタデータ) (2021-06-24T14:17:00Z) - Federated Robustness Propagation: Sharing Adversarial Robustness in
Federated Learning [98.05061014090913]
フェデレートラーニング(FL)は、生データを共有することなく、参加するユーザのセットから学習する、人気のある分散ラーニングスキーマとして登場した。
敵対的トレーニング(AT)は集中学習のための健全なソリューションを提供する。
既存のFL技術では,非IDユーザ間の対向的ロバスト性を効果的に広めることができないことを示す。
本稿では, バッチ正規化統計量を用いてロバスト性を伝達する, 単純かつ効果的な伝搬法を提案する。
論文 参考訳(メタデータ) (2021-06-18T15:52:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。