論文の概要: On Bridging Generic and Personalized Federated Learning

• arxiv url: http://arxiv.org/abs/2107.00778v1
• Date: Fri, 2 Jul 2021 00:25:48 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-05 13:02:56.799755
• Title: On Bridging Generic and Personalized Federated Learning
• Title（参考訳）: ブリッジングジェネリックと個人化フェデレーション学習について
• Authors: Hong-You Chen, Wei-Lun Chao
• Abstract要約: 本稿では,モデルの2つの義務を2つの予測タスクで明確に分離する,新しいフェデレーション学習フレームワークを提案する。 Federated Robust Decoupling Fed-RoDという名前のこの2つの予測フレームワークでは、学習モデルは最先端の汎用的かつパーソナライズされたパフォーマンスを同時に達成できます。
• 参考スコア（独自算出の注目度）: 18.989191579101586
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Federated learning is promising for its ability to collaboratively train models with multiple clients without accessing their data, but vulnerable when clients' data distributions diverge from each other. This divergence further leads to a dilemma: "Should we prioritize the learned model's generic performance (for future use at the server) or its personalized performance (for each client)?" These two, seemingly competing goals have divided the community to focus on one or the other, yet in this paper we show that it is possible to approach both at the same time. Concretely, we propose a novel federated learning framework that explicitly decouples a model's dual duties with two prediction tasks. On the one hand, we introduce a family of losses that are robust to non-identical class distributions, enabling clients to train a generic predictor with a consistent objective across them. On the other hand, we formulate the personalized predictor as a lightweight adaptive module that is learned to minimize each client's empirical risk on top of the generic predictor. With this two-loss, two-predictor framework which we name Federated Robust Decoupling Fed-RoD, the learned model can simultaneously achieve state-of-the-art generic and personalized performance, essentially bridging the two tasks.
• Abstract（参考訳）: フェデレーション学習(federated learning)は、データにアクセスせずに複数のクライアントと共同でモデルをトレーニングできることを約束している。 学習したモデルの一般的なパフォーマンス(サーバでの将来の使用のために)や、パーソナライズされたパフォーマンス(各クライアントのために)を優先すべきか? これら2つの競合しているように見える目標が,コミュニティを分割して一方に注目する一方で,本論文では,両アプローチが同時に可能であることを示す。 具体的には,モデルの2つの義務を2つの予測タスクで明確に分離する,新しいフェデレーション学習フレームワークを提案する。 一方で,非同一のクラス分布に対して頑健な損失のファミリーを導入することで,クライアントが相互に一貫した目標を持った汎用予測子をトレーニングできる。 一方、パーソナライズされた予測器を軽量適応モジュールとして定式化し、汎用予測器上で各クライアントの経験的リスクを最小限に抑えることを学習する。 Federated Robust Decoupling Fed-RoDと名付けられたこの2つの余分な2つの予測フレームワークによって、学習モデルは、最先端の汎用的かつパーソナライズされたパフォーマンスを同時に達成することができ、基本的に2つのタスクをブリッジします。

関連論文リスト

• Robust Training of Federated Models with Extremely Label Deficiency [84.00832527512148]
  フェデレーション半教師付き学習(FSSL)は、ラベル不足を伴う分散データを用いて機械学習モデルを協調訓練するための強力なパラダイムとして登場した。 我々は,ラベル付きおよびラベルなしデータの異なる視点から洞察を提供することにより相互指導を強化するために,ツインサイトと呼ばれる新しいツインモデルパラダイムを提案する。 4つのベンチマークデータセットに関する包括的な実験は、Twin-sightが様々な実験環境において最先端の手法を著しく上回っていることを示す重要な証拠となる。
  論文  参考訳（メタデータ） (2024-02-22T10:19:34Z)
• Personalized Federated Learning via Amortized Bayesian Meta-Learning [21.126405589760367]
  我々は,Amortized Bayesian Meta-Learningを通じて,パーソナライズド・フェデレーション・ラーニングの新しい視点を紹介する。 具体的には,クライアント間の階層的変動推論を用いたemphFedABMLという新しいアルゴリズムを提案する。 我々の理論解析は平均一般化誤差の上限を提供し、未知のデータに対する一般化性能を保証する。
  論文  参考訳（メタデータ） (2023-07-05T11:58:58Z)
• PeFLL: Personalized Federated Learning by Learning to Learn [16.161876130822396]
  PeFLLは,3つの側面で最先端の学習を改善する,個人化された新しいフェデレーション学習アルゴリズムである。 PeFLLの中核には、埋め込みネットワークとハイパーネットワークを共同でトレーニングする学習から学習へのアプローチがある。
  論文  参考訳（メタデータ） (2023-06-08T19:12:42Z)
• Prototype Helps Federated Learning: Towards Faster Convergence [38.517903009319994]
  Federated Learning(FL)は、複数のクライアントが協力して、生データを交換することなく、共有モデルをトレーニングする分散機械学習技術である。 本稿では,従来のフェデレーション学習プロセスの最後のグローバルイテレーションにわずかな変更を加えるだけで,推論性能を向上する,プロトタイプベースのフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-22T04:06:29Z)
• Straggler-Resilient Personalized Federated Learning [55.54344312542944]
  フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。 これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。 提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
  論文  参考訳（メタデータ） (2022-06-05T01:14:46Z)
• Federated Self-supervised Learning for Heterogeneous Clients [20.33482170846688]
  異種クライアント上でのフェデレーションによる自己教師型学習を実現するための統一的かつ体系的なフレームワークであるemphHeterogeneous Self-supervised Federated Learning (Hetero-SSFL)を提案する。 提案したフレームワークは、アーキテクチャ上の制約やラベル付きデータの存在を伴わずに、すべてのクライアントをまたいだ表現学習を可能にする。 我々は,提案手法が最先端の手法よりも優れていることを実証的に実証した。
  論文  参考訳（メタデータ） (2022-05-25T05:07:44Z)
• DRFLM: Distributionally Robust Federated Learning with Inter-client Noise via Local Mixup [58.894901088797376]
  連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。 上記の2つの課題を同時に解決するための一般的な枠組みを提案する。 我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
  論文  参考訳（メタデータ） (2022-04-16T08:08:29Z)
• Toward Understanding the Influence of Individual Clients in Federated Learning [52.07734799278535]
  フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。 em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
  論文  参考訳（メタデータ） (2020-12-20T14:34:36Z)
• Federated Mutual Learning [65.46254760557073]
  Federated Mutual Leaning (FML)は、クライアントが汎用モデルとパーソナライズされたモデルを独立してトレーニングすることを可能にする。 実験により、FMLは一般的なフェデレート学習環境よりも優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2020-06-27T09:35:03Z)
• Learning Diverse Representations for Fast Adaptation to Distribution Shift [78.83747601814669]
  本稿では,複数のモデルを学習する手法を提案する。 分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
  論文  参考訳（メタデータ） (2020-06-12T12:23:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。