論文の概要: Partially Personalized Federated Learning: Breaking the Curse of Data
Heterogeneity
- arxiv url: http://arxiv.org/abs/2305.18285v1
- Date: Mon, 29 May 2023 17:54:50 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-30 13:31:59.941962
- Title: Partially Personalized Federated Learning: Breaking the Curse of Data
Heterogeneity
- Title（参考訳）: 部分的にパーソナライズされた連合学習:データの不均一性の呪いを破る
- Authors: Konstantin Mishchenko, Rustem Islamov, Eduard Gorbunov, Samuel
Horv\'ath
- Abstract要約: 我々は,個人化の柔軟性とグローバルトレーニングの協調性とのバランスを崩す,フェデレートラーニング(FL)の部分的にパーソナライズされた定式化を提案する。
フレームワークでは、変数をグローバルパラメータに分割し、すべてのクライアント間で共有し、個々のローカルパラメータをプライベートにしておく。
パラメータの適切な分割の下では、各クライアントがデータを完璧に適合させるグローバルパラメータを見つけ、得られた問題をオーバーパーソナライズされたものとして参照することが可能である。
- 参考スコア（独自算出の注目度）: 8.08257664697228
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present a partially personalized formulation of Federated Learning (FL)
that strikes a balance between the flexibility of personalization and
cooperativeness of global training. In our framework, we split the variables
into global parameters, which are shared across all clients, and individual
local parameters, which are kept private. We prove that under the right split
of parameters, it is possible to find global parameters that allow each client
to fit their data perfectly, and refer to the obtained problem as
overpersonalized. For instance, the shared global parameters can be used to
learn good data representations, whereas the personalized layers are fine-tuned
for a specific client. Moreover, we present a simple algorithm for the
partially personalized formulation that offers significant benefits to all
clients. In particular, it breaks the curse of data heterogeneity in several
settings, such as training with local steps, asynchronous training, and
Byzantine-robust training.
- Abstract（参考訳）: 我々は,個人化の柔軟性とグローバルトレーニングの協調性とのバランスを崩す,フェデレートラーニング(FL)の部分的にパーソナライズされた定式化を提案する。
私たちのフレームワークでは、変数を全クライアント間で共有されるグローバルパラメータと、プライベートに保持される個々のローカルパラメータに分割しています。
パラメータの適切な分割の下では、各クライアントがデータを完璧に適合させるグローバルパラメータを見つけ、得られた問題をオーバーパーソナライズされたものとして参照することが可能である。
例えば、共有グローバルパラメータは良いデータ表現を学ぶために使用できますが、パーソナライズされたレイヤは特定のクライアント用に微調整されています。
さらに,全クライアントに有意なメリットを提供する,部分的パーソナライズされた定式化のための単純なアルゴリズムを提案する。
特に、ローカルステップでのトレーニング、非同期トレーニング、Byzantine-robustトレーニングなど、いくつかの設定でデータの不均一性を損なう。
関連論文リスト
- Decoupling General and Personalized Knowledge in Federated Learning via Additive and Low-Rank Decomposition [26.218506124446826]
パーソナライズド・フェデレーション・ラーニング(Personalized Federated Learning)の主な戦略は、一般的な知識(クライアント間で共有される)とクライアント固有の知識を分離することである。
この問題に対処するためにパラメータ分解加算を用いた単純だが効果的なPFLパラダイムであるFedDecompを紹介する。
複数のデータセットにまたがる実験結果は、FedDecompが最先端のメソッドを最大4.9%上回っていることを示している。
論文 参考訳（メタデータ） (2024-06-28T14:01:22Z) - Learn What You Need in Personalized Federated Learning [53.83081622573734]
$textitLearn2pFed$は、アルゴリズムに基づくパーソナライズされたフェデレーション学習フレームワークである。
我々は、textitLearn2pFed$が、従来のパーソナライズされたフェデレーション学習方法よりも大幅に優れていることを示す。
論文 参考訳（メタデータ） (2024-01-16T12:45:15Z) - Personalized Federated Learning via Amortized Bayesian Meta-Learning [21.126405589760367]
我々は,Amortized Bayesian Meta-Learningを通じて,パーソナライズド・フェデレーション・ラーニングの新しい視点を紹介する。
具体的には,クライアント間の階層的変動推論を用いたemphFedABMLという新しいアルゴリズムを提案する。
我々の理論解析は平均一般化誤差の上限を提供し、未知のデータに対する一般化性能を保証する。
論文 参考訳（メタデータ） (2023-07-05T11:58:58Z) - FedJETs: Efficient Just-In-Time Personalization with Federated Mixture
of Experts [48.78037006856208]
FedJETsは、Federated Learning(FL)セットアップ内でMixture-of-Experts(MoE)フレームワークを使用することで、新しいソリューションである。
我々の方法は、クライアントの多様性を活用して、クラスのサブセットの異なる専門家を訓練し、最も関係のある専門家に入力をルーティングするゲーティング機能を提供します。
我々の手法は、競争力のあるゼロショット性能を維持しながら、アートFL設定時の精度を最大18%向上させることができる。
論文 参考訳（メタデータ） (2023-06-14T15:47:52Z) - Collaborative Chinese Text Recognition with Personalized Federated
Learning [61.34060587461462]
中国語のテキスト認識では、ある組織が類似の組織から大量のデータを収集することがしばしば必要である。
アドレスや電話番号などのテキストデータに個人情報が自然に存在するため、異なる組織はプライベートデータを共有したくない。
中国語テキスト認識タスクにパーソナライズド・フェデレーション・ラーニング(pFL)を導入し,pFedCRアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-05-09T16:51:00Z) - Personalizing or Not: Dynamically Personalized Federated Learning with
Incentives [37.42347737911428]
個人データを共有せずにパーソナライズされたモデルを学習するためのパーソナライズド・フェデレーション・ラーニング(FL)を提案する。
パーソナライズレートは、パーソナライズされたモデルのトレーニングを希望する顧客の割合として測定され、フェデレーションされた設定に導入され、DyPFLを提案する。
この技術は、クライアントがローカルモデルをパーソナライズすることへのインセンティブを与えると同時に、より優れたパフォーマンスでグローバルモデルを採用できるようにする。
論文 参考訳（メタデータ） (2022-08-12T09:51:20Z) - Straggler-Resilient Personalized Federated Learning [55.54344312542944]
フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。
これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。
提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
論文 参考訳（メタデータ） (2022-06-05T01:14:46Z) - Subspace Learning for Personalized Federated Optimization [7.475183117508927]
本稿では,AIシステムにおけるパーソナライズされた学習の問題に対処する手法を提案する。
提案手法は、パーソナライズされたクライアント評価設定と見当たらないクライアント評価設定の両方において、一貫した利得が得られることを示す。
論文 参考訳（メタデータ） (2021-09-16T00:03:23Z) - Toward Understanding the Influence of Individual Clients in Federated
Learning [52.07734799278535]
フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。
em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
論文 参考訳（メタデータ） (2020-12-20T14:34:36Z) - Personalized Federated Learning with First Order Model Optimization [76.81546598985159]
そこで我々は,各クライアントが他のクライアントと連携して,クライアント固有の目的ごとのより強力なモデルを得る,フェデレーション学習の代替案を提案する。
基礎となるデータ分布やクライアントの類似性に関する知識を前提とせず、各クライアントが関心のある任意のターゲット分布を最適化できるようにします。
この手法は既存の代替品を上回り、ローカルデータ配信以外の転送のようなパーソナライズされたFLの新機能を可能にする。
論文 参考訳（メタデータ） (2020-12-15T19:30:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。