論文の概要: Decoupling General and Personalized Knowledge in Federated Learning via Additive and Low-Rank Decomposition

• arxiv url: http://arxiv.org/abs/2406.19931v1
• Date: Fri, 28 Jun 2024 14:01:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-01 16:40:26.088834
• Title: Decoupling General and Personalized Knowledge in Federated Learning via Additive and Low-Rank Decomposition
• Title（参考訳）: 付加的・低ランク分解によるフェデレーション学習における一般知識とパーソナライズド知識の分離
• Authors: Xinghao Wu, Xuefeng Liu, Jianwei Niu, Haolin Wang, Shaojie Tang, Guogang Zhu, Hao Su,
• Abstract要約: パーソナライズド・フェデレーション・ラーニング(Personalized Federated Learning)の主な戦略は、一般的な知識(クライアント間で共有される)とクライアント固有の知識を分離することである。 この問題に対処するためにパラメータ分解加算を用いた単純だが効果的なPFLパラダイムであるFedDecompを紹介する。 複数のデータセットにまたがる実験結果は、FedDecompが最先端のメソッドを最大4.9%上回っていることを示している。
• 参考スコア（独自算出の注目度）: 26.218506124446826
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To address data heterogeneity, the key strategy of Personalized Federated Learning (PFL) is to decouple general knowledge (shared among clients) and client-specific knowledge, as the latter can have a negative impact on collaboration if not removed. Existing PFL methods primarily adopt a parameter partitioning approach, where the parameters of a model are designated as one of two types: parameters shared with other clients to extract general knowledge and parameters retained locally to learn client-specific knowledge. However, as these two types of parameters are put together like a jigsaw puzzle into a single model during the training process, each parameter may simultaneously absorb both general and client-specific knowledge, thus struggling to separate the two types of knowledge effectively. In this paper, we introduce FedDecomp, a simple but effective PFL paradigm that employs parameter additive decomposition to address this issue. Instead of assigning each parameter of a model as either a shared or personalized one, FedDecomp decomposes each parameter into the sum of two parameters: a shared one and a personalized one, thus achieving a more thorough decoupling of shared and personalized knowledge compared to the parameter partitioning method. In addition, as we find that retaining local knowledge of specific clients requires much lower model capacity compared with general knowledge across all clients, we let the matrix containing personalized parameters be low rank during the training process. Moreover, a new alternating training strategy is proposed to further improve the performance. Experimental results across multiple datasets and varying degrees of data heterogeneity demonstrate that FedDecomp outperforms state-of-the-art methods up to 4.9\%.
• Abstract（参考訳）: データの不均一性に対処するため、パーソナライズド・フェデレート・ラーニング(PFL)の重要な戦略は、一般的な知識(クライアント間で共有される)とクライアント固有の知識を分離することである。 既存のPFL手法は主にパラメータ分割手法を採用しており、モデルのパラメータは2つのタイプのうちの1つに指定されている:パラメータは他のクライアントと共有され、クライアント固有の知識を学ぶためにローカルに保存される一般的な知識とパラメータを抽出する。 しかしながら、これらの2種類のパラメータは、トレーニングプロセス中にジグソーパズルのように単一のモデルにまとめられるため、各パラメータは一般的な知識とクライアント固有の知識の両方を同時に吸収し、二つのタイプの知識を効果的に分離するのに苦労する。 本稿では,この問題に対処するためにパラメータ加法分解を利用する,単純だが効果的なPFLパラダイムであるFedDecompを紹介する。 モデルの各パラメータを共有あるいはパーソナライズされたパラメータとして割り当てる代わりに、FedDecompは、各パラメータを2つのパラメータの合計に分解する。 さらに、特定のクライアントの局所的な知識を保持するためには、すべてのクライアントの一般的な知識に比べてモデル能力がはるかに低いことが判明したので、トレーニングプロセス中にパーソナライズされたパラメータを含む行列を低いランクにする。 さらに,パフォーマンスの向上を図るため,新たな交互学習戦略が提案されている。 複数のデータセットにまたがる実験結果は、FedDecompが4.9\%までの最先端のメソッドより優れていることを示している。

関連論文リスト

• Selective Knowledge Sharing for Personalized Federated Learning Under Capacity Heterogeneity [12.333226301343029]
  Pa3dFLは、容量不均一なモデル間で知識を分離し、選択的に共有することで、局所モデルの性能を向上させるために設計された新しいフレームワークである。 本研究では,Pa3dFLの有効性を評価するために,3つのデータセットについて広範な実験を行った。
  論文  参考訳（メタデータ） (2024-05-31T02:59:25Z)
• Personalized Federated Learning via Sequential Layer Expansion in Representation Learning [0.0]
  フェデレーション学習は、個々のクライアントデバイス上で分散トレーニングを行い、中央サーバでモデルウェイトのみを共有することによって、クライアントのプライバシを保証する。 本稿では,ディープラーニングモデル全体をより密に分割した部分に分割し,適切なスケジューリング手法を適用した表現学習に基づく新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2024-04-27T06:37:19Z)
• Learn What You Need in Personalized Federated Learning [53.83081622573734]
  $textitLearn2pFed$は、アルゴリズムに基づくパーソナライズされたフェデレーション学習フレームワークである。 我々は、textitLearn2pFed$が、従来のパーソナライズされたフェデレーション学習方法よりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2024-01-16T12:45:15Z)
• Bold but Cautious: Unlocking the Potential of Personalized Federated Learning through Cautiously Aggressive Collaboration [13.857939196296742]
  パーソナライズド・フェデレーション・ラーニング(PFL)の主な問題は、クライアントのどのパラメータをローカライズするか、他の人と共有すべきかを決めることである。 本稿では,PFLにおけるクライアントコラボレーションのための新しいガイドラインを紹介する。 我々はFedCACと呼ばれる新しいPFL法を提案し、パラメータの非IIDデータに対する感度を定量的に評価する。
  論文  参考訳（メタデータ） (2023-09-20T07:17:28Z)
• FedJETs: Efficient Just-In-Time Personalization with Federated Mixture of Experts [48.78037006856208]
  FedJETsは、Federated Learning(FL)セットアップ内でMixture-of-Experts(MoE)フレームワークを使用することで、新しいソリューションである。 我々の方法は、クライアントの多様性を活用して、クラスのサブセットの異なる専門家を訓練し、最も関係のある専門家に入力をルーティングするゲーティング機能を提供します。 我々の手法は、競争力のあるゼロショット性能を維持しながら、アートFL設定時の精度を最大18%向上させることができる。
  論文  参考訳（メタデータ） (2023-06-14T15:47:52Z)
• Partially Personalized Federated Learning: Breaking the Curse of Data Heterogeneity [8.08257664697228]
  我々は,個人化の柔軟性とグローバルトレーニングの協調性とのバランスを崩す,フェデレートラーニング(FL)の部分的にパーソナライズされた定式化を提案する。 フレームワークでは、変数をグローバルパラメータに分割し、すべてのクライアント間で共有し、個々のローカルパラメータをプライベートにしておく。 パラメータの適切な分割の下では、各クライアントがデータを完璧に適合させるグローバルパラメータを見つけ、得られた問題をオーバーパーソナライズされたものとして参照することが可能である。
  論文  参考訳（メタデータ） (2023-05-29T17:54:50Z)
• Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
  本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
  論文  参考訳（メタデータ） (2023-05-01T20:04:46Z)
• Federated Semi-Supervised Learning with Annotation Heterogeneity [57.12560313403097]
  Heterogenely Annotated Semi-Supervised LEarning (HASSLE) という新しいフレームワークを提案する。 ラベル付きデータとラベルなしデータで個別にトレーニングされた2つのモデルを持つデュアルモデルフレームワークである。 デュアルモデルは、異なるクライアントにわたる両方のタイプのデータから暗黙的に学習することができるが、各デュアルモデルは、単一のタイプのデータに対してのみローカルにトレーニングされる。
  論文  参考訳（メタデータ） (2023-03-04T16:04:49Z)
• Straggler-Resilient Personalized Federated Learning [55.54344312542944]
  フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。 これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。 提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
  論文  参考訳（メタデータ） (2022-06-05T01:14:46Z)
• Toward Understanding the Influence of Individual Clients in Federated Learning [52.07734799278535]
  フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。 em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
  論文  参考訳（メタデータ） (2020-12-20T14:34:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。