Fugu-MT 論文翻訳(概要): DualFed: Enjoying both Generalization and Personalization in Federated Learning via Hierachical Representations

論文の概要: DualFed: Enjoying both Generalization and Personalization in Federated Learning via Hierachical Representations

arxiv url: http://arxiv.org/abs/2407.17754v1
Date: Thu, 25 Jul 2024 04:09:12 GMT
ステータス: 処理完了
システム内更新日: 2024-07-26 15:17:52.236725
Title: DualFed: Enjoying both Generalization and Personalization in Federated Learning via Hierachical Representations
Title（参考訳）: DualFed: 階層的表現によるフェデレーション学習における一般化とパーソナライゼーションの両立
Authors: Guogang Zhu, Xuefeng Liu, Jianwei Niu, Shaojie Tang, Xinghao Wu, Jiayuan Zhang,
Abstract要約: パーソナライズド・フェデレーション・ラーニング(PFL)では、高モデル一般化と効果的なパーソナライゼーションの両立が大きな課題となることが広く認識されている。本論文は肯定的な回答であり,深層モデルが本質的に階層的アーキテクチャを示すという観察の鍵となる。一般化とパーソナライゼーションに対応する2つの表現を直接生成できる新しい手法であるDualFedを提案する。
参考スコア（独自算出の注目度）: 12.941603966989364
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In personalized federated learning (PFL), it is widely recognized that achieving both high model generalization and effective personalization poses a significant challenge due to their conflicting nature. As a result, existing PFL methods can only manage a trade-off between these two objectives. This raises an interesting question: Is it feasible to develop a model capable of achieving both objectives simultaneously? Our paper presents an affirmative answer, and the key lies in the observation that deep models inherently exhibit hierarchical architectures, which produce representations with various levels of generalization and personalization at different stages. A straightforward approach stemming from this observation is to select multiple representations from these layers and combine them to concurrently achieve generalization and personalization. However, the number of candidate representations is commonly huge, which makes this method infeasible due to high computational costs.To address this problem, we propose DualFed, a new method that can directly yield dual representations correspond to generalization and personalization respectively, thereby simplifying the optimization task. Specifically, DualFed inserts a personalized projection network between the encoder and classifier. The pre-projection representations are able to capture generalized information shareable across clients, and the post-projection representations are effective to capture task-specific information on local clients. This design minimizes the mutual interference between generalization and personalization, thereby achieving a win-win situation. Extensive experiments show that DualFed can outperform other FL methods. Code is available at https://github.com/GuogangZhu/DualFed.
Abstract（参考訳）: パーソナライズド・フェデレーション・ラーニング(PFL)では、高モデル一般化と効果的なパーソナライゼーションの両方を達成することが、相反する性質のために大きな課題となることが広く認識されている。その結果、既存のPFL法はこれらの2つの目的の間のトレードオフしか管理できない。両方の目標を同時に達成できるモデルを開発することは可能か? 本論文は肯定的な回答を示し,深層モデルが本質的に階層的アーキテクチャを示し,様々な段階における一般化とパーソナライゼーションのレベルを表現できることを示す。この観察から生ずる直接的なアプローチは、これらの層から複数の表現を選択し、それらを組み合わせ、一般化とパーソナライゼーションを同時に達成することである。しかし、この手法は計算コストが高いために実現不可能であり、この問題を解決するために、一般化とパーソナライゼーションに対応する2つの表現を直接生成できる新しい手法であるDualFedを提案する。具体的には、DualFedはエンコーダと分類器の間にパーソナライズされたプロジェクションネットワークを挿入する。プレプロジェクション表現は、クライアント間で共有可能な一般化された情報をキャプチャすることができ、後プロジェクション表現は、ローカルクライアント上のタスク固有の情報をキャプチャするのに効果的である。この設計は、一般化とパーソナライゼーションの相互干渉を最小限に抑え、勝利の状況を達成する。大規模な実験により、DualFedは他のFL法よりも優れていることが示された。コードはhttps://github.com/GuogangZhu/DualFed.comで入手できる。

関連論文リスト

Towards a Generalist and Blind RGB-X Tracker [91.36268768952755]
我々は、推論時間中に任意のモダリティ X を無視できる単一のモデルトラッカーを開発する。トレーニングプロセスは非常にシンプルで,複数ラベルの分類損失をルーティング関数に統合する。我々のジェネラリストとブラインドトラッカーは、確立されたモーダル固有モデルと比較して、競争性能を達成することができる。
論文参考訳（メタデータ） (2024-05-28T03:00:58Z)
FedP3: Federated Personalized and Privacy-friendly Network Pruning under Model Heterogeneity [82.5448598805968]
我々は、フェデレートされたパーソナライズされたプライバシフレンドリーなネットワークプルーニングを表現する、効果的で適応可能なフェデレーションフレームワークであるFedP3を提案する。我々は、FedP3とその局所微分プライベート変種DP-FedP3の理論解釈を提供し、それらの効率を理論的に検証する。
論文参考訳（メタデータ） (2024-04-15T14:14:05Z)
MAP: Model Aggregation and Personalization in Federated Learning with Incomplete Classes [49.22075916259368]
一部の実世界のアプリケーションでは、データサンプルは通常、ローカルデバイスに分散される。本稿では,クライアントが不完全なクラスを所有する特別なI.I.D.シーンに焦点を当てる。提案するMAPアルゴリズムは,FLにおけるアグリゲーションとパーソナライゼーションの目標を同時に達成できる。
論文参考訳（メタデータ） (2024-04-14T12:22:42Z)
FediOS: Decoupling Orthogonal Subspaces for Personalization in Feature-skew Federated Learning [6.076894295435773]
パーソナライズド・フェデレーションド・ラーニング(pFL)では、クライアントは異種データ(非IIDとも呼ばれる)を持つことがある。 FediOSでは、デカップリングを2つの特徴抽出器(ジェネリックとパーソナライズ)と1つの共有予測ヘッドに再構成する。さらに、共有予測ヘッドは、推論中のジェネリック機能とパーソナライズ機能の重要性のバランスをとるために訓練される。
論文参考訳（メタデータ） (2023-11-30T13:50:38Z)
FedBone: Towards Large-Scale Federated Multi-Task Learning [13.835972363413884]
現実世界のアプリケーションでは、視覚と自然言語のタスクは、高レベルの抽象的特徴を抽出するために大規模なモデルを必要とする。既存のHFML手法は、マルチタスク最適化における勾配競合の影響を無視している。我々はFedBoneと呼ばれる革新的なフレームワークを提案し、より優れた一般化を伴う大規模モデルの構築を可能にする。
論文参考訳（メタデータ） (2023-06-30T08:19:38Z)
FedJETs: Efficient Just-In-Time Personalization with Federated Mixture of Experts [48.78037006856208]
FedJETsは、Federated Learning(FL)セットアップ内でMixture-of-Experts(MoE)フレームワークを使用することで、新しいソリューションである。我々の方法は、クライアントの多様性を活用して、クラスのサブセットの異なる専門家を訓練し、最も関係のある専門家に入力をルーティングするゲーティング機能を提供します。我々の手法は、競争力のあるゼロショット性能を維持しながら、アートFL設定時の精度を最大18%向上させることができる。
論文参考訳（メタデータ） (2023-06-14T15:47:52Z)
Personalization Disentanglement for Federated Learning: An explainable perspective [28.780213981859514]
本稿では,PFLを2つの部分に分割し,共有知識とクライアント固有のパーソナライゼーションを抽出する。 2種類の表現を推論するために2つのエンコーダを使用するFedDVA(Federated Dual Variational Autoencoder)によって実現されている。
論文参考訳（メタデータ） (2023-06-06T10:37:11Z)
FedAvg with Fine Tuning: Local Updates Lead to Representation Learning [54.65133770989836]
Federated Averaging (FedAvg)アルゴリズムは、クライアントノードでのいくつかのローカルな勾配更新と、サーバでのモデル平均更新の交互化で構成されている。我々は、FedAvgの出力の一般化の背景には、クライアントのタスク間の共通データ表現を学習する能力があることを示す。異種データを用いたフェデレーション画像分類におけるFedAvgの表現学習能力を示す実証的証拠も提供する。
論文参考訳（メタデータ） (2022-05-27T00:55:24Z)
On Bridging Generic and Personalized Federated Learning [18.989191579101586]
本稿では,モデルの2つの義務を2つの予測タスクで明確に分離する,新しいフェデレーション学習フレームワークを提案する。 Federated Robust Decoupling Fed-RoDという名前のこの2つの予測フレームワークでは、学習モデルは最先端の汎用的かつパーソナライズされたパフォーマンスを同時に達成できます。
論文参考訳（メタデータ） (2021-07-02T00:25:48Z)
Personalized Federated Learning with Clustered Generalization [16.178571176116073]
学習環境における非I.D.データの困難な問題に対処することを目的とした,近年のパーソナライズドラーニング(PFL)について検討する。訓練対象におけるPFL法と従来のFL法の主な違い本稿では,FLにおける統計的不均一性の問題に対処するため,クラスタ化一般化という新しい概念を提案する。
論文参考訳（メタデータ） (2021-06-24T14:17:00Z)
Federated Mutual Learning [65.46254760557073]
Federated Mutual Leaning (FML)は、クライアントが汎用モデルとパーソナライズされたモデルを独立してトレーニングすることを可能にする。実験により、FMLは一般的なフェデレート学習環境よりも優れた性能が得られることが示された。
論文参考訳（メタデータ） (2020-06-27T09:35:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。