論文の概要: Federated Model Heterogeneous Matryoshka Representation Learning
- arxiv url: http://arxiv.org/abs/2406.00488v1
- Date: Sat, 1 Jun 2024 16:37:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-06 06:45:16.830965
- Title: Federated Model Heterogeneous Matryoshka Representation Learning
- Title（参考訳）: Federated Model Heterogeneous Matryoshka Representation Learning
- Authors: Liping Yi, Han Yu, Chao Ren, Gang Wang, Xiaoguang Liu, Xiaoxiao Li,
- Abstract要約: モデルヘテロジニアスフェデレーション学習(MteroFL)により、FLクライアントは、異種構造を持つモデルを分散的に訓練することができる。
既存の方法は、MteroFLサーバとクライアントモデルの間で知識を伝達するために、トレーニング損失に依存する。
本研究では,Matryoshkaモデルを用いた教師付き学習タスクのための新しい表現手法を提案する。
- 参考スコア（独自算出の注目度）: 33.04969829305812
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Model heterogeneous federated learning (MHeteroFL) enables FL clients to collaboratively train models with heterogeneous structures in a distributed fashion. However, existing MHeteroFL methods rely on training loss to transfer knowledge between the client model and the server model, resulting in limited knowledge exchange. To address this limitation, we propose the Federated model heterogeneous Matryoshka Representation Learning (FedMRL) approach for supervised learning tasks. It adds an auxiliary small homogeneous model shared by clients with heterogeneous local models. (1) The generalized and personalized representations extracted by the two models' feature extractors are fused by a personalized lightweight representation projector. This step enables representation fusion to adapt to local data distribution. (2) The fused representation is then used to construct Matryoshka representations with multi-dimensional and multi-granular embedded representations learned by the global homogeneous model header and the local heterogeneous model header. This step facilitates multi-perspective representation learning and improves model learning capability. Theoretical analysis shows that FedMRL achieves a $O(1/T)$ non-convex convergence rate. Extensive experiments on benchmark datasets demonstrate its superior model accuracy with low communication and computational costs compared to seven state-of-the-art baselines. It achieves up to 8.48% and 24.94% accuracy improvement compared with the state-of-the-art and the best same-category baseline, respectively.
- Abstract（参考訳）: モデルヘテロジニアスフェデレーション学習(MHeteroFL)により、FLクライアントは異種構造を持つモデルを分散的に訓練することができる。
しかし、既存のMHeteroFLメソッドは、クライアントモデルとサーバモデルの間で知識を伝達するために、トレーニング損失に依存するため、知識交換は限られている。
この制限に対処するため、教師付き学習タスクのためのフェデレーションモデルであるMateryoshka Representation Learning (FedMRL)を提案する。
これは、クライアントが異種局所モデルで共有する補助的な小さな同質モデルを追加する。
1)2つのモデルの特徴抽出器によって抽出された一般化されたパーソナライズされた表現は、パーソナライズされた軽量表現プロジェクタによって融合される。
このステップにより、表現融合は局所的なデータ分布に適応できる。
2) 融合表現は, グローバル同種モデルヘッダと局所異種モデルヘッダで学習した多次元および多次元の組込み表現を用いて, マトリリシカ表現を構築するために用いられる。
このステップはマルチパースペクティブな表現学習を促進し、モデル学習能力を向上させる。
理論的解析により、FedMRLは非凸収束率$O(1/T)を達成している。
ベンチマークデータセットの大規模な実験は、7つの最先端ベースラインと比較して、通信コストと計算コストの低いモデル精度が優れていることを示した。
最大8.48%、24.94%の精度向上を実現している。
関連論文リスト
- EMR-Merging: Tuning-Free High-Performance Model Merging [55.03509900949149]
Elect, Mask & Rescale-Merging (EMR-Merging) は既存のマージ手法と比較して優れた性能を示した。
EMR-Mergingはチューニング不要なので、データアベイラビリティや追加のトレーニングは必要ありません。
論文 参考訳（メタデータ） (2024-05-23T05:25:45Z) - pFedAFM: Adaptive Feature Mixture for Batch-Level Personalization in Heterogeneous Federated Learning [34.01721941230425]
教師付き学習タスクのための適応的特徴混合(pFedAFM)を用いたモデルヘテロジニアスなフェデレート学習手法を提案する。
7つの最先端のMHPFL法を著しく上回り、精度は7.93%まで向上した。
論文 参考訳（メタデータ） (2024-04-27T09:52:59Z) - Representation Surgery for Multi-Task Model Merging [57.63643005215592]
マルチタスク学習(MTL)は、複数のタスクから情報を統一されたバックボーンに圧縮し、計算効率と一般化を改善する。
最近の研究は、複数の独立して訓練されたモデルをマージして、共同トレーニングのために生データを収集する代わりにMLLを実行する。
既存のモデルマージスキームの表現分布を可視化することにより、マージモデルはしばしば表現バイアスのジレンマに悩まされる。
論文 参考訳（メタデータ） (2024-02-05T03:39:39Z) - pFedMoE: Data-Level Personalization with Mixture of Experts for
Model-Heterogeneous Personalized Federated Learning [35.72303739409116]
そこで本研究では,Mixture of Experts (pFedMoE) 法を用いたモデルヘテロジニアスなフェデレート学習を提案する。
共有同種小特徴抽出器と、各クライアントの局所異種大モデルに対するローカルゲーティングネットワークを割り当てる。
全体として、pFedMoEは局所モデルのパーソナライズをきめ細かいデータレベルで強化する。
論文 参考訳（メタデータ） (2024-02-02T12:09:20Z) - Fake It Till Make It: Federated Learning with Consensus-Oriented
Generation [52.82176415223988]
コンセンサス指向生成による連合学習(FedCOG)を提案する。
FedCOGは、補完的なデータ生成と知識蒸留に基づくモデルトレーニングという、クライアント側の2つの重要なコンポーネントで構成されています。
古典的および実世界のFLデータセットの実験は、FedCOGが一貫して最先端の手法より優れていることを示している。
論文 参考訳（メタデータ） (2023-12-10T18:49:59Z) - pFedES: Model Heterogeneous Personalized Federated Learning with Feature
Extractor Sharing [19.403843478569303]
特徴抽出器の共有に基づくモデル・ヘテロジニアス・パーソナライズされたフェデレーション学習手法を提案する。
これは、各クライアントの異種局所モデルに小さな同種特徴抽出器を組み込む。
テスト精度は1.61%向上し、通信コストと計算コストをそれぞれ99.6%と82.9%削減した。
論文 参考訳（メタデータ） (2023-11-12T15:43:39Z) - Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。
これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。
パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
論文 参考訳（メタデータ） (2022-12-19T20:46:43Z) - Heterogeneous Ensemble Knowledge Transfer for Training Large Models in
Federated Learning [22.310090483499035]
フェデレートラーニング(FL)は、エッジデバイスがプライベートデータを中央集約サーバに公開することなく、協調的にモデルを学習することを可能にする。
既存のFLアルゴリズムの多くは、クライアントとサーバにまたがってデプロイされるのと同じアーキテクチャのモデルを必要とする。
本稿では,Fed-ETと呼ばれる新しいアンサンブル知識伝達手法を提案する。
論文 参考訳（メタデータ） (2022-04-27T05:18:32Z) - FedHM: Efficient Federated Learning for Heterogeneous Models via
Low-rank Factorization [16.704006420306353]
スケーラブルなフェデレート学習フレームワークは、異なる計算能力と通信能力を備えた異種クライアントに対処する必要がある。
本稿では,不均一な低ランクモデルをクライアントに分散し,それらをグローバルなフルランクモデルに集約する,新しいフェデレーションモデル圧縮フレームワークであるFedHMを提案する。
我々のソリューションは、計算複雑性の異なる異種局所モデルの訓練を可能にし、単一の大域的モデルを集約する。
論文 参考訳（メタデータ） (2021-11-29T16:11:09Z) - Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [55.28436972267793]
現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。
本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。
次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
論文 参考訳（メタデータ） (2020-10-25T18:51:15Z) - Robust Finite Mixture Regression for Heterogeneous Targets [70.19798470463378]
本稿では,サンプルクラスタの探索と,複数の不完全な混合型ターゲットを同時にモデル化するFMRモデルを提案する。
我々は、高次元の学習フレームワークの下で、無症状のオラクルのパフォーマンス境界をモデルに提供します。
その結果,我々のモデルは最先端の性能を達成できることがわかった。
論文 参考訳（メタデータ） (2020-10-12T03:27:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。