論文の概要: Federated Learning from Pre-Trained Models: A Contrastive Learning
Approach
- arxiv url: http://arxiv.org/abs/2209.10083v1
- Date: Wed, 21 Sep 2022 03:16:57 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-22 15:41:01.120339
- Title: Federated Learning from Pre-Trained Models: A Contrastive Learning
Approach
- Title（参考訳）: 事前学習モデルからの連合学習:コントラスト学習アプローチ
- Authors: Yue Tan, Guodong Long, Jie Ma, Lu Liu, Tianyi Zhou, Jing Jiang
- Abstract要約: Federated Learning(FL)は、分散型クライアントがプライベートデータを共有せずに協調的に学習できる機械学習パラダイムである。
過剰な計算と通信要求は、現在のFLフレームワークに課題をもたらす。
本稿では、クライアントが複数の固定された事前学習モデルによって生成された表現を融合させることを共同で学習する軽量フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 43.893267526525904
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated Learning (FL) is a machine learning paradigm that allows
decentralized clients to learn collaboratively without sharing their private
data. However, excessive computation and communication demands pose challenges
to current FL frameworks, especially when training large-scale models. To
prevent these issues from hindering the deployment of FL systems, we propose a
lightweight framework where clients jointly learn to fuse the representations
generated by multiple fixed pre-trained models rather than training a
large-scale model from scratch. This leads us to a more practical FL problem by
considering how to capture more client-specific and class-relevant information
from the pre-trained models and jointly improve each client's ability to
exploit those off-the-shelf models. In this work, we design a Federated
Prototype-wise Contrastive Learning (FedPCL) approach which shares knowledge
across clients through their class prototypes and builds client-specific
representations in a prototype-wise contrastive manner. Sharing prototypes
rather than learnable model parameters allows each client to fuse the
representations in a personalized way while keeping the shared knowledge in a
compact form for efficient communication. We perform a thorough evaluation of
the proposed FedPCL in the lightweight framework, measuring and visualizing its
ability to fuse various pre-trained models on popular FL datasets.
- Abstract（参考訳）: Federated Learning(FL)は、分散型クライアントがプライベートデータを共有せずに協調的に学習できる機械学習パラダイムである。
しかしながら、過剰な計算と通信の要求は、現在のflフレームワーク、特に大規模モデルのトレーニングにおいて問題となる。
FLシステムの展開を妨げるために,大規模モデルをスクラッチからトレーニングするのではなく,複数の固定された事前学習モデルによって生成された表現を融合させることをクライアントが共同で学習する軽量フレームワークを提案する。
これにより、事前訓練されたモデルからクライアント固有の情報やクラスに関連する情報をより多く取得し、各クライアントがセット外のモデルを利用する能力を改善する方法を考えることで、より実用的なfl問題に繋がる。
本研究では,クライアント間で知識を共有するfedpcl(federated prototype-wise contrastive learning)アプローチを設計し,クライアント固有の表現をプロトタイプ的に構築する。
学習可能なモデルパラメータではなくプロトタイプを共有することで、各クライアントは、共有知識をコンパクトな形式で保持しながら、パーソナライズされた方法で表現を融合することができる。
提案するFedPCLを軽量なフレームワークで徹底的に評価し,FLデータセット上の各種事前学習モデルを融合する能力の測定と可視化を行う。
関連論文リスト
- Leveraging Foundation Models for Multi-modal Federated Learning with Incomplete Modality [41.79433449873368]
我々は、事前学習完了(FedMVP)を用いた新しいマルチモーダル・コントラスト学習法、フェデレーション・マルチモーダル・コントラストVeトレーニングを提案する。
FedMVPは、大規模な事前トレーニングモデルを統合して、フェデレーショントレーニングを強化する。
実世界の2つの画像テキスト分類データセットよりも優れた性能を示す。
論文 参考訳（メタデータ） (2024-06-16T19:18:06Z) - A Survey on Efficient Federated Learning Methods for Foundation Model
Training [66.19763977571114]
フェデレーテッド・ラーニング(FL)は、多数のクライアントにわたるプライバシー保護協調トレーニングを促進するための確立した技術となっている。
Foundation Models (FM)の後、多くのディープラーニングアプリケーションでは現実が異なる。
FLアプリケーションに対するパラメータ効率細調整(PEFT)の利点と欠点について論じる。
論文 参考訳（メタデータ） (2024-01-09T10:22:23Z) - Contrastive encoder pre-training-based clustered federated learning for
heterogeneous data [17.580390632874046]
フェデレートラーニング(FL)は、分散クライアントがデータのプライバシを保持しながら、グローバルモデルを協調的にトレーニングすることを可能にする。
本稿では,モデル収束とFLシステム全体の性能を改善するために,CP-CFL(Contrative Pre-training-based Clustered Federated Learning)を提案する。
論文 参考訳（メタデータ） (2023-11-28T05:44:26Z) - FedDWA: Personalized Federated Learning with Dynamic Weight Adjustment [20.72576355616359]
本稿では,この問題を解決するために,emphFedDWA (Federated Learning with Dynamic Weight Adjustment) と呼ばれる新しいPFLアルゴリズムを提案する。
FedDWAは、クライアントから収集したモデルに基づいて、パーソナライズされたアグリゲーション重みを計算する。
我々は,5つの実データを用いて広範囲な実験を行い,FedDWAが通信トラフィックを大幅に削減し,最先端のアプローチよりもはるかに高いモデル精度を達成できることを実証した。
論文 参考訳（メタデータ） (2023-05-10T13:12:07Z) - Visual Prompt Based Personalized Federated Learning [83.04104655903846]
pFedPTと呼ばれる画像分類タスクのための新しいPFLフレームワークを提案し、クライアントのローカルデータ配信情報を暗黙的に表現するためにパーソナライズされた視覚的プロンプトを利用する。
CIFAR10とCIFAR100データセットの実験では、pFedPTは様々な設定でいくつかの最先端(SOTA)PFLアルゴリズムより優れていた。
論文 参考訳（メタデータ） (2023-03-15T15:02:15Z) - FedCliP: Federated Learning with Client Pruning [3.796320380104124]
フェデレートラーニング(Federated Learning、FL)は、新たな分散ラーニングパラダイムである。
FLの基本的なボトルネックの1つは、分散クライアントと中央サーバの間の通信オーバーヘッドである。
マクロの観点から,最初の通信効率のよいFLトレーニングフレームワークであるFedCliPを提案する。
論文 参考訳（メタデータ） (2023-01-17T09:15:37Z) - Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。
これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。
パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
論文 参考訳（メタデータ） (2022-12-19T20:46:43Z) - Conquering the Communication Constraints to Enable Large Pre-Trained Models in Federated Learning [13.87836045022214]
フェデレートラーニング(FL)は、ローカルデバイス上の生データに一元的にアクセスすることなく、モデルの協調的なトレーニングを可能にするための、有望なパラダイムとして登場した。
最近の最先端の事前訓練モデルでは、より能力が高くなっているが、パラメータも増えている。
FLにおけるこれらの強力で容易に利用できる事前学習モデルが、通信負荷を同時に軽減しつつ優れた性能を達成するためのソリューションを見つけることができるだろうか?
具体的には,FedPEFTの性能を,クライアントの安定性,データ分散,プライバシ設定の違いによって体系的に評価する。
論文 参考訳（メタデータ） (2022-10-04T16:08:54Z) - No One Left Behind: Inclusive Federated Learning over Heterogeneous
Devices [79.16481453598266]
この問題に対処するクライアント包摂的フェデレーション学習手法であるInclusiveFLを提案する。
InclusiveFLの中核となる考え方は、異なるサイズのモデルを異なる計算能力を持つクライアントに割り当てることである。
また,異なる大きさの複数の局所モデル間で知識を共有する効果的な手法を提案する。
論文 参考訳（メタデータ） (2022-02-16T13:03:27Z) - Federated Mutual Learning [65.46254760557073]
Federated Mutual Leaning (FML)は、クライアントが汎用モデルとパーソナライズされたモデルを独立してトレーニングすることを可能にする。
実験により、FMLは一般的なフェデレート学習環境よりも優れた性能が得られることが示された。
論文 参考訳（メタデータ） (2020-06-27T09:35:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。