論文の概要: FedBM: Stealing Knowledge from Pre-trained Language Models for Heterogeneous Federated Learning

• arxiv url: http://arxiv.org/abs/2502.16832v1
• Date: Mon, 24 Feb 2025 04:35:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-25 15:54:07.557346
• Title: FedBM: Stealing Knowledge from Pre-trained Language Models for Heterogeneous Federated Learning
• Title（参考訳）: FedBM:不均一なフェデレーション学習のための事前学習言語モデルからの知識のステアリング
• Authors: Meilu Zhu, Qiushi Yang, Zhifan Gao, Yixuan Yuan, Jun Liu,
• Abstract要約: We propose a novel framework called Federated Bias eliMinating (FedBM) to get away of local learning bias in heterogeneous learning (FL)。 FedBMはLKCC(Linguistic Knowledge-based Construction)とCGDE(Concept-guided Global Distribution Estimation)の2つのモジュールから構成される。
• 参考スコア（独自算出の注目度）: 33.84409350929454
• License:
• Abstract: Federated learning (FL) has shown great potential in medical image computing since it provides a decentralized learning paradigm that allows multiple clients to train a model collaboratively without privacy leakage. However, current studies have shown that data heterogeneity incurs local learning bias in classifiers and feature extractors of client models during local training, leading to the performance degradation of a federation system. To address these issues, we propose a novel framework called Federated Bias eliMinating (FedBM) to get rid of local learning bias in heterogeneous federated learning (FL), which mainly consists of two modules, i.e., Linguistic Knowledge-based Classifier Construction (LKCC) and Concept-guided Global Distribution Estimation (CGDE). Specifically, LKCC exploits class concepts, prompts and pre-trained language models (PLMs) to obtain concept embeddings. These embeddings are used to estimate the latent concept distribution of each class in the linguistic space. Based on the theoretical derivation, we can rely on these distributions to pre-construct a high-quality classifier for clients to achieve classification optimization, which is frozen to avoid classifier bias during local training. CGDE samples probabilistic concept embeddings from the latent concept distributions to learn a conditional generator to capture the input space of the global model. Three regularization terms are introduced to improve the quality and utility of the generator. The generator is shared by all clients and produces pseudo data to calibrate updates of local feature extractors. Extensive comparison experiments and ablation studies on public datasets demonstrate the superior performance of FedBM over state-of-the-arts and confirm the effectiveness of each module, respectively. The code is available at https://github.com/CUHK-AIM-Group/FedBM.
• Abstract（参考訳）: フェデレートラーニング(FL)は、複数のクライアントがプライバシリークなしで協調的にモデルをトレーニングできる分散学習パラダイムを提供するため、医療画像コンピューティングにおいて大きな可能性を示している。 しかし、最近の研究では、データの不均一性は、局所訓練中のクライアントモデルの分類器や特徴抽出器に局所学習バイアスをもたらすことが示されており、フェデレーションシステムの性能劣化につながっている。 これらの課題に対処するため,言語知識ベース分類構築(LKCC)と概念誘導グローバル分散推定(CGDE)という2つのモジュールから構成される異種連合学習(FL)における局所学習バイアスを取り除くためのFedBM(Federated Bias eliMinating)という新しいフレームワークを提案する。 具体的には、LKCCはクラスの概念、プロンプト、事前訓練された言語モデル(PLM)を利用して概念埋め込みを取得する。 これらの埋め込みは、言語空間における各クラスの潜在概念分布を推定するために使用される。 理論的導出に基づいて、これらの分布を利用して、クライアントの高品質な分類器を事前構築し、分類最適化を実現し、局所訓練中の分類器バイアスを避ける。 CGDEは、潜在概念分布からの確率論的概念埋め込みをサンプリングし、条件付きジェネレータを学習し、グローバルモデルの入力空間をキャプチャする。 ジェネレータの品質と実用性を改善するために、3つの正規化用語が導入された。 ジェネレータはすべてのクライアントで共有され、ローカル特徴抽出器の更新を校正するために擬似データを生成する。 公開データセットに対する大規模な比較実験とアブレーション研究により,FedBMの最先端技術よりも優れた性能を示し,各モジュールの有効性を検証した。 コードはhttps://github.com/CUHK-AIM-Group/FedBMで入手できる。

関連論文リスト

• Personalized Federated Learning via Feature Distribution Adaptation [3.410799378893257]
  Federated Learning(FL)は、分散クライアントデータセット間の共通性を利用してグローバルモデルをトレーニングする分散学習フレームワークである。 パーソナライズド・フェデレーション・ラーニング(PFL)は、各クライアントに適した個々のモデルを学習することで、この問題に対処しようとしている。 我々は,グローバルな生成型分類器を局所的な特徴分布に適応させることで,パーソナライズされたモデルを効率的に生成するアルゴリズム,pFedFDAを提案する。
  論文  参考訳（メタデータ） (2024-11-01T03:03:52Z)
• Privacy-Preserving Federated Learning with Consistency via Knowledge Distillation Using Conditional Generator [19.00239208095762]
  モデルパラメータや更新のみを共有し、プライベートデータをローカルに保持する分散学習フレームワークとして、フェデレートラーニング(FL)が人気を集めています。 高い競争性能と高レベルのプライバシ保護を備えた新しいFL法であるFedMD-CGを提案する。 我々は、FedMD-CGの優位性を検証するために、様々な画像分類タスクについて広範な実験を行った。
  論文  参考訳（メタデータ） (2024-09-11T02:36:36Z)
• FedLoGe: Joint Local and Generic Federated Learning under Long-tailed Data [46.29190753993415]
  Federated Long-Tailed Learning (Fed-LT)は、分散化されたローカルクライアントから収集されたデータが、グローバルに普及しているロングテール分布を示すパラダイムである。 本稿では、Fed-LT(FedLoGe)におけるFederated Local and Generic Model Training(FedLoGe)というアプローチを紹介し、ローカルモデルとジェネリックモデルの両方のパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2024-01-17T05:04:33Z)
• Exploiting Label Skews in Federated Learning with Model Concatenation [39.38427550571378]
  Federated Learning(FL)は、生データを交換することなく、さまざまなデータオーナでディープラーニングを実行するための、有望なソリューションとして登場した。 非IID型では、ラベルスキューは困難であり、画像分類やその他のタスクで一般的である。 我々は,これらの局所モデルをグローバルモデルの基礎として分解する,シンプルで効果的なアプローチであるFedConcatを提案する。
  論文  参考訳（メタデータ） (2023-12-11T10:44:52Z)
• Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
  フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。 FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。 そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-11-12T11:01:10Z)
• Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
  フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。 その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。 我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
  論文  参考訳（メタデータ） (2023-08-20T04:41:01Z)
• Tackling Computational Heterogeneity in FL: A Few Theoretical Insights [68.8204255655161]
  我々は、計算異種データの形式化と処理を可能にする新しい集約フレームワークを導入し、分析する。 提案するアグリゲーションアルゴリズムは理論的および実験的予測から広範囲に解析される。
  論文  参考訳（メタデータ） (2023-07-12T16:28:21Z)
• FedIN: Federated Intermediate Layers Learning for Model Heterogeneity [7.781409257429762]
  フェデレートラーニング(FL)は、エッジデバイスがローカルおよびプライベートにトレーニングデータを維持しながら、グローバルな共有モデルを協調的にトレーニングすることを促進する。 本研究では,FedIN(Federated Intermediate Layers Learning)と呼ばれるFL手法を提案する。 実験結果から, 異種モデル環境におけるFedINの性能は, 最先端のアルゴリズムと比較して優れていた。
  論文  参考訳（メタデータ） (2023-04-03T07:20:43Z)
• Integrating Local Real Data with Global Gradient Prototypes for Classifier Re-Balancing in Federated Long-Tailed Learning [60.41501515192088]
  フェデレートラーニング(FL)は、グローバルモデルを協調的にトレーニングする複数のクライアントを含む、人気のある分散ラーニングパラダイムになっています。 データサンプルは通常、現実世界の長い尾の分布に従っており、分散化された長い尾のデータのFLは、貧弱なグローバルモデルをもたらす。 本研究では、局所的な実データとグローバルな勾配のプロトタイプを統合し、局所的なバランスの取れたデータセットを形成する。
  論文  参考訳（メタデータ） (2023-01-25T03:18:10Z)
• Fine-tuning Global Model via Data-Free Knowledge Distillation for Non-IID Federated Learning [86.59588262014456]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。 サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。 私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
  論文  参考訳（メタデータ） (2022-03-17T11:18:17Z)
• No Fear of Heterogeneity: Classifier Calibration for Federated Learning with Non-IID Data [78.69828864672978]
  実世界のフェデレーションシステムにおける分類モデルのトレーニングにおける中心的な課題は、非IIDデータによる学習である。 このアルゴリズムは, 近似されたssian混合モデルからサンプリングした仮想表現を用いて分類器を調整する。 実験の結果,CIFAR-10,CIFAR-100,CINIC-10など,一般的なフェデレーション学習ベンチマークにおけるCCVRの現状が示された。
  論文  参考訳（メタデータ） (2021-06-09T12:02:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。