論文の概要: FedBaF: Federated Learning Aggregation Biased by a Foundation Model
- arxiv url: http://arxiv.org/abs/2410.18352v1
- Date: Thu, 24 Oct 2024 01:14:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-25 16:43:39.555346
- Title: FedBaF: Federated Learning Aggregation Biased by a Foundation Model
- Title（参考訳）: FedBaF: ファウンデーションモデルによるフェデレーションラーニングアグリゲーション
- Authors: Jong-Ik Park, Srinivasa Pranav, José M. F. Moura, Carlee Joe-Wong,
- Abstract要約: ファンデーションモデルを新しいアプリケーションに適用するための既存のアプローチは、しばしばフェデレートラーニング(FL)に依存し、グローバルモデルの初期化に使用する際に、ファンデーションモデルの重みをクライアントに開示する。
本稿では,FedBaF(FedBaF)によるFederated Learning Aggregation Biasedを紹介する。FedBaFは,FLアグリゲーションフェーズにおいて,事前学習した基礎モデルの重みを動的に統合する手法である。
従来の方法とは異なり、FedBaFは基礎モデルの機密性を保ちながら、特に非IIDおよび敵のシナリオにおいて、より正確なモデルのトレーニングにその能力を活用している。
- 参考スコア（独自算出の注目度）: 18.9167697157582
- License:
- Abstract: Foundation models are now a major focus of leading technology organizations due to their ability to generalize across diverse tasks. Existing approaches for adapting foundation models to new applications often rely on Federated Learning (FL) and disclose the foundation model weights to clients when using it to initialize the global model. While these methods ensure client data privacy, they compromise model and information security. In this paper, we introduce Federated Learning Aggregation Biased by a Foundation Model (FedBaF), a novel method for dynamically integrating pre-trained foundation model weights during the FL aggregation phase. Unlike conventional methods, FedBaF preserves the confidentiality of the foundation model while still leveraging its power to train more accurate models, especially in non-IID and adversarial scenarios. Our comprehensive experiments use Pre-ResNet and foundation models like Vision Transformer to demonstrate that FedBaF not only matches, but often surpasses the test accuracy of traditional weight initialization methods by up to 11.4\% in IID and up to 15.8\% in non-IID settings. Additionally, FedBaF applied to a Transformer-based language model significantly reduced perplexity by up to 39.2\%.
- Abstract（参考訳）: ファンデーションモデルは、様々なタスクにまたがる一般化能力のために、現在、主要な技術組織の主要な焦点となっている。
ファンデーションモデルを新しいアプリケーションに適用するための既存のアプローチは、しばしばフェデレートラーニング(FL)に依存し、グローバルモデルの初期化に使用する際に、ファンデーションモデルの重みをクライアントに開示する。
これらの手法はクライアントデータのプライバシを保証するが、モデルと情報セキュリティを妥協する。
本稿では,FedBaF(FedBaF)によるFederated Learning Aggregation Biasedを紹介する。FedBaFは,FLアグリゲーションフェーズにおいて,事前学習した基礎モデルの重みを動的に統合する手法である。
従来の方法とは異なり、FedBaFは基礎モデルの機密性を保ちながら、特に非IIDおよび敵のシナリオにおいて、より正確なモデルのトレーニングにその能力を活用している。
包括的実験では、Pre-ResNetとVision Transformerのような基礎モデルを用いて、FedBaFが一致しただけでなく、IIDでは最大11.4\%、非IIDでは最大15.8\%という従来の重量初期化手法のテスト精度を上回ります。
さらに、Transformerベースの言語モデルに適用されたFedBaFは、パープレキシティを最大39.2\%削減した。
関連論文リスト
- High-Performance Few-Shot Segmentation with Foundation Models: An Empirical Study [64.06777376676513]
基礎モデルに基づく数ショットセグメンテーション(FSS)フレームワークを開発した。
具体的には、基礎モデルから暗黙的な知識を抽出し、粗い対応を構築するための簡単なアプローチを提案する。
2つの広く使われているデータセットの実験は、我々のアプローチの有効性を実証している。
論文 参考訳（メタデータ） (2024-09-10T08:04:11Z) - Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳（メタデータ） (2023-12-22T02:12:08Z) - PRIOR: Personalized Prior for Reactivating the Information Overlooked in
Federated Learning [16.344719695572586]
各クライアントのグローバルモデルにパーソナライズされた事前知識を注入する新しいスキームを提案する。
提案したアプローチの中心は,Bregman Divergence (pFedBreD) による PFL フレームワークである。
提案手法は5つのデータセット上での最先端のパフォーマンスに到達し、8つのベンチマークで最大3.5%性能を向上する。
論文 参考訳（メタデータ） (2023-10-13T15:21:25Z) - Confidence-aware Personalized Federated Learning via Variational
Expectation Maximization [34.354154518009956]
パーソナライズド・フェデレーション・ラーニング(PFL)のための新しいフレームワークを提案する。
PFLは、クライアント間で共有モデルをトレーニングする分散学習スキームである。
階層的モデリングと変分推論に基づくPFLの新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2023-05-21T20:12:27Z) - Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
基礎モデルを用いた最先端UniDA手法の実証的研究を行った。
CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。
単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
論文 参考訳（メタデータ） (2023-05-18T16:28:29Z) - Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。
これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。
パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
論文 参考訳（メタデータ） (2022-12-19T20:46:43Z) - Personalized Federated Learning with Hidden Information on Personalized
Prior [18.8426865970643]
本稿では,Bregmanの発散正規化を用いたモデル化のためのフレームワークであるpFedBreDを提案する。
実験の結果,提案手法は複数の公開ベンチマークにおいて他のPFLアルゴリズムよりも優れていることがわかった。
論文 参考訳（メタデータ） (2022-11-19T12:45:19Z) - Heterogeneous Ensemble Knowledge Transfer for Training Large Models in
Federated Learning [22.310090483499035]
フェデレートラーニング(FL)は、エッジデバイスがプライベートデータを中央集約サーバに公開することなく、協調的にモデルを学習することを可能にする。
既存のFLアルゴリズムの多くは、クライアントとサーバにまたがってデプロイされるのと同じアーキテクチャのモデルを必要とする。
本稿では,Fed-ETと呼ばれる新しいアンサンブル知識伝達手法を提案する。
論文 参考訳（メタデータ） (2022-04-27T05:18:32Z) - Fine-tuning Global Model via Data-Free Knowledge Distillation for
Non-IID Federated Learning [86.59588262014456]
フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。
サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。
私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
論文 参考訳（メタデータ） (2022-03-17T11:18:17Z) - FedBE: Making Bayesian Model Ensemble Applicable to Federated Learning [23.726336635748783]
フェデレートラーニング(Federated Learning)は、ユーザのローカルにトレーニングされたモデルにアクセスして、自身のデータではなく、強力なグローバルモデルを協調的にトレーニングすることを目的としている。
したがって、ローカルモデルをグローバルモデルに集約することが重要なステップであり、これはユーザーが非i.d.データを持つ場合に困難であることが示されている。
我々は,ハイクオリティなグローバルモデルをサンプリングすることによってベイズ推論の観点から,FedBEという新しい集約アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-09-04T01:18:25Z) - Federated Mutual Learning [65.46254760557073]
Federated Mutual Leaning (FML)は、クライアントが汎用モデルとパーソナライズされたモデルを独立してトレーニングすることを可能にする。
実験により、FMLは一般的なフェデレート学習環境よりも優れた性能が得られることが示された。
論文 参考訳（メタデータ） (2020-06-27T09:35:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。