論文の概要: Parametric Feature Transfer: One-shot Federated Learning with Foundation Models

• arxiv url: http://arxiv.org/abs/2402.01862v1
• Date: Fri, 2 Feb 2024 19:34:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-06 23:52:31.560044
• Title: Parametric Feature Transfer: One-shot Federated Learning with Foundation Models
• Title（参考訳）: Parametric Feature Transfer: 基礎モデルによるワンショットフェデレーション学習
• Authors: Mahdi Beitollahi, Alex Bie, Sobhan Hemati, Leo Maxime Brunswic, Xu Li, Xi Chen, Guojun Zhang
• Abstract要約: ワンショットのフェデレーション学習では、クライアントは単一のコミュニケーションでグローバルモデルを協調的にトレーニングする。 本稿では,基礎モデルの転送可能性を利用してワンショットFLの精度と通信効率を向上させる手法であるFedPFTを紹介する。
• 参考スコア（独自算出の注目度）: 14.97955440815159
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In one-shot federated learning (FL), clients collaboratively train a global model in a single round of communication. Existing approaches for one-shot FL enhance communication efficiency at the expense of diminished accuracy. This paper introduces FedPFT (Federated Learning with Parametric Feature Transfer), a methodology that harnesses the transferability of foundation models to enhance both accuracy and communication efficiency in one-shot FL. The approach involves transferring per-client parametric models (specifically, Gaussian mixtures) of features extracted from foundation models. Subsequently, each parametric model is employed to generate synthetic features for training a classifier head. Experimental results on eight datasets demonstrate that FedPFT enhances the communication-accuracy frontier in both centralized and decentralized FL scenarios, as well as across diverse data-heterogeneity settings such as covariate shift and task shift, with improvements of up to 20.6%. Additionally, FedPFT adheres to the data minimization principle of FL, as clients do not send real features. We demonstrate that sending real features is vulnerable to potent reconstruction attacks. Moreover, we show that FedPFT is amenable to formal privacy guarantees via differential privacy, demonstrating favourable privacy-accuracy tradeoffs.
• Abstract（参考訳）: ワンショットフェデレーション学習(FL)では、クライアントは単一の通信ラウンドでグローバルモデルを協調的にトレーニングする。 ワンショットflの既存のアプローチは、精度の低下を犠牲にして通信効率を高める。 本稿では,FedPFT(Federated Learning with Parametric Feature Transfer)について紹介する。 このアプローチでは、基礎モデルから抽出された機能のクライアント毎のパラメトリックモデル(特にガウス混合)を転送する。 その後、各パラメトリックモデルを用いて分類器ヘッドを訓練する合成特徴を生成する。 8つのデータセットの実験結果から、FedPFTは集中的および分散化されたFLシナリオと、共変量シフトやタスクシフトなどの多様なデータ不均一性設定の両方において、通信精度のフロンティアを強化し、最大20.6%の改善が示されている。 さらに、fedpftは、クライアントが実際の機能を送信しないため、flのデータ最小化原則に準拠している。 実際の特徴の送信は、強力な再構築攻撃に対して脆弱であることを示す。 さらに,feedpft は差分プライバシーを通した形式的プライバシー保証に適しており,良好なプライバシー妥当性のトレードオフを示す。

関連論文リスト

• Tackling Feature-Classifier Mismatch in Federated Learning via Prompt-Driven Feature Transformation [12.19025665853089]
  従来のフェデレートラーニングアプローチでは、グローバルモデルはデータの不均一性に直面するとパフォーマンスが低下する。 我々は,FedPFTと呼ばれる新しいPFLフレームワークを提案し,特徴抽出器の品質を高めつつミスマッチ問題に対処する。 実験の結果,FedPFTは最先端の手法より最大7.08%優れていた。
  論文  参考訳（メタデータ） (2024-07-23T02:52:52Z)
• SpaFL: Communication-Efficient Federated Learning with Sparse Models and Low computational Overhead [75.87007729801304]
  SpaFL: 計算オーバーヘッドの少ないスパースモデル構造を最適化する通信効率のよいFLフレームワークを提案する。 実験により、スパースベースラインに比べて通信やコンピューティングリソースをはるかに少なくし、精度を向上することが示された。
  論文  参考訳（メタデータ） (2024-06-01T13:10:35Z)
• An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
  フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。 従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。 我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
  論文  参考訳（メタデータ） (2024-04-29T05:55:23Z)
• FLASH: Federated Learning Across Simultaneous Heterogeneities [54.80435317208111]
  FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。 ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。 最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
  論文  参考訳（メタデータ） (2024-02-13T20:04:39Z)
• FedSSA: Semantic Similarity-based Aggregation for Efficient Model-Heterogeneous Personalized Federated Learning [40.827571502726805]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ保護と協調的な機械学習パラダイムである。 MHPFL(Model-Heterogeneous Personalized FL)がこの課題に対処するために登場した。 既存のMHPFLアプローチは、学習タスクと同じ性質の公開データセットに依存している場合や、高い計算と通信コストがかかる場合が多い。 教師付き分類タスクに対するFedSSA(Federated Semantic similarity Aggregation)アプローチを提案する。 FedSSAの精度は3.62%、通信効率は15.54倍、計算効率は7つの最先端のMHPFLベースラインに比べて15.52倍である。
  論文  参考訳（メタデータ） (2023-12-14T14:55:32Z)
• FedDAT: An Approach for Foundation Model Finetuning in Multi-Modal Heterogeneous Federated Learning [37.96957782129352]
  我々はFederated Dual-Aadapter Teacher(Fed DAT)と呼ばれる異種マルチモーダル基礎モデルに適した微調整フレームワークを提案する。 Fed DATは、クライアントのローカル更新を規則化し、MKD(Mutual Knowledge Distillation)を効率的な知識伝達に適用することで、データの均一性に対処する。 その有効性を示すために、異なる種類のデータ不均一性を持つ4つの多モードFLベンチマークについて広範な実験を行った。
  論文  参考訳（メタデータ） (2023-08-21T21:57:01Z)
• Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
  本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
  論文  参考訳（メタデータ） (2023-05-01T20:04:46Z)
• FedGH: Heterogeneous Federated Learning with Generalized Global Header [16.26231633749833]
  フェデレートラーニング(Federated Learning, FL)は、複数のパーティが共有モデルをトレーニングできる、新興の機械学習パラダイムである。 本稿では,FedGH(Federated Global Prediction Header)アプローチを提案する。 FedGHは、クライアントモデルのための異種抽出器による表現で、共通化されたグローバルな予測ヘッダーを訓練する。
  論文  参考訳（メタデータ） (2023-03-23T09:38:52Z)
• FedCliP: Federated Learning with Client Pruning [3.796320380104124]
  フェデレートラーニング(Federated Learning、FL)は、新たな分散ラーニングパラダイムである。 FLの基本的なボトルネックの1つは、分散クライアントと中央サーバの間の通信オーバーヘッドである。 マクロの観点から,最初の通信効率のよいFLトレーニングフレームワークであるFedCliPを提案する。
  論文  参考訳（メタデータ） (2023-01-17T09:15:37Z)
• FedDM: Iterative Distribution Matching for Communication-Efficient Federated Learning [87.08902493524556]
  フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。 我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。 そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
  論文  参考訳（メタデータ） (2022-07-20T04:55:18Z)
• Toward Understanding the Influence of Individual Clients in Federated Learning [52.07734799278535]
  フェデレーションラーニングにより、クライアントはプライベートデータを中央サーバーに送信することなく、グローバルモデルを共同でトレーニングできます。 em-Influenceという新しい概念を定義し、パラメータに対するこの影響を定量化し、このメトリクスを推定する効果的な効率的なモデルを提案しました。
  論文  参考訳（メタデータ） (2020-12-20T14:34:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。