論文の概要: Towards Instance-adaptive Inference for Federated Learning
- arxiv url: http://arxiv.org/abs/2308.06051v2
- Date: Thu, 17 Aug 2023 05:04:43 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-21 22:05:08.231915
- Title: Towards Instance-adaptive Inference for Federated Learning
- Title（参考訳）: フェデレーション学習におけるインスタンス適応推論に向けて
- Authors: Chun-Mei Feng, Kai Yu, Nian Liu, Xinxing Xu, Salman Khan, Wangmeng Zuo
- Abstract要約: Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
- 参考スコア（独自算出の注目度）: 80.38701896056828
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated learning (FL) is a distributed learning paradigm that enables
multiple clients to learn a powerful global model by aggregating local
training. However, the performance of the global model is often hampered by
non-i.i.d. distribution among the clients, requiring extensive efforts to
mitigate inter-client data heterogeneity. Going beyond inter-client data
heterogeneity, we note that intra-client heterogeneity can also be observed on
complex real-world data and seriously deteriorate FL performance. In this
paper, we present a novel FL algorithm, i.e., FedIns, to handle intra-client
data heterogeneity by enabling instance-adaptive inference in the FL framework.
Instead of huge instance-adaptive models, we resort to a parameter-efficient
fine-tuning method, i.e., scale and shift deep features (SSF), upon a
pre-trained model. Specifically, we first train an SSF pool for each client,
and aggregate these SSF pools on the server side, thus still maintaining a low
communication cost. To enable instance-adaptive inference, for a given
instance, we dynamically find the best-matched SSF subsets from the pool and
aggregate them to generate an adaptive SSF specified for the instance, thereby
reducing the intra-client as well as the inter-client heterogeneity. Extensive
experiments show that our FedIns outperforms state-of-the-art FL algorithms,
e.g., a 6.64\% improvement against the top-performing method with less than
15\% communication cost on Tiny-ImageNet. Our code and models will be publicly
released.
- Abstract（参考訳）: Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
しかし、グローバルモデルの性能はクライアント間の非単位分布によって妨げられ、クライアント間の不均一性を緩和するために広範囲な努力が必要である。
クライアント間データの不均一性を超えて、クライアント内不均一性は複雑な実世界データでも観察でき、fl性能を著しく低下させることに注意する。
本稿では、flフレームワークでインスタンス適応推論を有効にすることにより、クライアント内データの不均一性を処理する新しいflアルゴリズム、すなわちfeedinsを提案する。
巨大なインスタンス適応モデルの代わりに、パラメータ効率のよい微調整方法、すなわち、事前訓練されたモデルでディープ機能(ssf)をスケール・アンド・シフトします。
具体的には、まず各クライアントに対してSSFプールをトレーニングし、サーバ側でこれらのSSFプールを集約し、通信コストを低く抑える。
インスタンス適応推論を可能にするために、与えられたインスタンスに対して、最も適合したSSFサブセットを動的に発見し、それらを集約して、インスタンスに指定された適応SSFを生成する。
大規模な実験により、我々のFedInsは最先端のFLアルゴリズム(例えば、Tiny-ImageNetの通信コストが15倍未満の最高性能の手法に対して6.64倍の改善を達成している。
私たちのコードとモデルは公開されます。
関連論文リスト
- An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。
従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。
我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文 参考訳（メタデータ） (2024-04-29T05:55:23Z) - Achieving Linear Speedup in Asynchronous Federated Learning with
Heterogeneous Clients [30.135431295658343]
フェデレートラーニング(FL)は、異なるクライアントにローカルに保存されているデータを交換したり転送したりすることなく、共通のグローバルモデルを学ぶことを目的としている。
本稿では,DeFedAvgという,効率的な連邦学習(AFL)フレームワークを提案する。
DeFedAvgは、望まれる線形スピードアップ特性を達成する最初のAFLアルゴリズムであり、高いスケーラビリティを示している。
論文 参考訳（メタデータ） (2024-02-17T05:22:46Z) - PFL-GAN: When Client Heterogeneity Meets Generative Models in
Personalized Federated Learning [55.930403371398114]
パーソナライズドラーニング(PFL)のための新しいGAN(Generative Adversarial Network)の共有と集約戦略を提案する。
PFL-GANは、異なるシナリオにおけるクライアントの不均一性に対処する。より具体的には、まずクライアント間の類似性を学び、次に重み付けされた協調データアグリゲーションを開発する。
いくつかのよく知られたデータセットに対する厳密な実験による実験結果は、PFL-GANの有効性を示している。
論文 参考訳（メタデータ） (2023-08-23T22:38:35Z) - Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。
その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。
我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
論文 参考訳（メタデータ） (2023-08-20T04:41:01Z) - FedCME: Client Matching and Classifier Exchanging to Handle Data
Heterogeneity in Federated Learning [5.21877373352943]
クライアント間のデータの均一性は、フェデレートラーニング(FL)における重要な課題の1つです。
クライアントマッチングと分類器交換によりFedCMEという新しいFLフレームワークを提案する。
実験結果から,FedCMEはFedAvg,FedProx,MOON,FedRSよりも高い性能を示した。
論文 参考訳（メタデータ） (2023-07-17T15:40:45Z) - Adaptive Self-Distillation for Minimizing Client Drift in Heterogeneous
Federated Learning [9.975023463908496]
Federated Learning(FL)は、クライアントがローカルトレーニングデータを共有せずに、局所的にトレーニングされたモデルを集約することで、グローバルモデルの共同トレーニングを可能にする機械学習パラダイムである。
本稿では,適応自己蒸留(ASD)に基づく新たな正規化手法を提案する。
我々の正規化方式は,グローバルモデルエントロピーとクライアントのラベル分布に基づいて,クライアントのトレーニングデータに適応的に適応的に適応する。
論文 参考訳（メタデータ） (2023-05-31T07:00:42Z) - Federated Learning for Semantic Parsing: Task Formulation, Evaluation
Setup, New Algorithms [29.636944156801327]
複数のクライアントは、セマンティック解析データを共有せずに、1つのグローバルモデルを協調的にトレーニングする。
Lorarは、各ラウンド中のトレーニング損失の削減に基づいて、グローバルモデル更新に対する各クライアントのコントリビューションを調整する。
より小さなデータセットを持つクライアントは、より大きなパフォーマンス向上を享受する。
論文 参考訳（メタデータ） (2023-05-26T19:25:49Z) - Beyond ADMM: A Unified Client-variance-reduced Adaptive Federated
Learning Framework [82.36466358313025]
我々はFedVRAと呼ばれる原始二重FLアルゴリズムを提案し、このアルゴリズムはグローバルモデルの分散還元レベルとバイアスを適応的に制御することができる。
半教師付き画像分類タスクに基づく実験は,既存の手法よりもFedVRAの方が優れていることを示す。
論文 参考訳（メタデータ） (2022-12-03T03:27:51Z) - Gradient Masked Averaging for Federated Learning [24.687254139644736]
フェデレートラーニングは、統一グローバルモデルの学習を協調するために、異種データを持つ多数のクライアントを可能にする。
標準FLアルゴリズムは、サーバのグローバルモデルを近似するために、モデルパラメータや勾配の更新を平均化する。
本稿では,クライアント更新の標準平均化の代替として,FLの勾配マスク平均化手法を提案する。
論文 参考訳（メタデータ） (2022-01-28T08:42:43Z) - A Bayesian Federated Learning Framework with Online Laplace
Approximation [144.7345013348257]
フェデレートラーニングは、複数のクライアントが協力してグローバルに共有されたモデルを学ぶことを可能にする。
クライアント側とサーバ側の両方の後方部を近似するために,オンラインラプラス近似を用いた新しいFLフレームワークを提案する。
提案手法の利点を実証し,いくつかのベンチマークで最新の結果を得た。
論文 参考訳（メタデータ） (2021-02-03T08:36:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。