論文の概要: FedLoRA: Model-Heterogeneous Personalized Federated Learning with LoRA
Tuning
- arxiv url: http://arxiv.org/abs/2310.13283v1
- Date: Fri, 20 Oct 2023 05:24:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-24 00:14:51.120600
- Title: FedLoRA: Model-Heterogeneous Personalized Federated Learning with LoRA
Tuning
- Title（参考訳）: FedLoRA: LoRAチューニングによるモデル不均一な個人化フェデレーション学習
- Authors: Liping Yi, Han Yu, Gang Wang, Xiaoguang Liu
- Abstract要約: LoRAチューニング(FedLoRA)に基づく計算・通信効率のモデル・ヘテロジニアス・パーソナライズド・ラーニング・フレームワークを提案する。
各クライアントの異種ローカルモデルに同質の小型アダプタを組み込むように設計されている。
このようにして、FLクライアントは、高い計算と通信コストを伴わずに、異種ローカルモデルを訓練することができる。
- 参考スコア（独自算出の注目度）: 19.403843478569303
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) is an emerging machine learning paradigm in which a
central server coordinates multiple participants (a.k.a. FL clients) to train a
model collaboratively on decentralized data with privacy protection. This
paradigm constrains that all clients have to train models with the same
structures (homogeneous). In practice, FL often faces statistical
heterogeneity, system heterogeneity and model heterogeneity challenges. These
challenging issues inspire the field of Model-Heterogeneous Personalized
Federated Learning (MHPFL) which aims to train a personalized and heterogeneous
local model for each FL client. Existing MHPFL approaches cannot achieve
satisfactory model performance, acceptable computational overhead and efficient
communication simultaneously. To bridge this gap, we propose a novel
computation- and communication-efficient model-heterogeneous personalized
Federated learning framework based on LoRA tuning (FedLoRA). It is designed to
incorporate a homogeneous small adapter for each client's heterogeneous local
model. Both models are trained following the proposed iterative training for
global-local knowledge exchange. The homogeneous small local adapters are sent
to the FL server to be aggregated into a global adapter. In this way, FL
clients can train heterogeneous local models without incurring high computation
and communication costs. We theoretically prove the non-convex convergence rate
of FedLoRA. Extensive experiments on two real-world datasets demonstrate that
FedLoRA outperforms six state-of-the-art baselines, beating the best approach
by 1.35% in terms of test accuracy, 11.81 times computation overhead reduction
and 7.41 times communication cost saving.
- Abstract（参考訳）: フェデレーション学習(federated learning, fl)は、中央サーバが複数の参加者(すなわちflクライアント)を調整して、プライバシ保護を備えた分散データ上で協調的にモデルをトレーニングする、新たなマシンラーニングパラダイムである。
このパラダイムは、すべてのクライアントが同じ構造(均質)を持つモデルをトレーニングしなければならないことを制約します。
実際には、flは統計的不均質性、システム不均質性、モデル不均質性の問題に直面することが多い。
これらの課題は、各FLクライアントに対してパーソナライズされた異種ローカルモデルをトレーニングすることを目的としたMHPFL(Model-Heterogeneous Personalized Federated Learning)の分野を刺激する。
既存のMHPFLアプローチは、良好なモデル性能、許容計算オーバーヘッド、効率的な通信を同時に達成できない。
このギャップを埋めるために,loraチューニング(fedlora)に基づく,新しい計算効率と通信効率のよいモデルヘテロジェンスパーソナライズ学習フレームワークを提案する。
各クライアントの異種ローカルモデルに同質の小型アダプタを組み込むように設計されている。
どちらのモデルも、グローバルローカルな知識交換のための反復的なトレーニングの後に訓練される。
均質な小さなローカルアダプタはflサーバに送信され、グローバルアダプタに集約される。
このようにして、flクライアントは高い計算と通信コストを伴わずに異種ローカルモデルをトレーニングできる。
理論的には、FedLoRAの非凸収束率を証明する。
2つの実世界のデータセットに対する大規模な実験により、FedLoRAは6つの最先端ベースラインを上回り、テスト精度で1.35%、計算オーバーヘッドを11.81倍、通信コストを7.41倍削減した。
関連論文リスト
- Multi-level Personalized Federated Learning on Heterogeneous and Long-Tailed Data [10.64629029156029]
マルチレベル・パーソナライズド・フェデレーション・ラーニング(MuPFL)という革新的パーソナライズド・パーソナライズド・ラーニング・フレームワークを導入する。
MuPFLは3つの重要なモジュールを統合している: Biased Activation Value Dropout (BAVD), Adaptive Cluster-based Model Update (ACMU), Prior Knowledge-assisted Fine-tuning (PKCF)。
様々な実世界のデータセットの実験では、MuPFLは極端に非i.d.と長い尾の条件下であっても、最先端のベースラインを一貫して上回っている。
論文 参考訳（メタデータ） (2024-05-10T11:52:53Z) - Straggler-resilient Federated Learning: Tackling Computation
Heterogeneity with Layer-wise Partial Model Training in Mobile Edge Network [4.1813760301635705]
本稿では,FedPMT(Federated partial Model Training)を提案する。
したがって、FedPMTのすべてのデバイスは、グローバルモデルの最も重要な部分を優先している。
実証的な結果は、FedPMTが既存のベンチマークFedDropを大きく上回っていることを示している。
論文 参考訳（メタデータ） (2023-11-16T16:30:04Z) - pFedES: Model Heterogeneous Personalized Federated Learning with Feature
Extractor Sharing [19.403843478569303]
特徴抽出器の共有に基づくモデル・ヘテロジニアス・パーソナライズされたフェデレーション学習手法を提案する。
これは、各クライアントの異種局所モデルに小さな同種特徴抽出器を組み込む。
テスト精度は1.61%向上し、通信コストと計算コストをそれぞれ99.6%と82.9%削減した。
論文 参考訳（メタデータ） (2023-11-12T15:43:39Z) - Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。
FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。
そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
論文 参考訳（メタデータ） (2023-11-12T11:01:10Z) - Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。
本稿では,FedInsという新しいFLアルゴリズムを提案する。
我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-08-11T09:58:47Z) - Vertical Federated Learning over Cloud-RAN: Convergence Analysis and
System Optimization [82.12796238714589]
高速かつ正確なモデルアグリゲーションを実現するために,クラウド無線アクセスネットワーク(Cloud-RAN)ベースの垂直FLシステムを提案する。
アップリンクとダウンリンクの両方の伝送を考慮した垂直FLアルゴリズムの収束挙動を特徴付ける。
我々は,連続凸近似と代替凸探索に基づくシステム最適化アルゴリズムを開発した,連系トランシーバとフロントホール量子化設計によるシステム最適化フレームワークを構築した。
論文 参考訳（メタデータ） (2023-05-04T09:26:03Z) - FedMR: Fedreated Learning via Model Recombination [7.404225808071622]
Federated Learning (FL)は、クライアント間でのグローバルモデルトレーニングを可能にする。
既存のFLメソッドは、Federated Averaging(FedAvg)ベースのアグリゲーションに依存しています。
本稿ではFedMR(Federating Model Recombination)という新しいFLパラダイムを提案する。
論文 参考訳（メタデータ） (2022-08-16T11:30:19Z) - FedDM: Iterative Distribution Matching for Communication-Efficient
Federated Learning [87.08902493524556]
フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。
我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。
そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
論文 参考訳（メタデータ） (2022-07-20T04:55:18Z) - Fine-tuning Global Model via Data-Free Knowledge Distillation for
Non-IID Federated Learning [86.59588262014456]
フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。
サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。
私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
論文 参考訳（メタデータ） (2022-03-17T11:18:17Z) - Achieving Personalized Federated Learning with Sparse Local Models [75.76854544460981]
フェデレートラーニング(FL)は異種分散データに対して脆弱である。
この問題に対処するため、個人ごとに専用のローカルモデルを作成するためにパーソナライズされたFL(PFL)が提案された。
既存のPFLソリューションは、異なるモデルアーキテクチャに対する不満足な一般化を示すか、あるいは膨大な余分な計算とメモリを犠牲にするかのどちらかである。
我々は、パーソナライズされたスパースマスクを用いて、エッジ上のスパースローカルモデルをカスタマイズする新しいPFLスキームFedSpaを提案する。
論文 参考訳（メタデータ） (2022-01-27T08:43:11Z) - FedHM: Efficient Federated Learning for Heterogeneous Models via
Low-rank Factorization [16.704006420306353]
スケーラブルなフェデレート学習フレームワークは、異なる計算能力と通信能力を備えた異種クライアントに対処する必要がある。
本稿では,不均一な低ランクモデルをクライアントに分散し,それらをグローバルなフルランクモデルに集約する,新しいフェデレーションモデル圧縮フレームワークであるFedHMを提案する。
我々のソリューションは、計算複雑性の異なる異種局所モデルの訓練を可能にし、単一の大域的モデルを集約する。
論文 参考訳（メタデータ） (2021-11-29T16:11:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。