Fugu-MT 論文翻訳(概要): FedHM: Efficient Federated Learning for Heterogeneous Models via Low-rank Factorization

論文の概要: FedHM: Efficient Federated Learning for Heterogeneous Models via Low-rank Factorization

arxiv url: http://arxiv.org/abs/2111.14655v1
Date: Mon, 29 Nov 2021 16:11:09 GMT
ステータス: 処理完了
システム内更新日: 2021-11-30 16:37:43.573327
Title: FedHM: Efficient Federated Learning for Heterogeneous Models via Low-rank Factorization
Title（参考訳）: fedhm:低ランク因子分解によるヘテロジニアスモデルの効率的なフェデレート学習
Authors: Dezhong Yao, Wanning Pan, Yao Wan, Hai Jin, Lichao Sun
Abstract要約: スケーラブルなフェデレート学習フレームワークは、異なる計算能力と通信能力を備えた異種クライアントに対処する必要がある。本稿では,不均一な低ランクモデルをクライアントに分散し,それらをグローバルなフルランクモデルに集約する,新しいフェデレーションモデル圧縮フレームワークであるFedHMを提案する。我々のソリューションは、計算複雑性の異なる異種局所モデルの訓練を可能にし、単一の大域的モデルを集約する。
参考スコア（独自算出の注目度）: 16.704006420306353
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The underlying assumption of recent federated learning (FL) paradigms is that local models usually share the same network architecture as the global model, which becomes impractical for mobile and IoT devices with different setups of hardware and infrastructure. A scalable federated learning framework should address heterogeneous clients equipped with different computation and communication capabilities. To this end, this paper proposes FedHM, a novel federated model compression framework that distributes the heterogeneous low-rank models to clients and then aggregates them into a global full-rank model. Our solution enables the training of heterogeneous local models with varying computational complexities and aggregates a single global model. Furthermore, FedHM not only reduces the computational complexity of the device, but also reduces the communication cost by using low-rank models. Extensive experimental results demonstrate that our proposed \system outperforms the current pruning-based FL approaches in terms of test Top-1 accuracy (4.6% accuracy gain on average), with smaller model size (1.5x smaller on average) under various heterogeneous FL settings.
Abstract（参考訳）: 最近のフェデレートラーニング(FL)パラダイムの根底にある前提は、ローカルモデルは一般的にグローバルモデルと同じネットワークアーキテクチャを共有しており、ハードウェアとインフラの異なるモバイルとIoTデバイスでは実用的ではない、というものである。スケーラブルな連合学習フレームワークは、異なる計算能力と通信能力を備えた異種クライアントに対処する必要がある。そこで本稿では,ヘテロジニアスな低ランクモデルをクライアントに分散し,それらをグローバルフルランクモデルに集約する,新しいフェデレーションモデル圧縮フレームワークfederated modelについて述べる。我々のソリューションは、計算複雑性の異なる異種局所モデルのトレーニングを可能にし、単一のグローバルモデルを集約する。さらに、FedHMはデバイスの計算複雑性を低減させるだけでなく、低ランクモデルを使用することで通信コストを低減させる。実験結果から,提案手法はTop-1の精度(平均4.6%の精度向上),モデルサイズ(平均1.5倍の精度向上)において,様々な不均一なFL設定下で,現在のフラニングベースFLアプローチよりも優れた性能を示した。

関連論文リスト

FedPAE: Peer-Adaptive Ensemble Learning for Asynchronous and Model-Heterogeneous Federated Learning [9.084674176224109]
フェデレートラーニング(FL)は、分散データソースを持つ複数のクライアントが、データのプライバシを損なうことなく、共同で共有モデルをトレーニングすることを可能にする。我々は、モデルの不均一性と非同期学習をサポートする完全分散pFLアルゴリズムであるFederated Peer-Adaptive Ensemble Learning (FedPAE)を紹介する。提案手法では,ピアツーピアモデル共有機構とアンサンブル選択を用いて,局所情報とグローバル情報とのより洗練されたバランスを実現する。
論文参考訳（メタデータ） (2024-10-17T22:47:19Z)
Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
論文参考訳（メタデータ） (2024-03-27T09:14:36Z)
AdapterFL: Adaptive Heterogeneous Federated Learning for Resource-constrained Mobile Computing Systems [24.013937378054074]
Federated Learning (FL)は、データ共有なしで大規模分散クライアントの協調学習を可能にする。モバイルコンピューティングシステムは、協調学習のために小さな低パフォーマンスモデルしか利用できない。我々は、大規模な異種モバイルデバイスの協調訓練を適応的に行うために、モデル再組み立て戦略を用いる。
論文参考訳（メタデータ） (2023-11-23T14:42:43Z)
Straggler-resilient Federated Learning: Tackling Computation Heterogeneity with Layer-wise Partial Model Training in Mobile Edge Network [4.1813760301635705]
本稿では,FedPMT(Federated partial Model Training)を提案する。したがって、FedPMTのすべてのデバイスは、グローバルモデルの最も重要な部分を優先している。実証的な結果は、FedPMTが既存のベンチマークFedDropを大きく上回っていることを示している。
論文参考訳（メタデータ） (2023-11-16T16:30:04Z)
Adaptive Model Pruning and Personalization for Federated Learning over Wireless Networks [72.59891661768177]
フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
論文参考訳（メタデータ） (2023-09-04T21:10:45Z)
Vertical Federated Learning over Cloud-RAN: Convergence Analysis and System Optimization [82.12796238714589]
高速かつ正確なモデルアグリゲーションを実現するために,クラウド無線アクセスネットワーク(Cloud-RAN)ベースの垂直FLシステムを提案する。アップリンクとダウンリンクの両方の伝送を考慮した垂直FLアルゴリズムの収束挙動を特徴付ける。我々は,連続凸近似と代替凸探索に基づくシステム最適化アルゴリズムを開発した,連系トランシーバとフロントホール量子化設計によるシステム最適化フレームワークを構築した。
論文参考訳（メタデータ） (2023-05-04T09:26:03Z)
FedHiSyn: A Hierarchical Synchronous Federated Learning Framework for Resource and Data Heterogeneity [56.82825745165945]
フェデレートラーニング(FL)は、データプライバシを保護するために複数のデバイスに格納された分散生データを共有することなく、グローバルモデルのトレーニングを可能にする。本稿では,階層型同期FLフレームワークであるFedHiSynを提案し,トラグラー効果や時代遅れモデルの問題に対処する。提案手法は,MNIST,EMNIST,CIFAR10,CIFAR100のデータセットと多種多様なデバイス設定に基づいて評価する。
論文参考訳（メタデータ） (2022-06-21T17:23:06Z)
Fine-tuning Global Model via Data-Free Knowledge Distillation for Non-IID Federated Learning [86.59588262014456]
フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
論文参考訳（メタデータ） (2022-03-17T11:18:17Z)
FedCAT: Towards Accurate Federated Learning via Device Concatenation [4.416919766772866]
Federated Learning(FL)は、すべてのデバイスが、ローカルデータのプライバシを公開することなく、グローバルモデルを協調的にトレーニングすることを可能にする。非IIDシナリオでは、データの不均一性に起因する重みのばらつきにより、FLモデルの分類精度が大幅に低下する。本稿では,Fed-Cat という新しいFLアプローチを導入し,提案したデバイス選択戦略とデバイス結合に基づく局所学習手法に基づいて,高精度なモデル精度を実現する。
論文参考訳（メタデータ） (2022-02-23T10:08:43Z)
Federated Multi-Task Learning under a Mixture of Distributions [10.00087964926414]
Federated Learning(FL)は、機械学習モデルのデバイス上での協調トレーニングのためのフレームワークである。 FLにおける最初の取り組みは、クライアント間で平均的なパフォーマンスを持つ単一のグローバルモデルを学ぶことに焦点を当てたが、グローバルモデルは、与えられたクライアントに対して任意に悪いかもしれない。我々は,各局所データ分布が未知の基底分布の混合であるというフレキシブルな仮定の下で,フェデレーションMTLについて検討した。
論文参考訳（メタデータ） (2021-08-23T15:47:53Z)
Federated Learning With Quantized Global Model Updates [84.55126371346452]
モバイル端末がローカルデータセットを使用してグローバルモデルをトレーニングできるフェデレーション学習について検討する。本稿では,大域的モデルと局所的モデル更新の両方を,送信前に量子化する損失FL(LFL)アルゴリズムを提案する。
論文参考訳（メタデータ） (2020-06-18T16:55:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。