論文の概要: subMFL: Compatiple subModel Generation for Federated Learning in Device Heterogenous Environment
- arxiv url: http://arxiv.org/abs/2405.20014v1
- Date: Thu, 30 May 2024 12:49:34 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-31 14:28:22.591881
- Title: subMFL: Compatiple subModel Generation for Federated Learning in Device Heterogenous Environment
- Title（参考訳）: SubMFL:デバイス異種環境におけるフェデレーション学習のための互換性サブモデル生成
- Authors: Zeyneddin Oz, Ceylan Soygul Oz, Abdollah Malekjafarian, Nima Afraz, Fatemeh Golpayegani,
- Abstract要約: フェデレートラーニング(FL)は、分散デバイスと異種デバイスを持つシステムで一般的に用いられる。
計算能力の異なる異種デバイスをFLプロセスに参加可能なモデル圧縮手法を提案する。
- 参考スコア（独自算出の注目度）: 0.2796197251957244
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated Learning (FL) is commonly used in systems with distributed and heterogeneous devices with access to varying amounts of data and diverse computing and storage capacities. FL training process enables such devices to update the weights of a shared model locally using their local data and then a trusted central server combines all of those models to generate a global model. In this way, a global model is generated while the data remains local to devices to preserve privacy. However, training large models such as Deep Neural Networks (DNNs) on resource-constrained devices can take a prohibitively long time and consume a large amount of energy. In the current process, the low-capacity devices are excluded from the training process, although they might have access to unseen data. To overcome this challenge, we propose a model compression approach that enables heterogeneous devices with varying computing capacities to participate in the FL process. In our approach, the server shares a dense model with all devices to train it: Afterwards, the trained model is gradually compressed to obtain submodels with varying levels of sparsity to be used as suitable initial global models for resource-constrained devices that were not capable of train the first dense model. This results in an increased participation rate of resource-constrained devices while the transferred weights from the previous round of training are preserved. Our validation experiments show that despite reaching about 50 per cent global sparsity, generated submodels maintain their accuracy while can be shared to increase participation by around 50 per cent.
- Abstract（参考訳）: フェデレートラーニング(FL)は、様々なデータと多様な計算能力とストレージ能力にアクセス可能な、分散デバイスと異種デバイスを持つシステムで一般的に使われている。
FLトレーニングプロセスにより、そのようなデバイスはローカルデータを使用して共有モデルの重量をローカルに更新し、信頼された中央サーバがこれらのモデルをすべて組み合わせてグローバルモデルを生成する。
このようにして、プライバシーを守るためにデータがデバイスにローカルに留まっている間に、グローバルモデルが生成される。
しかし、リソース制約のあるデバイス上でDeep Neural Networks(DNN)のような大規模なモデルをトレーニングすることは、極めて長い時間を要するため、大量のエネルギーを消費することができる。
現在のプロセスでは、低い容量のデバイスはトレーニングプロセスから除外されるが、見当たらないデータにアクセスすることができる。
この課題を克服するために,計算能力の異なる異種デバイスをFLプロセスに参加可能なモデル圧縮手法を提案する。
その後、訓練されたモデルは徐々に圧縮され、異なるレベルの疎性を持つサブモデルを取得し、第1の密密なモデルを訓練できないリソース制約されたデバイスに最適な初期グローバルモデルとして使用する。
これにより、前回の訓練から移行した重量を保存しながら、リソース制約された装置の参加率を増大させる。
検証実験の結果,世界規模で約50%に達するが,生成したサブモデルは精度を維持しつつ,参加率を約50%向上させることができることがわかった。
関連論文リスト
- AdapterFL: Adaptive Heterogeneous Federated Learning for
Resource-constrained Mobile Computing Systems [24.013937378054074]
Federated Learning (FL)は、データ共有なしで大規模分散クライアントの協調学習を可能にする。
モバイルコンピューティングシステムは、協調学習のために小さな低パフォーマンスモデルしか利用できない。
我々は、大規模な異種モバイルデバイスの協調訓練を適応的に行うために、モデル再組み立て戦略を用いる。
論文 参考訳（メタデータ） (2023-11-23T14:42:43Z) - DFRD: Data-Free Robustness Distillation for Heterogeneous Federated
Learning [20.135235291912185]
Federated Learning(FL)は、プライバシに制約のある分散機械学習パラダイムである。
本研究では,データヘテロジニアスおよびモデルヘテロジニアスFLシナリオにおいて,ロバストなグローバルモデルを学習するための新しいFL法(DFRD)を提案する。
論文 参考訳（メタデータ） (2023-09-24T04:29:22Z) - Toward efficient resource utilization at edge nodes in federated learning [0.6990493129893112]
フェデレートされた学習により、エッジノードは、データを共有することなく、グローバルモデルの構築に協力的に貢献することができる。
計算リソースの制約とネットワーク通信は、ディープラーニングアプリケーションに典型的なより大きなモデルサイズにとって、深刻なボトルネックになる可能性がある。
デバイス上での資源利用を減らすため,転送学習にインスパイアされたFL戦略を提案し,評価する。
論文 参考訳（メタデータ） (2023-09-19T07:04:50Z) - Fed-FSNet: Mitigating Non-I.I.D. Federated Learning via Fuzzy
Synthesizing Network [19.23943687834319]
フェデレートラーニング(FL)は、将来性のあるプライバシ保護分散機械学習フレームワークとして登場した。
我々は、Fed-FSNetと呼ばれる新しいFLトレーニングフレームワークを提案し、Fed-FSNet(Fed-FSNet)を適切に設計し、非I.I.D.のオープンソース問題を軽減する。
論文 参考訳（メタデータ） (2022-08-21T18:40:51Z) - Multi-Edge Server-Assisted Dynamic Federated Learning with an Optimized
Floating Aggregation Point [51.47520726446029]
協調エッジ学習(CE-FL)は、分散機械学習アーキテクチャである。
CE-FLの過程をモデル化し,分析訓練を行った。
実世界のテストベッドから収集したデータを用いて,本フレームワークの有効性を示す。
論文 参考訳（メタデータ） (2022-03-26T00:41:57Z) - Parallel Successive Learning for Dynamic Distributed Model Training over
Heterogeneous Wireless Networks [50.68446003616802]
フェデレートラーニング(Federated Learning, FedL)は、一連の無線デバイスにモデルトレーニングを配布する一般的なテクニックとして登場した。
我々は,FedLアーキテクチャを3次元に拡張した並列逐次学習(PSL)を開発した。
我々の分析は、分散機械学習におけるコールド対ウォームアップモデルの概念とモデル慣性について光を当てている。
論文 参考訳（メタデータ） (2022-02-07T05:11:01Z) - Gradual Federated Learning with Simulated Annealing [26.956032164461377]
フェデレート平均化(FedAvg)は、ローカルモデルを平均化してグローバルモデルを更新する一般的なフェデレーション学習(FL)技術である。
本稿では,シミュレーションアニーリングに基づく新しいFL法を提案する。
本稿では,従来のFedAvg法よりも収束速度と分類精度が優れていることを示す。
論文 参考訳（メタデータ） (2021-10-11T11:57:56Z) - Fast-Convergent Federated Learning [82.32029953209542]
フェデレーション学習は、モバイルデバイスの現代的なネットワークを介して機械学習タスクを分散するための、有望なソリューションである。
本稿では,FOLBと呼ばれる高速収束型フェデレーション学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-07-26T14:37:51Z) - Federated Learning With Quantized Global Model Updates [84.55126371346452]
モバイル端末がローカルデータセットを使用してグローバルモデルをトレーニングできるフェデレーション学習について検討する。
本稿では,大域的モデルと局所的モデル更新の両方を,送信前に量子化する損失FL(LFL)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-06-18T16:55:20Z) - Ensemble Distillation for Robust Model Fusion in Federated Learning [72.61259487233214]
Federated Learning(FL)は、多くのデバイスが機械学習モデルを協調的にトレーニングする機械学習環境である。
現在のトレーニングスキームのほとんどでは、サーバモデルのパラメータと更新されたパラメータをクライアント側から平均化することで、中央モデルを洗練します。
本研究では,モデル融合のためのアンサンブル蒸留法を提案する。
論文 参考訳（メタデータ） (2020-06-12T14:49:47Z) - UVeQFed: Universal Vector Quantization for Federated Learning [179.06583469293386]
フェデレートラーニング(FL)は、ユーザがプライベートラベル付きデータを共有することなく、そのような学習モデルをトレーニングする、新たなアプローチである。
FLでは、各ユーザが学習モデルのコピーをローカルにトレーニングする。その後、サーバは個々の更新を収集し、それらをグローバルモデルに集約する。
普遍ベクトル量子化法をFLと組み合わせることで、訓練されたモデルの圧縮が最小歪みのみを誘導する分散トレーニングシステムが得られることを示す。
論文 参考訳（メタデータ） (2020-06-05T07:10:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。