論文の概要: A Masked Pruning Approach for Dimensionality Reduction in Communication-Efficient Federated Learning Systems

• arxiv url: http://arxiv.org/abs/2312.03889v1
• Date: Wed, 6 Dec 2023 20:29:23 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-08 16:51:40.636382
• Title: A Masked Pruning Approach for Dimensionality Reduction in Communication-Efficient Federated Learning Systems
• Title（参考訳）: コミュニケーション効率の良いフェデレーション学習システムにおける次元化のためのマスクプルーニング手法
• Authors: Tamir L.S. Gez, Kobi Cohen
• Abstract要約: Federated Learning(FL)は、多数のノードにわたるモデルのトレーニング用に設計された、成長する機械学習(ML)パラダイムである。 本研究では, フラニング法とFL法を組み合わせることにより, 限界を克服する新しいアルゴリズムを開発した。 本研究は,MPFLの既存手法と比較して優れた性能を示す広範囲な実験的研究である。
• 参考スコア（独自算出の注目度）: 11.639503711252663
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated Learning (FL) represents a growing machine learning (ML) paradigm designed for training models across numerous nodes that retain local datasets, all without directly exchanging the underlying private data with the parameter server (PS). Its increasing popularity is attributed to notable advantages in terms of training deep neural network (DNN) models under privacy aspects and efficient utilization of communication resources. Unfortunately, DNNs suffer from high computational and communication costs, as well as memory consumption in intricate tasks. These factors restrict the applicability of FL algorithms in communication-constrained systems with limited hardware resources. In this paper, we develop a novel algorithm that overcomes these limitations by synergistically combining a pruning-based method with the FL process, resulting in low-dimensional representations of the model with minimal communication cost, dubbed Masked Pruning over FL (MPFL). The algorithm operates by initially distributing weights to the nodes through the PS. Subsequently, each node locally trains its model and computes pruning masks. These low-dimensional masks are then transmitted back to the PS, which generates a consensus pruning mask, broadcasted back to the nodes. This iterative process enhances the robustness and stability of the masked pruning model. The generated mask is used to train the FL model, achieving significant bandwidth savings. We present an extensive experimental study demonstrating the superior performance of MPFL compared to existing methods. Additionally, we have developed an open-source software package for the benefit of researchers and developers in related fields.
• Abstract（参考訳）: Federated Learning(FL)は、ローカルデータセットを保持する多数のノードにわたってモデルをトレーニングするために設計された、成長する機械学習(ML)パラダイムである。 その人気が高まったのは、プライバシー面での深層ニューラルネットワーク(DNN)モデルのトレーニングと、通信リソースの効率的な利用において、顕著なメリットがあるためだ。 残念ながら、DNNは計算と通信のコストが高く、複雑なタスクのメモリ消費に悩まされている。 これらの要因は、ハードウェアリソースが制限された通信制約システムにおけるflアルゴリズムの適用性を制限する。 本稿では,これらの制約を克服する新しいアルゴリズムを開発し,フラニング法とFL法を相乗的に組み合わせ,低次元のモデル表現と通信コストの最小化を図り,この手法をMPFL (Masked Pruning over FL) と呼ぶ。 このアルゴリズムは最初にPSを介してノードに重みを分配することによって動作する。 その後、各ノードはモデルをローカルにトレーニングし、プラニングマスクを計算する。 これらの低次元マスクはPSに送信され、コンセンサスプルーニングマスクを生成し、ノードに送信される。 この反復過程はマスキングプルーニングモデルのロバスト性と安定性を高める。 生成されたマスクはFLモデルのトレーニングに使用され、帯域幅の大幅な削減を実現している。 既存の方法と比較してMPFLの優れた性能を示す実験を行った。 さらに,関連分野の研究者や開発者のために,オープンソースソフトウェアパッケージを開発した。

関連論文リスト

• Hyperdimensional Computing Empowered Federated Foundation Model over Wireless Networks for Metaverse [56.384390765357004]
  本稿では,新しい基礎モデルのための統合型分割学習と超次元計算フレームワークを提案する。 この新しいアプローチは通信コスト、計算負荷、プライバシーリスクを低減し、Metaverseのリソース制約されたエッジデバイスに適している。
  論文  参考訳（メタデータ） (2024-08-26T17:03:14Z)
• SpaFL: Communication-Efficient Federated Learning with Sparse Models and Low computational Overhead [75.87007729801304]
  SpaFL: 計算オーバーヘッドの少ないスパースモデル構造を最適化する通信効率のよいFLフレームワークを提案する。 実験により、スパースベースラインに比べて通信やコンピューティングリソースをはるかに少なくし、精度を向上することが示された。
  論文  参考訳（メタデータ） (2024-06-01T13:10:35Z)
• FedLPS: Heterogeneous Federated Learning for Multiple Tasks with Local Parameter Sharing [14.938531944702193]
  局所異種共有を用いたフェデレーション学習(FedLPS)を提案する。 FedLPSは転送学習を使用して、ローカルモデルを共有エンコーダとタスク固有のエンコーダに分割することで、複数のタスクをひとつのデバイスにデプロイする。 FedLPSは最先端(SOTA)のFLフレームワークを最大4.88%上回り、計算資源消費量を21.3%減らす。
  論文  参考訳（メタデータ） (2024-02-13T16:30:30Z)
• Sparse Training for Federated Learning with Regularized Error Correction [9.852567834643292]
  Federated Learning(FL)は、ディープニューラルネットワーク(DNN)モデルをトレーニングする上で大きなメリットがあるため、大きな関心を集めている。 FLAREは、FLプロセスへの埋め込みを正規化した更新モデルの累積引き込みによる新しいスパーストレーニング手法を提案する。 FLAREの性能は、多種多様な複雑なモデルに関する広範な実験を通じて検証され、顕著なスパーシリティレベル(現在の最先端の10倍以上の)を達成するとともに、精度が大幅に向上した。
  論文  参考訳（メタデータ） (2023-12-21T12:36:53Z)
• Federated Learning: A Cutting-Edge Survey of the Latest Advancements and Applications [6.042202852003457]
  Federated Learning(FL)は、堅牢な機械学習(ML)モデルを開発するためのテクニックである。 ユーザのプライバシを保護するため、FLでは、大量の生データや潜在的機密データを送信するのではなく、モデル更新を送信する必要がある。 このサーベイは、最新のFLアルゴリズムの包括的な分析と比較を提供する。
  論文  参考訳（メタデータ） (2023-10-08T19:54:26Z)
• FLCC: Efficient Distributed Federated Learning on IoMT over CSMA/CA [0.0]
  フェデレートラーニング(FL)は、プライバシー保護のための有望なアプローチとして登場した。 本稿では,アドホックネットワーク上で遠隔医療システムを改善するアプリケーションにおけるFLの性能について検討する。 ネットワーク性能を評価するための指標として,1) 干渉を最小限に抑えながら伝送を成功させる確率,2) 精度と損失の点で分散FLモデルの性能を示す。
  論文  参考訳（メタデータ） (2023-03-29T16:36:42Z)
• Automated Federated Learning in Mobile Edge Networks -- Fast Adaptation and Convergence [83.58839320635956]
  フェデレートラーニング(FL)は、モバイルエッジネットワークで機械学習モデルを分散的にトレーニングするために使用することができる。 最近のFLは、モデルに依存しないメタラーニング(MAML)フレームワークで解釈されている。 本稿は,MAMLがFLにもたらすメリットと,モバイルエッジネットワーク上でのメリットの最大化について論じる。
  論文  参考訳（メタデータ） (2023-03-23T02:42:10Z)
• Performance Optimization for Variable Bitwidth Federated Learning in Wireless Networks [103.22651843174471]
  本稿では,モデル量子化による統合学習(FL)における無線通信と計算効率の向上について考察する。 提案したビット幅FL方式では,エッジデバイスは局所FLモデルパラメータの量子化バージョンを調整し,コーディネートサーバに送信し,それらを量子化されたグローバルモデルに集約し,デバイスを同期させる。 FLトレーニングプロセスはマルコフ決定プロセスとして記述でき、反復よりも行動選択を最適化するためのモデルベース強化学習(RL)手法を提案する。
  論文  参考訳（メタデータ） (2022-09-21T08:52:51Z)
• SlimFL: Federated Learning with Superposition Coding over Slimmable Neural Networks [56.68149211499535]
  フェデレートラーニング(FL)は、デバイスの分散コンピューティング機能を活用した効率的なコミュニケーションとコンピューティングのための重要な実現手段である。 本稿では、FLと幅調整可能なスリムブルニューラルネットワーク(SNN)を統合した新しい学習フレームワークを提案する。 局所モデル更新のためのグローバルモデル集約と重ね合わせ訓練(ST)に重ね合わせ符号化(SC)を併用した通信およびエネルギー効率の高いSNNベースFL(SlimFL)を提案する。
  論文  参考訳（メタデータ） (2022-03-26T15:06:13Z)
• Joint Superposition Coding and Training for Federated Learning over Multi-Width Neural Networks [52.93232352968347]
  本稿では,2つの相乗的技術,フェデレートラーニング(FL)と幅調整可能なスリムブルニューラルネットワーク(SNN)を統合することを目的とする。 FLは、ローカルに訓練されたモバイルデバイスのモデルを交換することによって、データのプライバシを保護している。しかしながら、SNNは、特に時間変化のあるチャネル条件との無線接続下では、非自明である。 局所モデル更新のためのグローバルモデル集約と重ね合わせ訓練(ST)に重ね合わせ符号化(SC)を併用した通信およびエネルギー効率の高いSNNベースFL(SlimFL)を提案する。
  論文  参考訳（メタデータ） (2021-12-05T11:17:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。