論文の概要: FedLP: Layer-wise Pruning Mechanism for Communication-Computation Efficient Federated Learning

• arxiv url: http://arxiv.org/abs/2303.06360v1
• Date: Sat, 11 Mar 2023 09:57:00 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-14 19:28:46.512609
• Title: FedLP: Layer-wise Pruning Mechanism for Communication-Computation Efficient Federated Learning
• Title（参考訳）: FedLP: コミュニケーション計算効率の良いフェデレーション学習のためのレイヤワイズ・プルーニング機構
• Authors: Zheqi Zhu, Yuchen Shi, Jiajun Luo, Fei Wang, Chenghui Peng, Pingyi Fan, Khaled B. Letaief
• Abstract要約: フェデレートラーニング(FL)は、分散ラーニングのための効率的でプライバシー保護されたスキームとして普及している。 我々は,異なるタイプのディープラーニングモデルに対して,モデルに依存しない,普遍的なFLプルーニングフレームワークであるFedLP(Federated Layer-wise Pruning)を定式化する。
• 参考スコア（独自算出の注目度）: 15.665720478360557
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning (FL) has prevailed as an efficient and privacy-preserved scheme for distributed learning. In this work, we mainly focus on the optimization of computation and communication in FL from a view of pruning. By adopting layer-wise pruning in local training and federated updating, we formulate an explicit FL pruning framework, FedLP (Federated Layer-wise Pruning), which is model-agnostic and universal for different types of deep learning models. Two specific schemes of FedLP are designed for scenarios with homogeneous local models and heterogeneous ones. Both theoretical and experimental evaluations are developed to verify that FedLP relieves the system bottlenecks of communication and computation with marginal performance decay. To the best of our knowledge, FedLP is the first framework that formally introduces the layer-wise pruning into FL. Within the scope of federated learning, more variants and combinations can be further designed based on FedLP.
• Abstract（参考訳）: フェデレーション学習(fl)は、分散学習のための効率的でプライバシー保護されたスキームとして普及してきた。 本研究では,主に刈り込みの観点からFLにおける計算と通信の最適化に焦点を当てる。 局所学習におけるレイヤワイズプルーニングとフェデレート更新の採用により,異なるタイプのディープラーニングモデルに対してモデル非依存で普遍的なFedLP(Federated Layer-wise Pruning)という明示的なFLプルーニングフレームワークを定式化する。 FedLPの2つの特定のスキームは、同種局所モデルと異種局所モデルを持つシナリオ用に設計されている。 理論的および実験的評価は,FedLPが通信のボトルネックを緩和し,限界性能減衰を伴う計算を行うのを確認するために開発された。 私たちの知る限りでは、FedLPはFLにレイヤーワイドプルーニングを正式に導入した最初のフレームワークです。 連合学習の範囲内では、より多くの変種と組み合わせをFedLPに基づいて設計することができる。

関連論文リスト

• Can We Theoretically Quantify the Impacts of Local Updates on the Generalization Performance of Federated Learning? [50.03434441234569]
  フェデレートラーニング(FL)は、直接データ共有を必要とせず、さまざまなサイトで機械学習モデルをトレーニングする効果により、大きな人気を集めている。 局所的な更新を伴うFLは通信効率のよい分散学習フレームワークであることが様々なアルゴリズムによって示されているが、局所的な更新によるFLの一般化性能は比較的低い。
  論文  参考訳（メタデータ） (2024-09-05T19:00:18Z)
• Communication Efficient and Privacy-Preserving Federated Learning Based on Evolution Strategies [0.0]
  Federated Learning(FL)は、ディープニューラルネットワーク(DNN)を分散的にトレーニングするための新興パラダイムである。 本研究では,ゼロオーダー学習法である進化戦略(FedES)に基づくフェデレーション学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-11-05T21:40:46Z)
• Deep Equilibrium Models Meet Federated Learning [71.57324258813675]
  本研究では,従来の深層学習ネットワークの代わりにDeep Equilibrium(DEQ)モデルを用いて,フェデレートラーニング(FL)問題について検討する。 我々は、DECモデルをフェデレート学習フレームワークに組み込むことで、FLのいくつかのオープンな問題に自然に対処できると主張している。 我々の知る限りでは、この研究は、DECモデルとフェデレーションラーニングの関連性を確立する最初のものである。
  論文  参考訳（メタデータ） (2023-05-29T22:51:40Z)
• FedIN: Federated Intermediate Layers Learning for Model Heterogeneity [7.781409257429762]
  フェデレートラーニング(FL)は、エッジデバイスがローカルおよびプライベートにトレーニングデータを維持しながら、グローバルな共有モデルを協調的にトレーニングすることを促進する。 本研究では,FedIN(Federated Intermediate Layers Learning)と呼ばれるFL手法を提案する。 実験結果から, 異種モデル環境におけるFedINの性能は, 最先端のアルゴリズムと比較して優れていた。
  論文  参考訳（メタデータ） (2023-04-03T07:20:43Z)
• When Federated Learning Meets Pre-trained Language Models' Parameter-Efficient Tuning Methods [22.16636947999123]
  フェデレート学習に様々なパラメータ効率チューニング(PETuning)手法を導入する。 具体的には,FL における代表的 PLM チューニング手法の総合的研究について述べる。 全体としての通信オーバーヘッドは、局所的なチューニングと、軽量モデルパラメータのグローバル集約によって大幅に削減できる。
  論文  参考訳（メタデータ） (2022-12-20T06:44:32Z)
• Efficient Split-Mix Federated Learning for On-Demand and In-Situ Customization [107.72786199113183]
  フェデレートラーニング(FL)は、複数の参加者が生データを共有せずに学習をコラボレーションするための分散ラーニングフレームワークを提供する。 本稿では, モデルサイズとロバスト性をその場でカスタマイズできる, 不均一な参加者のための新しいスプリット・ミクス・FL戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-18T04:58:34Z)
• Federated Active Learning (F-AL): an Efficient Annotation Strategy for Federated Learning [8.060606972572451]
  フェデレーテッド・ラーニング(FL)は、コミュニケーション効率、プライバシ、公平性の観点から、集中的に研究されている。 本稿では、FLフレームワークにアクティブラーニング(AL)とサンプリング戦略を適用し、アノテーションの作業量を削減することを提案する。 画像分類タスクにおいて,F-ALがベースライン法より優れていることを示す。
  論文  参考訳（メタデータ） (2022-02-01T03:17:29Z)
• Communication-Efficient Consensus Mechanism for Federated Reinforcement Learning [20.891460617583302]
  FLは、トレーニング効率と安定性の観点から、IRLのポリシー性能を向上させることができることを示す。 本稿では,モデル収束性能の向上と,必要な通信や計算オーバーヘッドの低減のバランスをとるために,システムユーティリティ関数を提案する。
  論文  参考訳（メタデータ） (2022-01-30T04:04:24Z)
• FedComm: Federated Learning as a Medium for Covert Communication [56.376997104843355]
  フェデレートラーニング(FL)は、ディープラーニングの採用に伴うプライバシーへの影響を軽減するためのソリューションである。 本稿では,FL方式の通信能力について詳しく検討する。 我々は,新しいマルチシステム被覆通信技術であるFedCommを紹介する。
  論文  参考訳（メタデータ） (2022-01-21T17:05:56Z)
• FedNLP: A Research Platform for Federated Learning in Natural Language Processing [55.01246123092445]
  NLPのフェデレーションラーニングのための研究プラットフォームであるFedNLPを紹介します。 FedNLPは、テキスト分類、シーケンスタグ付け、質問応答、Seq2seq生成、言語モデリングなど、NLPで一般的なタスクの定式化をサポートしている。 FedNLPによる予備実験では、分散型データセットと集中型データセットの学習には大きなパフォーマンスギャップが存在することが明らかになった。
  論文  参考訳（メタデータ） (2021-04-18T11:04:49Z)
• Edge-assisted Democratized Learning Towards Federated Analytics [67.44078999945722]
  本稿では,エッジ支援型民主化学習機構であるEdge-DemLearnの階層的学習構造を示す。 また、Edge-DemLearnを柔軟なモデルトレーニングメカニズムとして検証し、リージョンに分散制御と集約の方法論を構築する。
  論文  参考訳（メタデータ） (2020-12-01T11:46:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。