論文の概要: ProgFed: Effective, Communication, and Computation Efficient Federated
Learning by Progressive Training
- arxiv url: http://arxiv.org/abs/2110.05323v1
- Date: Mon, 11 Oct 2021 14:45:00 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-12 15:38:17.246803
- Title: ProgFed: Effective, Communication, and Computation Efficient Federated
Learning by Progressive Training
- Title(参考訳): ProgFed: プログレッシブトレーニングによる効果的,コミュニケーション,計算効率の高いフェデレーション学習
- Authors: Hui-Po Wang, Sebastian U. Stich, Yang He, Mario Fritz
- Abstract要約: 本稿では,効率的なフェデレート学習のためのプログレッシブトレーニングフレームワークであるProgFedを提案する。
これは本質的に、最終モデルの強力な性能を維持しながら、計算と双方向通信コストを削減します。
以上の結果から, ProgFed はフルモデルの標準トレーニングと同等の速度で収束することがわかった。
- 参考スコア(独自算出の注目度): 78.44473677588887
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning is a powerful distributed learning scheme that allows
numerous edge devices to collaboratively train a model without sharing their
data. However, training is resource-intensive for edge devices, and limited
network bandwidth is often the main bottleneck. Prior work often overcomes the
constraints by condensing the models or messages into compact formats, e.g., by
gradient compression or distillation. In contrast, we propose ProgFed, the
first progressive training framework for efficient and effective federated
learning. It inherently reduces computation and two-way communication costs
while maintaining the strong performance of the final models. We theoretically
prove that ProgFed converges at the same asymptotic rate as standard training
on full models. Extensive results on a broad range of architectures, including
CNNs (VGG, ResNet, ConvNets) and U-nets, and diverse tasks from simple
classification to medical image segmentation show that our highly effective
training approach saves up to $20\%$ computation and up to $63\%$ communication
costs for converged models. As our approach is also complimentary to prior work
on compression, we can achieve a wide range of trade-offs, showing reduced
communication of up to $50\times$ at only $0.1\%$ loss in utility.
- Abstract(参考訳): フェデレーション学習(federated learning)は、多数のエッジデバイスがデータを共有することなく、協調的にモデルをトレーニングできる、強力な分散学習スキームである。
しかし、エッジデバイスではトレーニングがリソース集約的であり、ネットワーク帯域幅の制限が主なボトルネックとなることが多い。
以前の作業は、モデルやメッセージを、例えば勾配圧縮や蒸留によってコンパクトなフォーマットに凝縮することで、しばしば制約を克服する。
対照的に、効率よく効果的なフェデレーション学習のための最初のプログレッシブトレーニングフレームワークであるProgFedを提案する。
これは本質的に計算コストと双方向通信コストを削減し、最終モデルの強力な性能を維持する。
理論的には、ProgFedは完全モデルの標準トレーニングと同じ漸近速度で収束する。
cnn (vgg, resnet, convnets) や u-net など,幅広いアーキテクチャ上の広範な結果や,単純分類から医療画像セグメンテーションに至るまでのさまざまなタスクにおいて,当社の高度に効果的なトレーニングアプローチは,計算コストを最大$20,$6,$6,3,$の通信コストを削減できることが示されています。
提案手法は,従来の圧縮処理を補完するものでもあるため,幅広いトレードオフを達成でき,最大50\times$の通信を0.1\%の損失で削減することができる。
関連論文リスト
- Federated Hyperdimensional Computing [14.844383542052169]
フェデレートラーニング(FL)は、参加するクライアントの緩やかなセットが、中央サーバによる調整を通じて、グローバルモデルを協調的に学習することを可能にする。
既存のFLアプローチは、ディープニューラルネットワーク(DNN)のような巨大なモデルを持つ複雑なアルゴリズムに依存している。
我々はまず,超次元コンピューティング(HDC)に基づくフェデレーション学習フレームワークであるFedHDCを提案する。
論文 参考訳(メタデータ) (2023-12-26T09:24:19Z) - Towards Federated Learning Under Resource Constraints via Layer-wise
Training and Depth Dropout [33.308067180286045]
クライアントが限られたリソースを持つ場合、フェデレーション学習を大規模モデルにスケールすることは難しい。
我々は、クライアント毎のメモリ、計算、通信コストを同時に削減するために、フェデレート・レイヤワイズ・ラーニングを導入します。
また、トレーニング中に凍結層をランダムにドロップする補完技術であるFederated Depth Dropoutを導入し、リソース使用量をさらに削減する。
論文 参考訳(メタデータ) (2023-09-11T03:17:45Z) - When Computing Power Network Meets Distributed Machine Learning: An
Efficient Federated Split Learning Framework [6.871107511111629]
CPN-FedSLはComputer Power Network (CPN)上のFederated Split Learning (FedSL)フレームワークである。
私たちは、基本的な設定と学習特性(例えば、レイテンシ、フロー、収束)をキャプチャする専用のモデルを構築します。
論文 参考訳(メタデータ) (2023-05-22T12:36:52Z) - Personalizing Federated Learning with Over-the-Air Computations [84.8089761800994]
フェデレートされたエッジ学習は、プライバシー保護の方法で無線ネットワークのエッジにインテリジェンスをデプロイする、有望な技術である。
このような設定の下で、複数のクライアントは、エッジサーバの調整の下でグローバルジェネリックモデルを協調的にトレーニングする。
本稿では,アナログオーバー・ザ・エア計算を用いて通信ボトルネックに対処する分散トレーニングパラダイムを提案する。
論文 参考訳(メタデータ) (2023-02-24T08:41:19Z) - SuperFed: Weight Shared Federated Learning [4.396860522241306]
グローバルモデルのファミリーをトレーニングするためには、フェデレートされた方法で効率よくコストがかかる。
SuperFed - 大規模なモデル群を共同トレーニングするために、$O(1)$コストを発生させるアーキテクチャフレームワークを提案する。
通信と計算の両方において、大幅なコスト削減を実現しています。
論文 参考訳(メタデータ) (2023-01-26T00:17:10Z) - EfficientTrain: Exploring Generalized Curriculum Learning for Training
Visual Backbones [80.662250618795]
本稿では視覚バックボーン(例えば視覚変換器)の効率的なトレーニングのための新しいカリキュラム学習手法を提案する。
オフザシェルフ方式として、様々な人気モデルのウォールタイムトレーニングコストを、精度を犠牲にすることなく、ImageNet-1K/22Kで1.5倍に削減する。
論文 参考訳(メタデータ) (2022-11-17T17:38:55Z) - Federated Progressive Sparsification (Purge, Merge, Tune)+ [15.08232397899507]
FedSparsifyは、プログレッシブ・ウェイト・マグニチュード・プルーニングに基づくスパーシフィケーション戦略である。
我々は,FedSparsifyが高空間性と学習性能の両方のサブネットワークを学習できることを実験的に示す。
論文 参考訳(メタデータ) (2022-04-26T16:45:53Z) - Online Convolutional Re-parameterization [51.97831675242173]
2段階のパイプラインであるオンライン畳み込み再パラメータ化(OREPA)は、複雑なトレーニング時間ブロックを単一の畳み込みに絞ることで、巨大なトレーニングオーバーヘッドを低減することを目的としている。
最先端のre-paramモデルと比較して、OREPAはトレーニング時間のメモリコストを約70%削減し、トレーニング速度を約2倍向上させることができる。
また、オブジェクト検出とセマンティックセグメンテーションの実験を行い、下流タスクに一貫した改善を示す。
論文 参考訳(メタデータ) (2022-04-02T09:50:19Z) - Simultaneous Training of Partially Masked Neural Networks [67.19481956584465]
トレーニングされたフルネットワークから事前定義された'コア'サブネットワークを分割して,優れたパフォーマンスでニューラルネットワークをトレーニングすることが可能であることを示す。
低ランクコアを用いたトランスフォーマーのトレーニングは,低ランクモデル単独のトレーニングよりも優れた性能を有する低ランクモデルが得られることを示す。
論文 参考訳(メタデータ) (2021-06-16T15:57:51Z) - Training Recommender Systems at Scale: Communication-Efficient Model and
Data Parallelism [56.78673028601739]
通信効率のよいハイブリッドトレーニングのためのDCT(Dynamic Communication Thresholding)という圧縮フレームワークを提案する。
DCTは、それぞれDPとMPの間に、少なくとも$100times$と$20times$の通信を削減します。
最先端の産業レコメンデーションモデルのエンドツーエンドのトレーニング時間を、パフォーマンスを損なうことなく、37%改善する。
論文 参考訳(メタデータ) (2020-10-18T01:44:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。