論文の概要: ProgFed: Effective, Communication, and Computation Efficient Federated Learning by Progressive Training

• arxiv url: http://arxiv.org/abs/2110.05323v3
• Date: Wed, 23 Oct 2024 20:52:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-27 22:31:33.462769
• Title: ProgFed: Effective, Communication, and Computation Efficient Federated Learning by Progressive Training
• Title（参考訳）: ProgFed: プログレッシブトレーニングによる効果的,コミュニケーション,計算効率の高いフェデレーション学習
• Authors: Hui-Po Wang, Sebastian U. Stich, Yang He, Mario Fritz,
• Abstract要約: 本稿では,効率的なフェデレート学習のためのプログレッシブトレーニングフレームワークであるProgFedを提案する。 ProgFedは計算と双方向通信のコストを本質的に低減し、最終モデルの強力な性能を維持している。 以上の結果から, ProgFed はフルモデルの標準トレーニングと同等の速度で収束することがわかった。
• 参考スコア（独自算出の注目度）: 65.68511423300812
• License:
• Abstract: Federated learning is a powerful distributed learning scheme that allows numerous edge devices to collaboratively train a model without sharing their data. However, training is resource-intensive for edge devices, and limited network bandwidth is often the main bottleneck. Prior work often overcomes the constraints by condensing the models or messages into compact formats, e.g., by gradient compression or distillation. In contrast, we propose ProgFed, the first progressive training framework for efficient and effective federated learning. It inherently reduces computation and two-way communication costs while maintaining the strong performance of the final models. We theoretically prove that ProgFed converges at the same asymptotic rate as standard training on full models. Extensive results on a broad range of architectures, including CNNs (VGG, ResNet, ConvNets) and U-nets, and diverse tasks from simple classification to medical image segmentation show that our highly effective training approach saves up to $20\%$ computation and up to $63\%$ communication costs for converged models. As our approach is also complimentary to prior work on compression, we can achieve a wide range of trade-offs by combining these techniques, showing reduced communication of up to $50\times$ at only $0.1\%$ loss in utility. Code is available at https://github.com/hui-po-wang/ProgFed.
• Abstract（参考訳）: フェデレートラーニング(Federated Learning)は、データを共有することなく、多数のエッジデバイスで協調的にモデルをトレーニングすることのできる、強力な分散学習スキームである。 しかし、エッジデバイスではトレーニングがリソース集約的であり、ネットワーク帯域幅の制限が主なボトルネックとなることが多い。 以前の作業は、モデルやメッセージを、勾配圧縮や蒸留によってコンパクトなフォーマットに凝縮することで、しばしば制約を克服する。 対照的に、効率よく効果的なフェデレーション学習のための最初のプログレッシブトレーニングフレームワークであるProgFedを提案する。 これは本質的に、最終モデルの強力な性能を維持しながら、計算と双方向通信コストを削減します。 理論上は、ProgFedが完全モデルの標準トレーニングと同じ漸近速度で収束することを証明している。 CNN(VGG, ResNet, ConvNets)やU-net(U-nets)など、幅広いアーキテクチャに関する広範な結果と、単純な分類から医用画像のセグメンテーションに至るまでの多様なタスクにより、我々の非常に効果的なトレーニングアプローチは、収束モデルの最大で20 %の計算と最大で63 %の通信コストを節約できることを示した。 提案手法は圧縮に関する先行研究を補完するものであるため,これらの手法を組み合わせることで幅広いトレードオフを実現することが可能であり,実用性において最大50\times$の通信を0.1\%の損失で削減することができる。 コードはhttps://github.com/hui-po-wang/ProgFed.comで入手できる。

関連論文リスト

• FINE: Factorizing Knowledge for Initialization of Variable-sized Diffusion Models [35.40065954148091]
  FINEはLearngeneフレームワークに基づく、事前訓練されたモデルを利用した下流ネットワークの初期化手法である。 事前学習された知識を行列の積(例えば$U$, $Sigma$, $V$)に分解する。 これは、特により小さなモデルにおいて、直接事前訓練よりも一貫して優れており、可変モデルのサイズで最先端の結果が得られる。
  論文  参考訳（メタデータ） (2024-09-28T08:57:17Z)
• DεpS: Delayed ε-Shrinking for Faster Once-For-All Training [8.199430861588919]
  CNNは、さまざまなハードウェア、動的環境、低消費電力組み込みデバイスにデプロイされるようになっている。 一度限りのトレーニングは、多くのモデル(サブネット)を一定のトレーニングコストで同時にトレーニングする、スケーラブルなアプローチとして現れました。 Delayed $epsilon$-Shrinking (D$epsilon$pS)を提案する。
  論文  参考訳（メタデータ） (2024-07-08T17:45:40Z)
• Federated Hyperdimensional Computing [14.844383542052169]
  フェデレートラーニング(FL)は、参加するクライアントの緩やかなセットが、中央サーバによる調整を通じて、グローバルモデルを協調的に学習することを可能にする。 既存のFLアプローチは、ディープニューラルネットワーク(DNN)のような巨大なモデルを持つ複雑なアルゴリズムに依存している。 我々はまず,超次元コンピューティング(HDC)に基づくフェデレーション学習フレームワークであるFedHDCを提案する。
  論文  参考訳（メタデータ） (2023-12-26T09:24:19Z)
• Towards Federated Learning Under Resource Constraints via Layer-wise Training and Depth Dropout [33.308067180286045]
  クライアントが限られたリソースを持つ場合、フェデレーション学習を大規模モデルにスケールすることは難しい。 我々は、クライアント毎のメモリ、計算、通信コストを同時に削減するために、フェデレート・レイヤワイズ・ラーニングを導入します。 また、トレーニング中に凍結層をランダムにドロップする補完技術であるFederated Depth Dropoutを導入し、リソース使用量をさらに削減する。
  論文  参考訳（メタデータ） (2023-09-11T03:17:45Z)
• Towards a Better Theoretical Understanding of Independent Subnetwork Training [56.24689348875711]
  独立サブネットワークトレーニング(IST)の理論的考察 ISTは、上記の問題を解決するための、最近提案され、非常に効果的である。 圧縮通信を用いた分散手法など,ISTと代替手法の基本的な違いを同定する。
  論文  参考訳（メタデータ） (2023-06-28T18:14:22Z)
• EfficientTrain: Exploring Generalized Curriculum Learning for Training Visual Backbones [80.662250618795]
  本稿では視覚バックボーン(例えば視覚変換器)の効率的なトレーニングのための新しいカリキュラム学習手法を提案する。 オフザシェルフ方式として、様々な人気モデルのウォールタイムトレーニングコストを、精度を犠牲にすることなく、ImageNet-1K/22Kで1.5倍に削減する。
  論文  参考訳（メタデータ） (2022-11-17T17:38:55Z)
• Distributed Adversarial Training to Robustify Deep Neural Networks at Scale [100.19539096465101]
  現在のディープニューラルネットワーク(DNN)は、入力に対する敵の摂動が分類を変更したり操作したりする敵の攻撃に対して脆弱である。 このような攻撃を防御するために、敵の訓練(AT)として知られる効果的なアプローチが、堅牢な訓練を緩和するために示されている。 複数のマシンにまたがって実装された大規模バッチ対逆トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-13T15:39:43Z)
• Federated Progressive Sparsification (Purge, Merge, Tune)+ [15.08232397899507]
  FedSparsifyは、プログレッシブ・ウェイト・マグニチュード・プルーニングに基づくスパーシフィケーション戦略である。 我々は,FedSparsifyが高空間性と学習性能の両方のサブネットワークを学習できることを実験的に示す。
  論文  参考訳（メタデータ） (2022-04-26T16:45:53Z)
• Simultaneous Training of Partially Masked Neural Networks [67.19481956584465]
  トレーニングされたフルネットワークから事前定義された'コア'サブネットワークを分割して,優れたパフォーマンスでニューラルネットワークをトレーニングすることが可能であることを示す。 低ランクコアを用いたトランスフォーマーのトレーニングは,低ランクモデル単独のトレーニングよりも優れた性能を有する低ランクモデルが得られることを示す。
  論文  参考訳（メタデータ） (2021-06-16T15:57:51Z)
• Training Recommender Systems at Scale: Communication-Efficient Model and Data Parallelism [56.78673028601739]
  通信効率のよいハイブリッドトレーニングのためのDCT(Dynamic Communication Thresholding)という圧縮フレームワークを提案する。 DCTは、それぞれDPとMPの間に、少なくとも$100times$と$20times$の通信を削減します。 最先端の産業レコメンデーションモデルのエンドツーエンドのトレーニング時間を、パフォーマンスを損なうことなく、37%改善する。
  論文  参考訳（メタデータ） (2020-10-18T01:44:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。