論文の概要: CoCoFL: Communication- and Computation-Aware Federated Learning via Partial NN Freezing and Quantization

• arxiv url: http://arxiv.org/abs/2203.05468v3
• Date: Wed, 28 Jun 2023 15:36:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-29 18:49:12.735472
• Title: CoCoFL: Communication- and Computation-Aware Federated Learning via Partial NN Freezing and Quantization
• Title（参考訳）: cocofl:部分的nn凍結と量子化によるコミュニケーションと計算の融合学習
• Authors: Kilian Pfeiffer, Martin Rapp, Ramin Khalili, J\"org Henkel
• Abstract要約: 我々は,すべてのデバイス上でNN構造を完全に維持する新しいFL手法であるCoCoFLを提案する。 CoCoFLはデバイス上の利用可能なリソースを効率的に利用し、制約されたデバイスがFLシステムに多大な貢献をすることができる。
• 参考スコア（独自算出の注目度）: 3.219812767529503
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Devices participating in federated learning (FL) typically have heterogeneous communication, computation, and memory resources. However, in synchronous FL, all devices need to finish training by the same deadline dictated by the server. Our results show that training a smaller subset of the neural network (NN) at constrained devices, i.e., dropping neurons/filters as proposed by state of the art, is inefficient, preventing these devices to make an effective contribution to the model. This causes unfairness w.r.t the achievable accuracies of constrained devices, especially in cases with a skewed distribution of class labels across devices. We present a novel FL technique, CoCoFL, which maintains the full NN structure on all devices. To adapt to the devices' heterogeneous resources, CoCoFL freezes and quantizes selected layers, reducing communication, computation, and memory requirements, whereas other layers are still trained in full precision, enabling to reach a high accuracy. Thereby, CoCoFL efficiently utilizes the available resources on devices and allows constrained devices to make a significant contribution to the FL system, increasing fairness among participants (accuracy parity) and significantly improving the final accuracy of the model.
• Abstract（参考訳）: 連邦学習(FL)に参加するデバイスは通常、異種通信、計算、メモリ資源を持つ。 しかしながら、同期flでは、すべてのデバイスは、サーバが指示する同じ期限までにトレーニングを終える必要がある。 以上の結果から,ニューラルネットワーク(NN)の小さなサブセットを拘束されたデバイス,すなわち最先端技術が提案するニューロン/フィルタを停止させることは非効率であり,これらのデバイスがモデルに効果的な寄与を妨げていることが示された。 これにより、特にデバイス間でクラスラベルが歪んだ場合において、制約されたデバイスの達成可能な精度が不公平になる。 全てのデバイスでNN構造を完全に維持する新しいFL手法であるCoCoFLを提案する。 デバイスの異種リソースに適応するために、cocoflは選択したレイヤを凍結して定量化し、通信、計算、メモリ要件を削減します。 これにより、CoCoFLはデバイス上の利用可能なリソースを効率的に利用し、制約されたデバイスがFLシステムに重要な貢献をし、参加者間の公正性(精度の同等性)を高め、モデルの最終的な精度を著しく向上する。

関連論文リスト

• Communication Efficient ConFederated Learning: An Event-Triggered SAGA Approach [67.27031215756121]
  Federated Learning(FL)は、さまざまなデータソース上のローカルデータを収集することなく、モデルトレーニングをターゲットとする機械学習パラダイムである。 単一のサーバを使用するStandard FLは、限られた数のユーザしかサポートできないため、学習能力の低下につながる。 本研究では,多数のユーザに対応するために,emphConfederated Learning(CFL)と呼ばれるマルチサーバFLフレームワークを検討する。
  論文  参考訳（メタデータ） (2024-02-28T03:27:10Z)
• Adaptive Model Pruning and Personalization for Federated Learning over Wireless Networks [72.59891661768177]
  フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。 これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。 このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
  論文  参考訳（メタデータ） (2023-09-04T21:10:45Z)
• Aggregating Capacity in FL through Successive Layer Training for Computationally-Constrained Devices [3.4530027457862]
  フェデレートラーニング(FL)は通常、リソース制約されたエッジデバイス上で実行される。 FLトレーニングプロセスはそのような制約に合わせて調整されるべきである。 本研究では,FLモデルのパラメータをデバイス上で連続的に凍結・訓練する手法を提案する。
  論文  参考訳（メタデータ） (2023-05-26T15:04:06Z)
• Online Data Selection for Federated Learning with Limited Storage [53.46789303416799]
  ネットワークデバイス間での分散機械学習を実現するために、フェデレートラーニング(FL)が提案されている。 デバイス上のストレージがFLの性能に与える影響はまだ調査されていない。 本研究では,デバイス上のストレージを限定したFLのオンラインデータ選択について検討する。
  論文  参考訳（メタデータ） (2022-09-01T03:27:33Z)
• SlimFL: Federated Learning with Superposition Coding over Slimmable Neural Networks [56.68149211499535]
  フェデレートラーニング(FL)は、デバイスの分散コンピューティング機能を活用した効率的なコミュニケーションとコンピューティングのための重要な実現手段である。 本稿では、FLと幅調整可能なスリムブルニューラルネットワーク(SNN)を統合した新しい学習フレームワークを提案する。 局所モデル更新のためのグローバルモデル集約と重ね合わせ訓練(ST)に重ね合わせ符号化(SC)を併用した通信およびエネルギー効率の高いSNNベースFL(SlimFL)を提案する。
  論文  参考訳（メタデータ） (2022-03-26T15:06:13Z)
• Resource-Efficient and Delay-Aware Federated Learning Design under Edge Heterogeneity [10.702853653891902]
  フェデレーテッド・ラーニング(FL)は、ワイヤレスエッジデバイスに機械学習を分散するための一般的な方法論として登場した。 本研究では,FLにおけるモデル性能と資源利用のトレードオフを最適化することを検討する。 提案したStoFedDelAvは、FL計算ステップに局所言語モデルコンバインダーを組み込む。
  論文  参考訳（メタデータ） (2021-12-27T22:30:15Z)
• Joint Superposition Coding and Training for Federated Learning over Multi-Width Neural Networks [52.93232352968347]
  本稿では,2つの相乗的技術,フェデレートラーニング(FL)と幅調整可能なスリムブルニューラルネットワーク(SNN)を統合することを目的とする。 FLは、ローカルに訓練されたモバイルデバイスのモデルを交換することによって、データのプライバシを保護している。しかしながら、SNNは、特に時間変化のあるチャネル条件との無線接続下では、非自明である。 局所モデル更新のためのグローバルモデル集約と重ね合わせ訓練(ST)に重ね合わせ符号化(SC)を併用した通信およびエネルギー効率の高いSNNベースFL(SlimFL)を提案する。
  論文  参考訳（メタデータ） (2021-12-05T11:17:17Z)
• On the Tradeoff between Energy, Precision, and Accuracy in Federated Quantized Neural Networks [68.52621234990728]
  無線ネットワーク上でのフェデレーション学習(FL)は、精度、エネルギー効率、精度のバランスをとる必要がある。 本稿では,ローカルトレーニングとアップリンク伝送の両方において,有限レベルの精度でデータを表現できる量子化FLフレームワークを提案する。 我々のフレームワークは標準的なFLモデルと比較してエネルギー消費量を最大53%削減できる。
  論文  参考訳（メタデータ） (2021-11-15T17:00:03Z)
• Fast Federated Learning in the Presence of Arbitrary Device Unavailability [26.368873771739715]
  Federated Learning (FL)は異種デバイスをコーディネートして、ユーザのプライバシを維持しながら共有モデルを協調的にトレーニングする。 ひとつの課題は、デバイスが中央サーバ以外のトレーニングプロセスから外れることだ。 我々はこの問題を解決するためにIm Federated A patientaging (MIFA)を提案する。
  論文  参考訳（メタデータ） (2021-06-08T07:46:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。