論文の概要: FedCau: A Proactive Stop Policy for Communication and Computation Efficient Federated Learning

• arxiv url: http://arxiv.org/abs/2204.07773v1
• Date: Sat, 16 Apr 2022 10:27:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-19 15:54:58.156880
• Title: FedCau: A Proactive Stop Policy for Communication and Computation Efficient Federated Learning
• Title（参考訳）: FedCau: コミュニケーションと計算の効果的なフェデレーション学習のための積極的なストップポリシー
• Authors: Afsaneh Mahmoudi, Hossein S. Ghadikolaei, Jos\'e Mairton Barros Da Silva J\'unior and Carlo Fischione
• Abstract要約: 無線機器の無線ネットワーク上でのフェデレーション学習(FL)モデルの効率的な分散訓練について検討する。 総費用がかかると、背景通信トラフィックやトレーニング問題の寸法が増大するにつれて、トレーニング性能が低下することを示す。
• 参考スコア（独自算出の注目度）: 11.990047476303252
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper investigates efficient distributed training of a Federated Learning~(FL) model over a wireless network of wireless devices. The communication iterations of the distributed training algorithm may be substantially deteriorated or even blocked by the effects of the devices' background traffic, packet losses, congestion, or latency. We abstract the communication-computation impacts as an `iteration cost' and propose a cost-aware causal FL algorithm~(FedCau) to tackle this problem. We propose an iteration-termination method that trade-offs the training performance and networking costs. We apply our approach when clients use the slotted-ALOHA, the carrier-sense multiple access with collision avoidance~(CSMA/CA), and the orthogonal frequency-division multiple access~(OFDMA) protocols. We show that, given a total cost budget, the training performance degrades as either the background communication traffic or the dimension of the training problem increases. Our results demonstrate the importance of proactively designing optimal cost-efficient stopping criteria to avoid unnecessary communication-computation costs to achieve only a marginal FL training improvement. We validate our method by training and testing FL over the MNIST dataset. Finally, we apply our approach to existing communication efficient FL methods from the literature, achieving further efficiency. We conclude that cost-efficient stopping criteria are essential for the success of practical FL over wireless networks.
• Abstract（参考訳）: 本稿では,無線デバイスの無線ネットワーク上でのフェデレーション学習(fl)モデルの効率的な分散トレーニングについて検討する。 分散トレーニングアルゴリズムの通信イテレーションは、デバイスのバックグラウンドトラフィック、パケット損失、混雑、あるいは遅延の影響により、大幅に劣化またはブロックされる可能性がある。 通信計算の影響を「文末コスト」として抽象化し、コスト認識因果的flアルゴリズム(fedcau)を提案する。 トレーニング性能とネットワークコストをトレードオフする反復終了法を提案する。 本稿では、クライアントがスロット付きALOHA、衝突回避によるキャリアセンス多重アクセス(CSMA/CA)、直交周波数分割多重アクセス(OFDMA)プロトコルを使用する場合に適用する。 総コスト予算を考えると,バックグラウンド通信トラフィックやトレーニング問題の次元が増加すると,トレーニング性能が低下することが示された。 本研究は,必要な通信計算コストを回避するために最適なコスト効率の停止基準を積極的に設計することの重要性を実証する。 MNISTデータセット上でFLのトレーニングと試験を行い,本手法の有効性を検証した。 最後に,本手法を既存の通信効率のよいfl手法に適用し,さらに効率性を高める。 無線ネットワーク上での実用FLの成功には,コスト効率のよい停止基準が不可欠である。

関連論文リスト

• Digital Twin-Assisted Federated Learning with Blockchain in Multi-tier Computing Systems [67.14406100332671]
  産業用 4.0 システムでは、リソース制約のあるエッジデバイスが頻繁にデータ通信を行う。 本稿では,デジタルツイン (DT) とフェデレーション付きデジタルツイン (FL) 方式を提案する。 提案手法の有効性を数値解析により検証した。
  論文  参考訳（メタデータ） (2024-11-04T17:48:02Z)
• Performance Optimization for Variable Bitwidth Federated Learning in Wireless Networks [103.22651843174471]
  本稿では,モデル量子化による統合学習(FL)における無線通信と計算効率の向上について考察する。 提案したビット幅FL方式では,エッジデバイスは局所FLモデルパラメータの量子化バージョンを調整し,コーディネートサーバに送信し,それらを量子化されたグローバルモデルに集約し,デバイスを同期させる。 FLトレーニングプロセスはマルコフ決定プロセスとして記述でき、反復よりも行動選択を最適化するためのモデルベース強化学習(RL)手法を提案する。
  論文  参考訳（メタデータ） (2022-09-21T08:52:51Z)
• Resource Allocation for Compression-aided Federated Learning with High Distortion Rate [3.7530276852356645]
  我々は、歪み率、参加IoTデバイス数、収束率の間の最適化支援FL問題を定式化する。 参加するIoTデバイスを積極的に制御することにより、通信効率を維持しながら圧縮支援FLのトレーニングばらつきを回避することができる。
  論文  参考訳（メタデータ） (2022-06-02T05:00:37Z)
• Towards Communication-Learning Trade-off for Federated Learning at the Network Edge [5.267288702335319]
  限られたリソースを持つローカルユーザに対して,ネットワークプルーニングを適用した無線学習システム(FL)を提案する。 FLレイテンシーには有益だが、情報損失も悪化する。
  論文  参考訳（メタデータ） (2022-05-27T23:11:52Z)
• Over-the-Air Federated Learning with Retransmissions (Extended Version) [21.37147806100865]
  資源制約のある無線ネットワーク上でのフェデレート学習(FL)の収束に対する推定誤差の影響について検討する。 資源制約のある無線ネットワーク上でFL収束を改善する手法として再送信を提案する。
  論文  参考訳（メタデータ） (2021-11-19T15:17:15Z)
• Federated Learning over Wireless IoT Networks with Optimized Communication and Resources [98.18365881575805]
  協調学習技術のパラダイムとしてのフェデレートラーニング(FL)は研究の注目を集めている。 無線システム上での高速応答および高精度FLスキームの検証が重要である。 提案する通信効率のよいフェデレーション学習フレームワークは,強い線形速度で収束することを示す。
  論文  参考訳（メタデータ） (2021-10-22T13:25:57Z)
• ProgFed: Effective, Communication, and Computation Efficient Federated Learning by Progressive Training [65.68511423300812]
  本稿では,効率的なフェデレート学習のためのプログレッシブトレーニングフレームワークであるProgFedを提案する。 ProgFedは計算と双方向通信のコストを本質的に低減し、最終モデルの強力な性能を維持している。 以上の結果から, ProgFed はフルモデルの標準トレーニングと同等の速度で収束することがわかった。
  論文  参考訳（メタデータ） (2021-10-11T14:45:00Z)
• Dynamic Attention-based Communication-Efficient Federated Learning [85.18941440826309]
  フェデレートラーニング(FL)は、グローバル機械学習モデルをトレーニングするためのソリューションを提供する。 FLは、クライアントデータの分散が非IIDであるときに性能劣化に悩まされる。 本稿では,この劣化に対処するために,新しい適応トレーニングアルゴリズムであるtextttAdaFL$を提案する。
  論文  参考訳（メタデータ） (2021-08-12T14:18:05Z)
• Convergence Analysis and System Design for Federated Learning over Wireless Networks [16.978276697446724]
  フェデレートラーニング(FL)は、IoTにおいて重要かつ有望な学習スキームとして登場した。 FLトレーニングは、無線通信ネットワークに大きく影響される頻繁なモデル交換を必要とします。 本論文では,コミュニケーションネットワークとトレーニング設定の協調影響を考慮したFLトレーニングの収束率を解析する。
  論文  参考訳（メタデータ） (2021-04-30T02:33:29Z)
• Delay Minimization for Federated Learning Over Wireless Communication Networks [172.42768672943365]
  無線通信ネットワーク上でのフェデレーション学習(FL)における遅延計算の問題について検討した。 最適解を得るために,二項探索アルゴリズムを提案する。 シミュレーションの結果,提案アルゴリズムは従来のFL法と比較して最大27.3%遅延を低減できることがわかった。
  論文  参考訳（メタデータ） (2020-07-05T19:00:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。