論文の概要: AnycostFL: Efficient On-Demand Federated Learning over Heterogeneous Edge Devices

• arxiv url: http://arxiv.org/abs/2301.03062v1
• Date: Sun, 8 Jan 2023 15:25:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-10 18:57:41.786634
• Title: AnycostFL: Efficient On-Demand Federated Learning over Heterogeneous Edge Devices
• Title（参考訳）: anycostfl: 異種エッジデバイス上での効率的なオンデマンドフェデレーション学習
• Authors: Peichun Li, Guoliang Cheng, Xumin Huang, Jiawen Kang, Rong Yu, Yuan Wu, Miao Pan
• Abstract要約: 我々はAny CostFLというコスト調整可能なFLフレームワークを提案し、多様なエッジデバイスがローカル更新を効率的に実行できるようにする。 実験結果から,我々の学習フレームワークは,適切なグローバルテスト精度を実現するために,トレーニング遅延とエネルギー消費の最大1.9倍の削減が可能であることが示唆された。
• 参考スコア（独自算出の注目度）: 20.52519915112099
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this work, we investigate the challenging problem of on-demand federated learning (FL) over heterogeneous edge devices with diverse resource constraints. We propose a cost-adjustable FL framework, named AnycostFL, that enables diverse edge devices to efficiently perform local updates under a wide range of efficiency constraints. To this end, we design the model shrinking to support local model training with elastic computation cost, and the gradient compression to allow parameter transmission with dynamic communication overhead. An enhanced parameter aggregation is conducted in an element-wise manner to improve the model performance. Focusing on AnycostFL, we further propose an optimization design to minimize the global training loss with personalized latency and energy constraints. By revealing the theoretical insights of the convergence analysis, personalized training strategies are deduced for different devices to match their locally available resources. Experiment results indicate that, when compared to the state-of-the-art efficient FL algorithms, our learning framework can reduce up to 1.9 times of the training latency and energy consumption for realizing a reasonable global testing accuracy. Moreover, the results also demonstrate that, our approach significantly improves the converged global accuracy.
• Abstract（参考訳）: 本研究では,リソース制約の異なる異種エッジデバイス上でのオンデマンドフェデレーション学習(fl)の課題について検討する。 我々はAny CostFLというコスト調整可能なFLフレームワークを提案し、多様なエッジデバイスが広範囲の効率制約の下でローカル更新を効率的に実行できるようにする。 この目的のために,弾性計算コストで局所モデル学習を支援するために縮小モデルと,動的通信オーバーヘッドでパラメータ伝達を可能にする勾配圧縮を設計する。 拡張されたパラメータアグリゲーションは、モデル性能を改善するために要素的に行われる。 さらに、Any CostFLに着目し、パーソナライズされたレイテンシとエネルギー制約によるグローバルトレーニング損失を最小限に抑える最適化設計を提案する。 収束分析の理論的洞察を明らかにすることにより、各デバイスがローカルに利用可能なリソースと一致するように、個別のトレーニング戦略を導出する。 実験結果から、最先端の効率的なFLアルゴリズムと比較して、我々の学習フレームワークは訓練待ち時間とエネルギー消費の最大1.9倍を削減し、合理的なグローバルテスト精度を実現することが示唆された。 さらに,本手法が収束したグローバル精度を大幅に向上させることを示した。

関連論文リスト

• Adaptive Decentralized Federated Learning in Energy and Latency Constrained Wireless Networks [4.03161352925235]
  中央ノードで集約されたパラメータを持つフェデレートラーニング(FL)では、通信オーバーヘッドがかなり懸念される。 最近の研究では、分散フェデレートラーニング(DFL)が実現可能な代替手段として紹介されている。 エネルギーと遅延の制約を考慮してDFLの損失関数を最小化する問題を定式化する。
  論文  参考訳（メタデータ） (2024-03-29T09:17:40Z)
• Federated Learning of Large Language Models with Parameter-Efficient Prompt Tuning and Adaptive Optimization [71.87335804334616]
  フェデレートラーニング(FL)は、分散データとの協調モデルトレーニングを可能にする、有望なパラダイムである。 LLM(Large Language Models)のトレーニングプロセスは一般的に重要なパラメータの更新を引き起こす。 本稿では,性能と効率を同時に向上する効率的な部分的プロンプトチューニング手法を提案する。
  論文  参考訳（メタデータ） (2023-10-23T16:37:59Z)
• Filling the Missing: Exploring Generative AI for Enhanced Federated Learning over Heterogeneous Mobile Edge Devices [72.61177465035031]
  ローカルデータのFIMI(FIlling the MIssing)部分を活用することにより,これらの課題に対処する,AIを活用した創発的なフェデレーション学習を提案する。 実験の結果,FIMIはデバイス側エネルギーの最大50%を節約し,目標とするグローバルテスト精度を達成できることがわかった。
  論文  参考訳（メタデータ） (2023-10-21T12:07:04Z)
• Sample-Driven Federated Learning for Energy-Efficient and Real-Time IoT Sensing [22.968661040226756]
  我々は,ソフトアクター・クリティカル(A2C)フレームワーク上に構築されたSCFL(Sample-driven Control for Federated Learning)というオンライン強化学習アルゴリズムを導入する。 SCFLにより、エージェントは動的に適応し、変化する環境においてもグローバルな最適条件を見つけることができる。
  論文  参考訳（メタデータ） (2023-10-11T13:50:28Z)
• Semi-Federated Learning: Convergence Analysis and Optimization of A Hybrid Learning Framework [70.83511997272457]
  本稿では,ベースステーション(BS)とデバイスの両方を活用するセミフェデレーション学習(SemiFL)パラダイムを提案し,中央集権学習(CL)とFLのハイブリッド実装を提案する。 我々はこの難解な問題を解くための2段階のアルゴリズムを提案し、ビームフォーマに閉形式解を提供する。
  論文  参考訳（メタデータ） (2023-10-04T03:32:39Z)
• Adaptive Model Pruning and Personalization for Federated Learning over Wireless Networks [72.59891661768177]
  フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。 これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。 このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
  論文  参考訳（メタデータ） (2023-09-04T21:10:45Z)
• Performance Optimization for Variable Bitwidth Federated Learning in Wireless Networks [103.22651843174471]
  本稿では,モデル量子化による統合学習(FL)における無線通信と計算効率の向上について考察する。 提案したビット幅FL方式では,エッジデバイスは局所FLモデルパラメータの量子化バージョンを調整し,コーディネートサーバに送信し,それらを量子化されたグローバルモデルに集約し,デバイスを同期させる。 FLトレーニングプロセスはマルコフ決定プロセスとして記述でき、反復よりも行動選択を最適化するためのモデルベース強化学習(RL)手法を提案する。
  論文  参考訳（メタデータ） (2022-09-21T08:52:51Z)
• Cost-Effective Federated Learning in Mobile Edge Networks [37.16466118235272]
  フェデレートラーニング(FL)は、多くのモバイルデバイスが生データを共有せずに協調的にモデルを学習できる分散ラーニングパラダイムである。 本研究は,モバイルエッジネットワークにおける適応FLの設計手法を解析し,本質的な制御変数を最適に選択し,総コストを最小化する。 我々は,収束関連未知パラメータを学習するために,低コストなサンプリングベースアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2021-09-12T03:02:24Z)
• Accelerating Federated Learning with a Global Biased Optimiser [16.69005478209394]
  Federated Learning(FL)は、クライアントデバイスを離れるトレーニングデータなしでモデルを協調訓練する機械学習の分野における最近の開発である。 本稿では,FedGBO(Federated Global Biased Optimiser)アルゴリズムを用いて,適応最適化手法をFLに適用する手法を提案する。 FedGBOは、FLの局所的なトレーニングフェーズにおいて、グローバルバイアス付きオプティマイザ値のセットを適用することでFLを加速し、非IIDデータからのクライアントドリフトを減少させる。
  論文  参考訳（メタデータ） (2021-08-20T12:08:44Z)
• Dynamic Attention-based Communication-Efficient Federated Learning [85.18941440826309]
  フェデレートラーニング(FL)は、グローバル機械学習モデルをトレーニングするためのソリューションを提供する。 FLは、クライアントデータの分散が非IIDであるときに性能劣化に悩まされる。 本稿では,この劣化に対処するために,新しい適応トレーニングアルゴリズムであるtextttAdaFL$を提案する。
  論文  参考訳（メタデータ） (2021-08-12T14:18:05Z)
• Accelerating Federated Learning over Reliability-Agnostic Clients in Mobile Edge Computing Systems [15.923599062148135]
  フェデレーション学習は、AIアプリケーションを促進するための、将来性のあるプライバシ保護アプローチとして登場した。 MECアーキテクチャと統合された場合、FLの効率性と効率を最適化することは依然として大きな課題である。 本稿では,MECアーキテクチャのために,HybridFLと呼ばれる多層フェデレート学習プロトコルを設計する。
  論文  参考訳（メタデータ） (2020-07-28T17:35:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。