論文の概要: Federated Learning for Energy-limited Wireless Networks: A Partial Model Aggregation Approach

• arxiv url: http://arxiv.org/abs/2204.09746v1
• Date: Wed, 20 Apr 2022 19:09:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-22 13:47:44.518723
• Title: Federated Learning for Energy-limited Wireless Networks: A Partial Model Aggregation Approach
• Title（参考訳）: 省エネルギー無線ネットワークのためのフェデレーションラーニング:部分モデルアグリゲーションアプローチ
• Authors: Zhixiong Chen, Wenqiang Yi, Arumugam Nallanathan, Geoffrey Ye Li
• Abstract要約: デバイス間の限られた通信資源、帯域幅とエネルギー、およびデータ不均一性は、連邦学習(FL)の主要なボトルネックである まず、部分モデルアグリゲーション(PMA)を用いた新しいFLフレームワークを考案する。 提案されたPMA-FLは、2つの典型的な異種データセットにおいて2.72%と11.6%の精度を改善する。
• 参考スコア（独自算出の注目度）: 79.59560136273917
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The limited communication resources, e.g., bandwidth and energy, and data heterogeneity across devices are two of the main bottlenecks for federated learning (FL). To tackle these challenges, we first devise a novel FL framework with partial model aggregation (PMA), which only aggregates the lower layers of neural networks responsible for feature extraction while the upper layers corresponding to complex pattern recognition remain at devices for personalization. The proposed PMA-FL is able to address the data heterogeneity and reduce the transmitted information in wireless channels. We then obtain a convergence bound of the framework under a non-convex loss function setting. With the aid of this bound, we define a new objective function, named the scheduled data sample volume, to transfer the original inexplicit optimization problem into a tractable one for device scheduling, bandwidth allocation, computation and communication time division. Our analysis reveals that the optimal time division is achieved when the communication and computation parts of PMA-FL have the same power. We also develop a bisection method to solve the optimal bandwidth allocation policy and use the set expansion algorithm to address the optimal device scheduling. Compared with the state-of-the-art benchmarks, the proposed PMA-FL improves 2.72% and 11.6% accuracy on two typical heterogeneous datasets, i.e., MINIST and CIFAR-10, respectively. In addition, the proposed joint dynamic device scheduling and resource optimization approach achieve slightly higher accuracy than the considered benchmarks, but they provide a satisfactory energy and time reduction: 29% energy or 20% time reduction on the MNIST; and 25% energy or 12.5% time reduction on the CIFAR-10.
• Abstract（参考訳）: 例えば、帯域幅とエネルギー、デバイス間のデータの均一性といった限られた通信資源は、連邦学習(FL)の主要なボトルネックである。 これらの課題に取り組むため,我々はまず,複雑なパターン認識に対応する上層層がパーソナライズのためのデバイスに残されている間に,特徴抽出を担うニューラルネットワークの下位層のみを集約する部分モデル集約(pma)を備えた新しいflフレームワークを考案した。 提案したPMA-FLは、データの不均一性に対処し、無線チャネル内の送信情報を低減できる。 次に、非凸損失関数設定の下でフレームワークの収束境界を得る。 そこで,本研究では,データサンプルボリュームと呼ばれる新しい目的関数を定義し,機器スケジューリング,帯域割り当て,計算,通信時間分割のための抽出可能な問題に元の不適用最適化問題を転送する。 解析の結果,PMA-FLの通信部と計算部が同じパワーを持つ場合,最適時間分割が達成されることがわかった。 また、最適な帯域割り当てポリシーを解くための分岐法を開発し、設定拡張アルゴリズムを用いて最適なデバイススケジューリングに対処する。 最先端のベンチマークと比較すると、提案されたPMA-FLは2.72%と11.6%の精度を改善している。 さらに, 提案手法は, 検討したベンチマークよりも若干高い精度を実現しているが, 29%のエネルギーと20%の時間削減, 25%のエネルギーと12.5%のcifar-10の時間削減という, 十分なエネルギーと時間削減を実現している。

関連論文リスト

• Client Orchestration and Cost-Efficient Joint Optimization for NOMA-Enabled Hierarchical Federated Learning [55.49099125128281]
  半同期クラウドモデルアグリゲーションの下で非直交多重アクセス(NOMA)を実現するHFLシステムを提案する。 提案手法は,HFLの性能改善と総コスト削減に関するベンチマークよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-11-03T13:34:44Z)
• Semi-Federated Learning: Convergence Analysis and Optimization of A Hybrid Learning Framework [70.83511997272457]
  本稿では,ベースステーション(BS)とデバイスの両方を活用するセミフェデレーション学習(SemiFL)パラダイムを提案し,中央集権学習(CL)とFLのハイブリッド実装を提案する。 我々はこの難解な問題を解くための2段階のアルゴリズムを提案し、ビームフォーマに閉形式解を提供する。
  論文  参考訳（メタデータ） (2023-10-04T03:32:39Z)
• Wirelessly Powered Federated Learning Networks: Joint Power Transfer, Data Sensing, Model Training, and Resource Allocation [24.077525032187893]
  フェデレートラーニング(FL)は、無線ネットワークで多くの成功を収めている。 FLの実装は、モバイルデバイス(MD)のエネルギー制限と、MDにおけるトレーニングデータの可用性によって妨げられている。 無線送電と持続可能なFLネットワークの統合
  論文  参考訳（メタデータ） (2023-08-09T13:38:58Z)
• Analysis and Optimization of Wireless Federated Learning with Data Heterogeneity [72.85248553787538]
  本稿では、データの不均一性を考慮した無線FLの性能解析と最適化と、無線リソース割り当てについて述べる。 ロス関数の最小化問題を、長期エネルギー消費と遅延の制約の下で定式化し、クライアントスケジューリング、リソース割り当て、ローカルトレーニングエポック数(CRE)を共同で最適化する。 実世界のデータセットの実験により、提案アルゴリズムは学習精度とエネルギー消費の点で他のベンチマークよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-08-04T04:18:01Z)
• Adaptive Federated Pruning in Hierarchical Wireless Networks [69.6417645730093]
  Federated Learning(FL)は、サーバがプライベートデータセットにアクセスすることなく、複数のデバイスによって更新されたモデルを集約する、プライバシ保護の分散学習フレームワークである。 本稿では,無線ネットワークにおけるHFLのモデルプルーニングを導入し,ニューラルネットワークの規模を小さくする。 提案するHFLは,モデルプルーニングを伴わないHFLと比較して学習精度が良く,通信コストが約50%削減できることを示す。
  論文  参考訳（メタデータ） (2023-05-15T22:04:49Z)
• Joint Optimization of Energy Consumption and Completion Time in Federated Learning [16.127019859725785]
  フェデレートラーニング(FL)は、プライバシ保護の特性から興味深い分散機械学習アプローチである。 エネルギーと実行遅延の間のトレードオフをバランスさせるアルゴリズムを定式化し、異なる要求とアプリケーションシナリオに対応する。
  論文  参考訳（メタデータ） (2022-09-29T16:05:28Z)
• Over-the-Air Federated Learning via Second-Order Optimization [37.594140209854906]
  フェデレートラーニング(FL)は、無線ネットワーク上でのタスク指向のデータトラフィックを、限られた無線リソースによって引き起こす可能性がある。 本稿では,通信ラウンドを同時に削減し,低レイテンシなグローバルモデルアグリゲーションを実現するために,空対2次フェデレーション最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-03-29T12:39:23Z)
• Collaborative Intelligent Reflecting Surface Networks with Multi-Agent Reinforcement Learning [63.83425382922157]
  インテリジェント・リフレクション・サーフェス(IRS)は将来の無線ネットワークに広く応用されることが想定されている。 本稿では,エネルギー収穫能力を備えた協調型IRSデバイスを用いたマルチユーザ通信システムについて検討する。
  論文  参考訳（メタデータ） (2022-03-26T20:37:14Z)
• Efficient Federated Meta-Learning over Multi-Access Wireless Networks [26.513076310183273]
  フェデレーションメタラーニング(FML)は、今日のエッジラーニング分野におけるデータ制限と不均一性に対処するための、有望なパラダイムとして登場した。 本稿では,FMLアルゴリズム(NUFM)を一様でないデバイス選択方式で開発し,収束を加速する。 本稿では,マルチアクセス無線システムにおけるNUFMの統合による資源配分問題を提案する。
  論文  参考訳（メタデータ） (2021-08-14T03:23:04Z)
• Joint Device Scheduling and Resource Allocation for Latency Constrained Wireless Federated Learning [26.813145949399427]
  FL(Federated Learning)では、デバイスがローカルモデルの更新を無線チャネル経由でアップロードする。 モデル精度を最大化するために,共同装置スケジューリングと資源配分ポリシーを提案する。 実験の結果,提案手法は最先端のスケジューリング方式よりも優れていた。
  論文  参考訳（メタデータ） (2020-07-14T16:46:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。