論文の概要: Over-the-Air Federated Multi-Task Learning via Model Sparsification and
Turbo Compressed Sensing
- arxiv url: http://arxiv.org/abs/2205.03810v1
- Date: Sun, 8 May 2022 08:03:52 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-10 18:11:02.362778
- Title: Over-the-Air Federated Multi-Task Learning via Model Sparsification and
Turbo Compressed Sensing
- Title（参考訳）: モデルスペーシフィケーションとターボ圧縮センシングによるオーバー・ザ・エア・フェデレーション型マルチタスク学習
- Authors: Haoming Ma, Xiaojun Yuan, Zhi Ding, Dian Fan and Jun Fang
- Abstract要約: 本稿では,エッジサーバの協調の下で,エッジデバイス上にデプロイされた複数の学習タスクを非直交型フェードチャネルで共有する,オーバー・ザ・エアのFMTLフレームワークを提案する。
OA-FMTLでは、エッジデバイスの局所的な更新はスパース化され、圧縮され、重ね合わせの方法でアップリンクチャネルに送信される。
提案するOA-FMTLフレームワークとM-Turbo-CSアルゴリズムの性能解析を行った。
- 参考スコア（独自算出の注目度）: 48.19771515107681
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: To achieve communication-efficient federated multitask learning (FMTL), we
propose an over-the-air FMTL (OAFMTL) framework, where multiple learning tasks
deployed on edge devices share a non-orthogonal fading channel under the
coordination of an edge server (ES). In OA-FMTL, the local updates of edge
devices are sparsified, compressed, and then sent over the uplink channel in a
superimposed fashion. The ES employs over-the-air computation in the presence
of intertask interference. More specifically, the model aggregations of all the
tasks are reconstructed from the channel observations concurrently, based on a
modified version of the turbo compressed sensing (Turbo-CS) algorithm (named as
M-Turbo-CS). We analyze the performance of the proposed OA-FMTL framework
together with the M-Turbo-CS algorithm. Furthermore, based on the analysis, we
formulate a communication-learning optimization problem to improve the system
performance by adjusting the power allocation among the tasks at the edge
devices. Numerical simulations show that our proposed OAFMTL effectively
suppresses the inter-task interference, and achieves a learning performance
comparable to its counterpart with orthogonal multi-task transmission. It is
also shown that the proposed inter-task power allocation optimization algorithm
substantially reduces the overall communication overhead by appropriately
adjusting the power allocation among the tasks.
- Abstract（参考訳）: 通信効率のよいマルチタスク学習(FMTL)を実現するために,エッジサーバ(ES)の協調の下で,エッジデバイスにデプロイされた複数の学習タスクが非直交型フェーディングチャネルを共有する,OAFMTL(OAFMTL)フレームワークを提案する。
OA-FMTLでは、エッジデバイスの局所的な更新はスパース化され、圧縮され、重ね合わせでアップリンクチャネルに送られる。
esは、タスク間干渉の存在下でのオーバー・ザ・エア計算を用いる。
より具体的には、全てのタスクのモデルアグリゲーションは、ターボ圧縮センシング(Turbo-CS)アルゴリズムの修正版(M-Turbo-CS)に基づいて、チャネル観測から同時に再構成される。
提案するOA-FMTLフレームワークとM-Turbo-CSアルゴリズムの性能解析を行った。
さらに,本解析に基づいて通信学習最適化問題を定式化し,エッジデバイスにおけるタスク間の電力割当を調整することによりシステム性能を向上させる。
数値シミュレーションにより,提案するOAFMTLは,タスク間干渉を効果的に抑制し,直交マルチタスク伝送に匹敵する学習性能を実現する。
また,タスク間の電力配分を適切に調整することにより,タスク間電力割り当て最適化アルゴリズムにより通信オーバヘッドを大幅に低減することを示した。
関連論文リスト
- Resource Management for Low-latency Cooperative Fine-tuning of Foundation Models at the Network Edge [35.40849522296486]
大規模ファウンデーションモデル(FoMos)は、人間のような知性を実現することができる。
FoMosは微調整技術により、特定の下流タスクに適応する必要がある。
デバイスエッジ協調微調整パラダイムにおける多デバイス連携を提唱する。
論文 参考訳（メタデータ） (2024-07-13T12:47:14Z) - Energy-Efficient Power Control for Multiple-Task Split Inference in
UAVs: A Tiny Learning-Based Approach [27.48920259431965]
無人航空機(UAV)における分割推論におけるエネルギー最小化のための2段階のアプローチを提案する。
送信電力の最適化を送信時間に置き換えて,計算複雑性を低減する。
シミュレーションの結果,提案アルゴリズムは低消費電力でタスク完了確率が高いことを示す。
論文 参考訳（メタデータ） (2023-12-31T10:16:59Z) - High Efficiency Inference Accelerating Algorithm for NOMA-based Mobile
Edge Computing [23.88527790721402]
デバイス、エッジサーバ、クラウド間の推論モデルを分割することで、EIの性能を大幅に向上させることができる。
B5G/6Gのキーとなる技術であるNOMAは、膨大な接続と高スペクトル効率を実現することができる。
本稿では,エッジでのモデル推論を高速化する効果的な通信資源割当アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-12-26T02:05:52Z) - Communication-Efficient Framework for Distributed Image Semantic
Wireless Transmission [68.69108124451263]
IoTデバイスを用いたマルチタスク分散画像伝送のためのFederated Learning-based semantic communication (FLSC)フレームワーク。
各リンクは階層型視覚変換器(HVT)ベースの抽出器とタスク適応トランスレータで構成される。
チャネル状態情報に基づく多重出力多重出力伝送モジュール。
論文 参考訳（メタデータ） (2023-08-07T16:32:14Z) - Hierarchical Over-the-Air FedGradNorm [50.756991828015316]
MTL(Multi-task Learning)は、単一の共有ネットワークで複数の関連するタスクを同時に学習する学習パラダイムである。
我々は,HOTA-FedGradNormと呼ばれる動的重み付け戦略を用いた階層的オーバー・ザ・エア(HOTA)PFLを提案する。
論文 参考訳（メタデータ） (2022-12-14T18:54:46Z) - Federated Learning for Energy-limited Wireless Networks: A Partial Model
Aggregation Approach [79.59560136273917]
デバイス間の限られた通信資源、帯域幅とエネルギー、およびデータ不均一性は、連邦学習(FL)の主要なボトルネックである
まず、部分モデルアグリゲーション(PMA)を用いた新しいFLフレームワークを考案する。
提案されたPMA-FLは、2つの典型的な異種データセットにおいて2.72%と11.6%の精度を改善する。
論文 参考訳（メタデータ） (2022-04-20T19:09:52Z) - Collaborative Intelligent Reflecting Surface Networks with Multi-Agent
Reinforcement Learning [63.83425382922157]
インテリジェント・リフレクション・サーフェス(IRS)は将来の無線ネットワークに広く応用されることが想定されている。
本稿では,エネルギー収穫能力を備えた協調型IRSデバイスを用いたマルチユーザ通信システムについて検討する。
論文 参考訳（メタデータ） (2022-03-26T20:37:14Z) - Over-the-Air Multi-Task Federated Learning Over MIMO Interference
Channel [17.362158131772127]
We study over-the-air multi-task FL (OA-MTFL) over the multiple-input multiple-output (MIMO) interference channel。
そこで本研究では,各デバイスに局所勾配をアライメントするモデルアグリゲーション手法を提案する。
新たなモデルアグリゲーション手法を用いることで,デバイス選択はもはや我々の計画に必須ではないことを示す。
論文 参考訳（メタデータ） (2021-12-27T10:42:04Z) - Multi-task Over-the-Air Federated Learning: A Non-Orthogonal
Transmission Approach [52.85647632037537]
複数の学習タスクがエッジサーバ(ES)の協調の下でデータ収集および学習モデルのためのエッジデバイスを共有するマルチタスク・オーバーテア・フェデレーション・ラーニング(MOAFL)フレームワークを提案する。
収束解析と数値計算の両方の結果から,MOAFLフレームワークは学習性能を著しく低下させることなく,複数のタスクのアップリンク帯域幅の消費を大幅に削減できることが示された。
論文 参考訳（メタデータ） (2021-06-27T13:09:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。