論文の概要: Over-the-Air Multi-Task Federated Learning Over MIMO Interference Channel

• arxiv url: http://arxiv.org/abs/2112.13603v1
• Date: Mon, 27 Dec 2021 10:42:04 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-28 21:12:03.783071
• Title: Over-the-Air Multi-Task Federated Learning Over MIMO Interference Channel
• Title（参考訳）: MIMO干渉チャンネル上でのオーバー・ザ・エアマルチタスクフェデレーション学習
• Authors: Chenxi Zhong, Huiyuan Yang, and Xiaojun Yuan
• Abstract要約: We study over-the-air multi-task FL (OA-MTFL) over the multiple-input multiple-output (MIMO) interference channel。 そこで本研究では,各デバイスに局所勾配をアライメントするモデルアグリゲーション手法を提案する。 新たなモデルアグリゲーション手法を用いることで,デバイス選択はもはや我々の計画に必須ではないことを示す。
• 参考スコア（独自算出の注目度）: 17.362158131772127
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the explosive growth of data and wireless devices, federated learning (FL) has emerged as a promising technology for large-scale intelligent systems. Utilizing the analog superposition of electromagnetic waves, over-the-air computation is an appealing approach to reduce the burden of communication in the FL model aggregation. However, with the urgent demand for intelligent systems, the training of multiple tasks with over-the-air computation further aggravates the scarcity of communication resources. This issue can be alleviated to some extent by training multiple tasks simultaneously with shared communication resources, but the latter inevitably brings about the problem of inter-task interference. In this paper, we study over-the-air multi-task FL (OA-MTFL) over the multiple-input multiple-output (MIMO) interference channel. We propose a novel model aggregation method for the alignment of local gradients for different devices, which alleviates the straggler problem that exists widely in over-the-air computation due to the channel heterogeneity. We establish a unified communication-computation analysis framework for the proposed OA-MTFL scheme by considering the spatial correlation between devices, and formulate an optimization problem of designing transceiver beamforming and device selection. We develop an algorithm by using alternating optimization (AO) and fractional programming (FP) to solve this problem, which effectively relieves the impact of inter-task interference on the FL learning performance. We show that due to the use of the new model aggregation method, device selection is no longer essential to our scheme, thereby avoiding the heavy computational burden caused by implementing device selection. The numerical results demonstrate the correctness of the analysis and the outstanding performance of the proposed scheme.
• Abstract（参考訳）: データと無線機器の爆発的な成長により、大規模インテリジェントシステムにとって有望な技術としてフェデレートラーニング(FL)が誕生した。 電磁波のアナログ重ね合わせを利用して、over-the-air計算はflモデルアグリゲーションにおける通信の負担を軽減するための魅力的な手法である。 しかし、インテリジェントシステムに対する緊急の要求により、オーバー・ザ・エア計算による複数のタスクの訓練により、通信資源の不足はさらに増大する。 この問題は、共有通信リソースと並行して複数のタスクをトレーニングすることである程度緩和できるが、後者は必然的にタスク間干渉の問題をもたらす。 本稿では,マルチ入力マルチタスクfl(oa-mtfl)をmimo(multiple-input multiple-output)干渉チャネル上で検討する。 本稿では,異なる機器の局所勾配のアライメントのための新しいモデル集約法を提案し,チャネルの不均一性による空域計算において広く存在するストラグラー問題を緩和する。 我々は、デバイス間の空間的相関を考慮したOA-MTFL方式の統一的な通信計算分析フレームワークを構築し、トランシーバビームフォーミングとデバイス選択を設計する最適化問題を定式化する。 この問題を解決するために交互最適化(ao)と分数プログラミング(fp)を用いて,タスク間干渉がfl学習性能に与える影響を効果的に軽減するアルゴリズムを開発した。 提案手法では,新しいモデルアグリゲーション手法を用いることで,デバイス選択が不要となり,デバイス選択によって生じる計算負荷を回避できることを示した。 解析結果から,解析の正確さと提案手法の優れた性能が示された。

関連論文リスト

• Resource Management for Low-latency Cooperative Fine-tuning of Foundation Models at the Network Edge [35.40849522296486]
  大規模ファウンデーションモデル(FoMos)は、人間のような知性を実現することができる。 FoMosは微調整技術により、特定の下流タスクに適応する必要がある。 デバイスエッジ協調微調整パラダイムにおける多デバイス連携を提唱する。
  論文  参考訳（メタデータ） (2024-07-13T12:47:14Z)
• Random Aggregate Beamforming for Over-the-Air Federated Learning in Large-Scale Networks [66.18765335695414]
  本稿では,アグリゲーションエラーを最小限に抑え,選択したデバイス数を最大化する目的で,共同装置の選択とアグリゲーションビームフォーミング設計について検討する。 コスト効率のよい方法でこの問題に取り組むために,ランダムな集合ビームフォーミング方式を提案する。 また, 得られた集計誤差と, デバイス数が大きい場合に選択したデバイス数についても解析を行った。
  論文  参考訳（メタデータ） (2024-02-20T23:59:45Z)
• Device Scheduling for Relay-assisted Over-the-Air Aggregation in Federated Learning [9.735236606901038]
  フェデレートラーニング(FL)は、ネットワークの端で分散されたデータを活用して、インテリジェントなアプリケーションを実現する。 本稿では,リレー支援FLフレームワークを提案し,リレー支援FLシステムにおけるデバイススケジューリング問題について検討する。
  論文  参考訳（メタデータ） (2023-12-15T03:04:39Z)
• Over-the-Air Federated Learning and Optimization [52.5188988624998]
  エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。 本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。 エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。 さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
  論文  参考訳（メタデータ） (2023-10-16T05:49:28Z)
• Multi-Resource Allocation for On-Device Distributed Federated Learning Systems [79.02994855744848]
  本研究は,デバイス上の分散フェデレーション学習(FL)システムにおいて,レイテンシとエネルギー消費の重み付け和を最小化する分散マルチリソース割り当て方式を提案する。 システム内の各モバイルデバイスは、指定された領域内でモデルトレーニングプロセスを実行し、それぞれパラメータの導出とアップロードを行うための計算と通信資源を割り当てる。
  論文  参考訳（メタデータ） (2022-11-01T14:16:05Z)
• Performance Optimization for Variable Bitwidth Federated Learning in Wireless Networks [103.22651843174471]
  本稿では,モデル量子化による統合学習(FL)における無線通信と計算効率の向上について考察する。 提案したビット幅FL方式では,エッジデバイスは局所FLモデルパラメータの量子化バージョンを調整し,コーディネートサーバに送信し,それらを量子化されたグローバルモデルに集約し,デバイスを同期させる。 FLトレーニングプロセスはマルコフ決定プロセスとして記述でき、反復よりも行動選択を最適化するためのモデルベース強化学習(RL)手法を提案する。
  論文  参考訳（メタデータ） (2022-09-21T08:52:51Z)
• Predictive GAN-powered Multi-Objective Optimization for Hybrid Federated Split Learning [56.125720497163684]
  無線ネットワークにおけるハイブリッド・フェデレーション・スプリット・ラーニング・フレームワークを提案する。 ラベル共有のないモデル分割のための並列計算方式を設計し,提案方式が収束速度に与える影響を理論的に解析する。
  論文  参考訳（メタデータ） (2022-09-02T10:29:56Z)
• CFLIT: Coexisting Federated Learning and Information Transfer [18.30671838758503]
  本研究では,モバイルエッジネットワークにおける無線放送と従来型情報伝達(IT)の共存性について検討する。 FLとITデバイスがOFDMシステムで無線スペクトルを共有するCFLIT(Commanded Learning and Information Transfer)通信フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-26T13:17:28Z)
• Federated Learning over Wireless IoT Networks with Optimized Communication and Resources [98.18365881575805]
  協調学習技術のパラダイムとしてのフェデレートラーニング(FL)は研究の注目を集めている。 無線システム上での高速応答および高精度FLスキームの検証が重要である。 提案する通信効率のよいフェデレーション学習フレームワークは,強い線形速度で収束することを示す。
  論文  参考訳（メタデータ） (2021-10-22T13:25:57Z)
• Reconfigurable Intelligent Surface Enabled Federated Learning: A Unified Communication-Learning Design Approach [30.1988598440727]
  我々は,デバイス選択,無線トランシーバ設計,RIS構成を協調的に最適化する統一的なコミュニケーション学習最適化問題を開発した。 数値実験により,提案手法は最先端の手法と比較して,学習精度が大幅に向上することが示された。
  論文  参考訳（メタデータ） (2020-11-20T08:54:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。