Fugu-MT 論文翻訳(概要): Over-the-Air Federated Learning and Optimization

論文の概要: Over-the-Air Federated Learning and Optimization

arxiv url: http://arxiv.org/abs/2310.10089v1
Date: Mon, 16 Oct 2023 05:49:28 GMT
ステータス: 処理完了
システム内更新日: 2023-10-18 01:34:25.684275
Title: Over-the-Air Federated Learning and Optimization
Title（参考訳）: オーバーザ・エアによるフェデレーション学習と最適化
Authors: Jingyang Zhu, Yuanming Shi, Yong Zhou, Chunxiao Jiang, Wei Chen, Khaled B. Letaief
Abstract要約: エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
参考スコア（独自算出の注目度）: 52.5188988624998
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Federated learning (FL), as an emerging distributed machine learning paradigm, allows a mass of edge devices to collaboratively train a global model while preserving privacy. In this tutorial, we focus on FL via over-the-air computation (AirComp), which is proposed to reduce the communication overhead for FL over wireless networks at the cost of compromising in the learning performance due to model aggregation error arising from channel fading and noise. We first provide a comprehensive study on the convergence of AirComp-based FedAvg (AirFedAvg) algorithms under both strongly convex and non-convex settings with constant and diminishing learning rates in the presence of data heterogeneity. Through convergence and asymptotic analysis, we characterize the impact of aggregation error on the convergence bound and provide insights for system design with convergence guarantees. Then we derive convergence rates for AirFedAvg algorithms for strongly convex and non-convex objectives. For different types of local updates that can be transmitted by edge devices (i.e., local model, gradient, and model difference), we reveal that transmitting local model in AirFedAvg may cause divergence in the training procedure. In addition, we consider more practical signal processing schemes to improve the communication efficiency and further extend the convergence analysis to different forms of model aggregation error caused by these signal processing schemes. Extensive simulation results under different settings of objective functions, transmitted local information, and communication schemes verify the theoretical conclusions.
Abstract（参考訳）: フェデレートラーニング(FL)は、新興の分散機械学習パラダイムであり、プライバシーを維持しながら、多数のエッジデバイスがグローバルモデルを協調的にトレーニングすることを可能にする。本稿では,無線ネットワーク上でのflの通信オーバーヘッドを,チャネルフェーディングやノイズに起因するモデル集約エラーによる学習性能の妥協を犠牲にするために提案する,aircomp(over-the-air computation)によるflにフォーカスする。まず,AirCompをベースとしたFedAvg(AirFedAvg)アルゴリズムを,データヘテロジニティ(heregeneity)の存在下での学習率を一定かつ低下させるような,強い凸と非凸の両方の条件下での収束に関する総合的研究を行った。収束および漸近解析を通じて、集約誤差が収束境界に与える影響を特徴づけ、収束保証を伴うシステム設計の洞察を与える。次に、強凸および非凸目的に対するAirFedAvgアルゴリズムの収束率を導出する。エッジデバイスで送信可能なさまざまなローカルアップデート(ローカルモデル、勾配、モデル差分など)について、airfedavg内のローカルモデル送信がトレーニング手順の相違を引き起こす可能性があることを明らかにする。さらに,より実用的な信号処理方式について検討し,通信効率の向上と,これらの信号処理方式に起因するモデル集約誤差の異なる形態への収束解析をさらに拡張する。目的関数の異なる設定下での広範囲なシミュレーション結果、送信されたローカル情報、および通信方式により理論的結論が検証される。

関連論文リスト

Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
論文参考訳（メタデータ） (2024-03-27T09:14:36Z)
Adaptive Model Pruning and Personalization for Federated Learning over Wireless Networks [72.59891661768177]
フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
論文参考訳（メタデータ） (2023-09-04T21:10:45Z)
Channel and Gradient-Importance Aware Device Scheduling for Over-the-Air Federated Learning [31.966999085992505]
フェデレートラーニング(Federated Learning、FL)は、プライバシ保護のための分散トレーニングスキームである。チャネルノイズ歪みの負の影響を緩和するために,PO-FL というオーバー・ザ・エア FL のための機器スケジューリングフレームワークを提案する。
論文参考訳（メタデータ） (2023-05-26T12:04:59Z)
Vertical Federated Learning over Cloud-RAN: Convergence Analysis and System Optimization [82.12796238714589]
高速かつ正確なモデルアグリゲーションを実現するために,クラウド無線アクセスネットワーク(Cloud-RAN)ベースの垂直FLシステムを提案する。アップリンクとダウンリンクの両方の伝送を考慮した垂直FLアルゴリズムの収束挙動を特徴付ける。我々は,連続凸近似と代替凸探索に基づくシステム最適化アルゴリズムを開発した,連系トランシーバとフロントホール量子化設計によるシステム最適化フレームワークを構築した。
論文参考訳（メタデータ） (2023-05-04T09:26:03Z)
FedCAT: Towards Accurate Federated Learning via Device Concatenation [4.416919766772866]
Federated Learning(FL)は、すべてのデバイスが、ローカルデータのプライバシを公開することなく、グローバルモデルを協調的にトレーニングすることを可能にする。非IIDシナリオでは、データの不均一性に起因する重みのばらつきにより、FLモデルの分類精度が大幅に低下する。本稿では,Fed-Cat という新しいFLアプローチを導入し,提案したデバイス選択戦略とデバイス結合に基づく局所学習手法に基づいて,高精度なモデル精度を実現する。
論文参考訳（メタデータ） (2022-02-23T10:08:43Z)
Resource-Efficient and Delay-Aware Federated Learning Design under Edge Heterogeneity [10.702853653891902]
フェデレーテッド・ラーニング(FL)は、ワイヤレスエッジデバイスに機械学習を分散するための一般的な方法論として登場した。本研究では,FLにおけるモデル性能と資源利用のトレードオフを最適化することを検討する。提案したStoFedDelAvは、FL計算ステップに局所言語モデルコンバインダーを組み込む。
論文参考訳（メタデータ） (2021-12-27T22:30:15Z)
Edge Federated Learning Via Unit-Modulus Over-The-Air Computation (Extended Version) [64.76619508293966]
本稿では,効率の良いエッジフェデレーション学習を実現するために,UM-AirCompフレームワークを提案する。ローカルモデルパラメータを同時にアップロードし、アナログビームフォーミングを通じてグローバルモデルパラメータを更新する。車両間自動運転シミュレーションプラットフォームにおけるUM-AirCompの実装を実演する。
論文参考訳（メタデータ） (2021-01-28T15:10:22Z)
Reconfigurable Intelligent Surface Enabled Federated Learning: A Unified Communication-Learning Design Approach [30.1988598440727]
我々は,デバイス選択,無線トランシーバ設計,RIS構成を協調的に最適化する統一的なコミュニケーション学習最適化問題を開発した。数値実験により,提案手法は最先端の手法と比較して,学習精度が大幅に向上することが示された。
論文参考訳（メタデータ） (2020-11-20T08:54:13Z)
Over-the-Air Federated Learning from Heterogeneous Data [107.05618009955094]
フェデレートラーニング(Federated Learning、FL)は、集中型モデルの分散ラーニングのためのフレームワークである。我々は,共通局所勾配勾配勾配(SGD)FLアルゴリズムを強化するコンバージェント OTA FL (COTAF) アルゴリズムを開発した。我々は,COTAFにより誘導されるプリコーディングが,OTA FLを用いて訓練されたモデルの収束率と精度を顕著に向上させることを示す。
論文参考訳（メタデータ） (2020-09-27T08:28:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。