Fugu-MT 論文翻訳(概要): Biased Over-the-Air Federated Learning under Wireless Heterogeneity

論文の概要: Biased Over-the-Air Federated Learning under Wireless Heterogeneity

arxiv url: http://arxiv.org/abs/2403.19849v1
Date: Thu, 28 Mar 2024 21:52:15 GMT
ステータス: 処理完了
システム内更新日: 2024-04-01 17:04:07.357946
Title: Biased Over-the-Air Federated Learning under Wireless Heterogeneity
Title（参考訳）: 無線不均質環境下でのバイアスドオーバーエアフェデレーション学習
Authors: Muhammad Faraz Ul Abrar, Nicolò Michelusi,
Abstract要約: OTAデバイスプリスケーラの設計について,OTA-FL収束に着目して検討した。最小ノイズ分散と最小ノイズ分散ゼロバイアス解の2つの解を同定する。
参考スコア（独自算出の注目度）: 7.3716675761469945
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Recently, Over-the-Air (OTA) computation has emerged as a promising federated learning (FL) paradigm that leverages the waveform superposition properties of the wireless channel to realize fast model updates. Prior work focused on the OTA device ``pre-scaler" design under \emph{homogeneous} wireless conditions, in which devices experience the same average path loss, resulting in zero-bias solutions. Yet, zero-bias designs are limited by the device with the worst average path loss and hence may perform poorly in \emph{heterogeneous} wireless settings. In this scenario, there may be a benefit in designing \emph{biased} solutions, in exchange for a lower variance in the model updates. To optimize this trade-off, we study the design of OTA device pre-scalers by focusing on the OTA-FL convergence. We derive an upper bound on the model ``optimality error", which explicitly captures the effect of bias and variance in terms of the choice of the pre-scalers. Based on this bound, we identify two solutions of interest: minimum noise variance, and minimum noise variance zero-bias solutions. Numerical evaluations show that using OTA device pre-scalers that minimize the variance of FL updates, while allowing a small bias, can provide high gains over existing schemes.
Abstract（参考訳）: 近年,OTA(Over-the-Air)計算は,無線チャネルの波形重畳特性を利用して高速なモデル更新を実現する,有望なフェデレーション学習(FL)パラダイムとして出現している。以前の作業では、emph{homogeneous} 無線条件下での OTA デバイス ``pre-scaler' 設計に重点を置いていた。しかし、ゼロバイアス設計は、平均的なパス損失が最も低いデバイスによって制限され、したがって、emph{heterogeneous} 無線設定では性能が悪くなる可能性がある。このシナリオでは、モデル更新の低分散と引き換えに、 \emph{biased} ソリューションを設計する利点があるかもしれない。このトレードオフを最適化するために、OTA-FL収束に着目して、OTAデバイスプリスケーラの設計について検討する。プレスケーラの選択の観点からバイアスと分散の影響を明示的に捉えるモデル「最適誤差」の上限を導出する。この境界に基づいて、最小ノイズ分散と最小ノイズ分散ゼロバイアス解の2つの解を同定する。数値評価により,FL更新のばらつきを最小限に抑えたOTAデバイスプリスケーラを用いることで,既存のスキームよりも高い利得が得られることが示された。

関連論文リスト

Rendering Wireless Environments Useful for Gradient Estimators: A Zero-Order Stochastic Federated Learning Method [14.986031916712108]
クロスデバイスフェデレーション学習(FL)は成長する機械学習フレームワークであり、複数のエッジデバイスが協力して、生データを公開せずにモデルをトレーニングする。学習アルゴリズム自体において、その影響を解析する代わりに、無線チャネルを利用する方法を示す。
論文参考訳（メタデータ） (2024-01-30T21:46:09Z)
Over-the-Air Federated Learning and Optimization [52.5188988624998]
エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
論文参考訳（メタデータ） (2023-10-16T05:49:28Z)
Channel and Gradient-Importance Aware Device Scheduling for Over-the-Air Federated Learning [31.966999085992505]
フェデレートラーニング(Federated Learning、FL)は、プライバシ保護のための分散トレーニングスキームである。チャネルノイズ歪みの負の影響を緩和するために,PO-FL というオーバー・ザ・エア FL のための機器スケジューリングフレームワークを提案する。
論文参考訳（メタデータ） (2023-05-26T12:04:59Z)
Over-the-Air Federated Learning with Joint Adaptive Computation and Power Control [30.7130850260223]
本稿では,オーバー・ザ・エア・コンピューティング・ラーニング(OTA-FL)について考察する。 OTA-FLは、無線媒体の重ね合わせ特性を利用して、空気上のアグリゲーションを無料で行う。
論文参考訳（メタデータ） (2022-05-12T03:28:03Z)
Deep Equilibrium Optical Flow Estimation [80.80992684796566]
最近のSOTA(State-of-the-art)光フローモデルでは、従来のアルゴリズムをエミュレートするために有限ステップの更新操作を使用する。これらのRNNは大きな計算とメモリオーバーヘッドを課し、そのような安定した推定をモデル化するために直接訓練されていない。暗黙的層の無限レベル固定点として直接流れを解く手法として,Deep equilibrium Flow estimatorを提案する。
論文参考訳（メタデータ） (2022-04-18T17:53:44Z)
Over-the-Air Federated Learning with Retransmissions (Extended Version) [21.37147806100865]
資源制約のある無線ネットワーク上でのフェデレート学習(FL)の収束に対する推定誤差の影響について検討する。資源制約のある無線ネットワーク上でFL収束を改善する手法として再送信を提案する。
論文参考訳（メタデータ） (2021-11-19T15:17:15Z)
Unit-Modulus Wireless Federated Learning Via Penalty Alternating Minimization [64.76619508293966]
Wireless Federated Learning(FL)は、分散データセットから無線通信を介してグローバルパラメトリックモデルをトレーニングする、新興機械学習パラダイムである。本稿では、ローカルモデルパラメータをアップロードし、無線通信を介してグローバルモデルパラメータを算出する無線FLフレームワークを提案する。
論文参考訳（メタデータ） (2021-08-31T08:19:54Z)
Edge Federated Learning Via Unit-Modulus Over-The-Air Computation (Extended Version) [64.76619508293966]
本稿では,効率の良いエッジフェデレーション学習を実現するために,UM-AirCompフレームワークを提案する。ローカルモデルパラメータを同時にアップロードし、アナログビームフォーミングを通じてグローバルモデルパラメータを更新する。車両間自動運転シミュレーションプラットフォームにおけるUM-AirCompの実装を実演する。
論文参考訳（メタデータ） (2021-01-28T15:10:22Z)
Rate Region for Indirect Multiterminal Source Coding in Federated Learning [49.574683687858126]
多数のエッジデバイスは、ローカルモデルの各ラウンドでアップデートをエッジに送信します。既存の作品は、異なるエッジによって送信される情報の焦点を活用しない。本稿では,間接多端音源符号化 fl のレート領域について検討する。
論文参考訳（メタデータ） (2021-01-21T16:17:39Z)
Over-the-Air Federated Learning from Heterogeneous Data [107.05618009955094]
フェデレートラーニング(Federated Learning、FL)は、集中型モデルの分散ラーニングのためのフレームワークである。我々は,共通局所勾配勾配勾配(SGD)FLアルゴリズムを強化するコンバージェント OTA FL (COTAF) アルゴリズムを開発した。我々は,COTAFにより誘導されるプリコーディングが,OTA FLを用いて訓練されたモデルの収束率と精度を顕著に向上させることを示す。
論文参考訳（メタデータ） (2020-09-27T08:28:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。