論文の概要: Over-the-Air Federated Learning from Heterogeneous Data
- arxiv url: http://arxiv.org/abs/2009.12787v2
- Date: Fri, 2 Oct 2020 06:37:08 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-14 03:26:34.153766
- Title: Over-the-Air Federated Learning from Heterogeneous Data
- Title（参考訳）: 不均質データからのオーバーザ・エアフェデレート学習
- Authors: Tomer Sery, Nir Shlezinger, Kobi Cohen and Yonina C. Eldar
- Abstract要約: フェデレートラーニング(Federated Learning、FL)は、集中型モデルの分散ラーニングのためのフレームワークである。
我々は,共通局所勾配勾配勾配(SGD)FLアルゴリズムを強化するコンバージェント OTA FL (COTAF) アルゴリズムを開発した。
我々は,COTAFにより誘導されるプリコーディングが,OTA FLを用いて訓練されたモデルの収束率と精度を顕著に向上させることを示す。
- 参考スコア（独自算出の注目度）: 107.05618009955094
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) is a framework for distributed learning of
centralized models. In FL, a set of edge devices train a model using their
local data, while repeatedly exchanging their trained updates with a central
server. This procedure allows tuning a centralized model in a distributed
fashion without having the users share their possibly private data. In this
paper, we focus on over-the-air (OTA) FL, which has been suggested recently to
reduce the communication overhead of FL due to the repeated transmissions of
the model updates by a large number of users over the wireless channel. In OTA
FL, all users simultaneously transmit their updates as analog signals over a
multiple access channel, and the server receives a superposition of the analog
transmitted signals. However, this approach results in the channel noise
directly affecting the optimization procedure, which may degrade the accuracy
of the trained model. We develop a Convergent OTA FL (COTAF) algorithm which
enhances the common local stochastic gradient descent (SGD) FL algorithm,
introducing precoding at the users and scaling at the server, which gradually
mitigates the effect of the noise. We analyze the convergence of COTAF to the
loss minimizing model and quantify the effect of a statistically heterogeneous
setup, i.e. when the training data of each user obeys a different distribution.
Our analysis reveals the ability of COTAF to achieve a convergence rate similar
to that achievable over error-free channels. Our simulations demonstrate the
improved convergence of COTAF over vanilla OTA local SGD for training using
non-synthetic datasets. Furthermore, we numerically show that the precoding
induced by COTAF notably improves the convergence rate and the accuracy of
models trained via OTA FL.
- Abstract（参考訳）: Federated Learning (FL) は集中型モデルの分散学習のためのフレームワークである。
flでは、一連のエッジデバイスがローカルデータを使用してモデルをトレーニングし、トレーニングされたアップデートを中央サーバと繰り返し交換する。
この方法では、ユーザがプライベートなデータを共有せずに、集中的なモデルを分散形式でチューニングできる。
本稿では,最近提案されているover-the-air (ota) flに着目し,無線回線上の多数のユーザによるモデル更新の繰り返し送信により,flの通信オーバーヘッドを削減することを提案する。
OTA FLでは、すべてのユーザが同時に、複数のアクセスチャネル上でアナログ信号として更新を送信し、サーバはアナログ送信信号の重ね合わせを受け取る。
しかし、このアプローチは、チャネルノイズが最適化手順に直接影響し、トレーニングされたモデルの精度が低下する可能性がある。
本稿では,共通局所確率勾配降下(sgd)flアルゴリズムを拡張し,ユーザの事前コーディングとサーバのスケーリングを導入する収束型ota fl(cotaf)アルゴリズムを開発し,ノイズの影響を徐々に緩和する。
我々は,COTAFの損失最小化モデルへの収束を解析し,各ユーザのトレーニングデータが異なる分布に従えば,統計的に不均一な設定の効果を定量化する。
解析の結果,誤りのないチャネル上で実現可能な収束率をcotafが達成できることが明らかになった。
非合成データセットを用いたトレーニングのためのバニラOTA局所SGDに対するCOTAFの収束性の向上をシミュレーションにより実証した。
さらに,COTAFにより誘導されるプリコーディングにより,OTA FLを用いてトレーニングしたモデルの収束率と精度が著しく向上することを示す。
関連論文リスト
- An Aggregation-Free Federated Learning for Tackling Data Heterogeneity [50.44021981013037]
フェデレートラーニング(FL)は、分散データセットからの知識を活用する効果に頼っている。
従来のFLメソッドでは、クライアントが前回のトレーニングラウンドからサーバが集約したグローバルモデルに基づいてローカルモデルを更新するアグリゲート-then-adaptフレームワークを採用している。
我々は,新しいアグリゲーションフリーFLアルゴリズムであるFedAFを紹介する。
論文 参考訳（メタデータ） (2024-04-29T05:55:23Z) - Over-the-Air Federated Learning and Optimization [52.5188988624998]
エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。
本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。
エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。
さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
論文 参考訳（メタデータ） (2023-10-16T05:49:28Z) - Adaptive Model Pruning and Personalization for Federated Learning over
Wireless Networks [72.59891661768177]
フェデレーション学習(FL)は、データプライバシを保護しながら、エッジデバイス間での分散学習を可能にする。
これらの課題を克服するために、部分的なモデルプルーニングとパーソナライズを備えたFLフレームワークを検討する。
このフレームワークは、学習モデルを、データ表現を学ぶためにすべてのデバイスと共有されるモデルプルーニングと、特定のデバイスのために微調整されるパーソナライズされた部分とで、グローバルな部分に分割する。
論文 参考訳（メタデータ） (2023-09-04T21:10:45Z) - Channel and Gradient-Importance Aware Device Scheduling for Over-the-Air
Federated Learning [31.966999085992505]
フェデレートラーニング(Federated Learning、FL)は、プライバシ保護のための分散トレーニングスキームである。
チャネルノイズ歪みの負の影響を緩和するために,PO-FL というオーバー・ザ・エア FL のための機器スケジューリングフレームワークを提案する。
論文 参考訳（メタデータ） (2023-05-26T12:04:59Z) - Over-the-Air Federated Edge Learning with Hierarchical Clustering [21.51594138166343]
OTA(Over-the-air)アグリゲーションでは、パラメータサーバ(PS)の助けを借りて、モバイルユーザ(MU)がグローバルモデルに関するコンセンサスに到達することを目標としている。
OTA FLでは、MUはトレーニングラウンド毎にローカルデータを使用してモデルをトレーニングし、同じ周波数帯域を非符号化で同時に送信する。
OTA FLは通信コストが大幅に削減されているが、チャネル効果やノイズの影響を受けやすい。
我々は、中間サーバ(IS)を用いてMUがより密集した場所にクラスタを形成する無線ベースの階層FLスキームを提案する。
論文 参考訳（メタデータ） (2022-07-19T12:42:12Z) - Over-the-Air Federated Learning with Joint Adaptive Computation and
Power Control [30.7130850260223]
本稿では,オーバー・ザ・エア・コンピューティング・ラーニング(OTA-FL)について考察する。
OTA-FLは、無線媒体の重ね合わせ特性を利用して、空気上のアグリゲーションを無料で行う。
論文 参考訳（メタデータ） (2022-05-12T03:28:03Z) - Acceleration of Federated Learning with Alleviated Forgetting in Local
Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。
我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。
我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文 参考訳（メタデータ） (2022-03-05T02:31:32Z) - FedCAT: Towards Accurate Federated Learning via Device Concatenation [4.416919766772866]
Federated Learning(FL)は、すべてのデバイスが、ローカルデータのプライバシを公開することなく、グローバルモデルを協調的にトレーニングすることを可能にする。
非IIDシナリオでは、データの不均一性に起因する重みのばらつきにより、FLモデルの分類精度が大幅に低下する。
本稿では,Fed-Cat という新しいFLアプローチを導入し,提案したデバイス選択戦略とデバイス結合に基づく局所学習手法に基づいて,高精度なモデル精度を実現する。
論文 参考訳（メタデータ） (2022-02-23T10:08:43Z) - UVeQFed: Universal Vector Quantization for Federated Learning [179.06583469293386]
フェデレートラーニング(FL)は、ユーザがプライベートラベル付きデータを共有することなく、そのような学習モデルをトレーニングする、新たなアプローチである。
FLでは、各ユーザが学習モデルのコピーをローカルにトレーニングする。その後、サーバは個々の更新を収集し、それらをグローバルモデルに集約する。
普遍ベクトル量子化法をFLと組み合わせることで、訓練されたモデルの圧縮が最小歪みのみを誘導する分散トレーニングシステムが得られることを示す。
論文 参考訳（メタデータ） (2020-06-05T07:10:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。