論文の概要: Federated Learning With Quantized Global Model Updates
- arxiv url: http://arxiv.org/abs/2006.10672v2
- Date: Wed, 7 Oct 2020 01:15:06 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-19 14:34:38.426874
- Title: Federated Learning With Quantized Global Model Updates
- Title（参考訳）: 量子化グローバルモデル更新による連合学習
- Authors: Mohammad Mohammadi Amiri, Deniz Gunduz, Sanjeev R. Kulkarni, H.
Vincent Poor
- Abstract要約: モバイル端末がローカルデータセットを使用してグローバルモデルをトレーニングできるフェデレーション学習について検討する。
本稿では,大域的モデルと局所的モデル更新の両方を,送信前に量子化する損失FL(LFL)アルゴリズムを提案する。
- 参考スコア（独自算出の注目度）: 84.55126371346452
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study federated learning (FL), which enables mobile devices to utilize
their local datasets to collaboratively train a global model with the help of a
central server, while keeping data localized. At each iteration, the server
broadcasts the current global model to the devices for local training, and
aggregates the local model updates from the devices to update the global model.
Previous work on the communication efficiency of FL has mainly focused on the
aggregation of model updates from the devices, assuming perfect broadcasting of
the global model. In this paper, we instead consider broadcasting a compressed
version of the global model. This is to further reduce the communication cost
of FL, which can be particularly limited when the global model is to be
transmitted over a wireless medium. We introduce a lossy FL (LFL) algorithm, in
which both the global model and the local model updates are quantized before
being transmitted. We analyze the convergence behavior of the proposed LFL
algorithm assuming the availability of accurate local model updates at the
server. Numerical experiments show that the proposed LFL scheme, which
quantizes the global model update (with respect to the global model estimate at
the devices) rather than the global model itself, significantly outperforms
other existing schemes studying quantization of the global model at the
PS-to-device direction. Also, the performance loss of the proposed scheme is
marginal compared to the fully lossless approach, where the PS and the devices
transmit their messages entirely without any quantization.
- Abstract（参考訳）: 我々は,モバイル端末がローカルデータセットを利用して,中央サーバの助けを借りてグローバルモデルを協調訓練することを可能にするフェデレートラーニング(FL)について検討した。
各イテレーションにおいて、サーバは現在のグローバルモデルをローカルトレーニングのためにデバイスにブロードキャストし、ローカルモデルのアップデートをデバイスから集約してグローバルモデルを更新します。
FLの通信効率に関するこれまでの研究は主に,グローバルモデルの完全放送を想定したデバイスからのモデル更新の集約に重点を置いてきた。
本稿では,グローバルモデルの圧縮版を放送することを検討する。
これは、グローバルモデルが無線媒体を介して送信される場合に特に制限されるFLの通信コストをさらに削減することを目的としている。
本稿では,大域的モデルと局所的モデル更新の両方を,送信前に量子化する損失FL(LFL)アルゴリズムを提案する。
サーバ上での正確なローカルモデル更新の可用性を前提としたLFLアルゴリズムの収束挙動を解析する。
数値実験により、グローバルモデル自体ではなく、グローバルモデル更新(デバイスにおけるグローバルモデル推定に関して)を定量化するlflスキームは、ps-to-device方向にグローバルモデルの量子化を研究する他の既存のスキームを大きく上回っていることが示された。
また、提案手法の性能損失は、PSとデバイスが量子化なしでメッセージを完全に送信する完全に損失のない手法と比較しても限界がある。
関連論文リスト
- Federated Learning with MMD-based Early Stopping for Adaptive GNSS Interference Classification [4.674584508653125]
フェデレートラーニング(FL)は、複数のデバイスがローカルサーバ上のデータを維持しながら、グローバルモデルを協調的にトレーニングすることを可能にする。
本稿では,グローバルサーバ上でのモデルの重み付けと数ショット学習を用いたFL手法を提案する。
FLの模範的な応用は、グローバルナビゲーション衛星システム(GNSS)受信機からのスナップショットに基づいた干渉分類のために、高速道路に沿って機械学習モデルを編成することである。
論文 参考訳（メタデータ） (2024-10-21T06:43:04Z) - Stragglers-Aware Low-Latency Synchronous Federated Learning via Layer-Wise Model Updates [71.81037644563217]
同期フェデレーションラーニング(FL)は、協調エッジラーニングの一般的なパラダイムである。
一部のデバイスは計算資源が限られており、様々な可用性があるため、FLレイテンシはストラグラーに非常に敏感である。
本稿では,NNの最適化手法をバックプロパゲーションにより活用し,グローバルモデルを階層的に更新するストラグラー対応層対応学習(SALF)を提案する。
論文 参考訳（メタデータ） (2024-03-27T09:14:36Z) - Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。
FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。
そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
論文 参考訳（メタデータ） (2023-11-12T11:01:10Z) - FedSoup: Improving Generalization and Personalization in Federated
Learning via Selective Model Interpolation [32.36334319329364]
クロスサイロフェデレーション学習(FL)は、データセンタに分散したデータセット上での機械学習モデルの開発を可能にする。
近年の研究では、現在のFLアルゴリズムは、分布シフトに直面した場合、局所的な性能とグローバルな性能のトレードオフに直面している。
地域とグローバルのパフォーマンスのトレードオフを最適化する新しいフェデレーションモデルスープ手法を提案する。
論文 参考訳（メタデータ） (2023-07-20T00:07:29Z) - Fed-FSNet: Mitigating Non-I.I.D. Federated Learning via Fuzzy
Synthesizing Network [19.23943687834319]
フェデレートラーニング(FL)は、将来性のあるプライバシ保護分散機械学習フレームワークとして登場した。
我々は、Fed-FSNetと呼ばれる新しいFLトレーニングフレームワークを提案し、Fed-FSNet(Fed-FSNet)を適切に設計し、非I.I.D.のオープンソース問題を軽減する。
論文 参考訳（メタデータ） (2022-08-21T18:40:51Z) - Parallel Successive Learning for Dynamic Distributed Model Training over
Heterogeneous Wireless Networks [50.68446003616802]
フェデレートラーニング(Federated Learning, FedL)は、一連の無線デバイスにモデルトレーニングを配布する一般的なテクニックとして登場した。
我々は,FedLアーキテクチャを3次元に拡張した並列逐次学習(PSL)を開発した。
我々の分析は、分散機械学習におけるコールド対ウォームアップモデルの概念とモデル慣性について光を当てている。
論文 参考訳（メタデータ） (2022-02-07T05:11:01Z) - Gradual Federated Learning with Simulated Annealing [26.956032164461377]
フェデレート平均化(FedAvg)は、ローカルモデルを平均化してグローバルモデルを更新する一般的なフェデレーション学習(FL)技術である。
本稿では,シミュレーションアニーリングに基づく新しいFL法を提案する。
本稿では,従来のFedAvg法よりも収束速度と分類精度が優れていることを示す。
論文 参考訳（メタデータ） (2021-10-11T11:57:56Z) - Federated Learning with Downlink Device Selection [92.14944020945846]
我々は,無線ネットワークのエッジにおいて,プライバシーに敏感なデータを用いてグローバルモデルを協調訓練するフェデレーションエッジ学習について検討した。
パラメータサーバ(PS)は、グローバルモデルを追跡し、無線エッジデバイスと共有して、プライベートローカルデータを使用したトレーニングを行う。
デバイス選択は、PSがデバイスとグローバルモデルを共有するダウンリンクチャネルに基づいて検討する。
論文 参考訳（メタデータ） (2021-07-07T22:42:39Z) - Think Locally, Act Globally: Federated Learning with Local and Global
Representations [92.68484710504666]
フェデレートラーニング(Federated Learning)とは、複数のデバイスに分散したプライベートデータ上でモデルをトレーニングする手法である。
本稿では,各デバイス上でコンパクトな局所表現を共同で学習する新しいフェデレーション学習アルゴリズムを提案する。
また、プライバシが鍵となる実世界のモバイルデータから、パーソナライズされた気分予測のタスクを評価する。
論文 参考訳（メタデータ） (2020-01-06T12:40:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。