論文の概要: Personalized Federated Learning with Communication Compression
- arxiv url: http://arxiv.org/abs/2209.05148v1
- Date: Mon, 12 Sep 2022 11:08:44 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-13 12:44:53.327014
- Title: Personalized Federated Learning with Communication Compression
- Title（参考訳）: コミュニケーション圧縮による個人化フェデレーション学習
- Authors: El Houcine Bergou, Konstantin Burlachenko, Aritra Dutta, Peter
Richt\'arik
- Abstract要約: 双方向通信プロトコルでL2GD(Loopless Gradient Descent)アルゴリズムを実装した。
我々のアルゴリズムは確率的通信プロトコルで動作しており、通信は固定されたスケジュールで行われない。
- 参考スコア（独自算出の注目度）: 5.389294754404344
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In contrast to training traditional machine learning (ML) models in data
centers, federated learning (FL) trains ML models over local datasets contained
on resource-constrained heterogeneous edge devices. Existing FL algorithms aim
to learn a single global model for all participating devices, which may not be
helpful to all devices participating in the training due to the heterogeneity
of the data across the devices. Recently, Hanzely and Richt\'{a}rik (2020)
proposed a new formulation for training personalized FL models aimed at
balancing the trade-off between the traditional global model and the local
models that could be trained by individual devices using their private data
only. They derived a new algorithm, called Loopless Gradient Descent (L2GD), to
solve it and showed that this algorithms leads to improved communication
complexity guarantees in regimes when more personalization is required. In this
paper, we equip their L2GD algorithm with a bidirectional compression mechanism
to further reduce the communication bottleneck between the local devices and
the server. Unlike other compression-based algorithms used in the FL-setting,
our compressed L2GD algorithm operates on a probabilistic communication
protocol, where communication does not happen on a fixed schedule. Moreover,
our compressed L2GD algorithm maintains a similar convergence rate as vanilla
SGD without compression. To empirically validate the efficiency of our
algorithm, we perform diverse numerical experiments on both convex and
non-convex problems and using various compression techniques.
- Abstract（参考訳）: データセンターにおける従来の機械学習(ML)モデルのトレーニングとは対照的に、フェデレーション学習(FL)は、リソース制約のある異種エッジデバイスに含まれるローカルデータセット上でMLモデルをトレーニングする。
既存のflアルゴリズムは、参加するすべてのデバイスに対して単一のグローバルモデルを学ぶことを目的としている。
hanzely と richt\'{a}rik (2020) は、従来のグローバルモデルと個々のデバイスでプライベートデータのみを使用してトレーニング可能なローカルモデルとのトレードオフをバランスさせることを目的とした、パーソナライズされたflモデルのトレーニングのための新しい定式化を提案した。
彼らはLoopless Gradient Descent (L2GD)と呼ばれる新しいアルゴリズムを考案し、このアルゴリズムがよりパーソナライズが必要な場合の通信複雑性の保証を改善することを示した。
本稿では,l2gdアルゴリズムに双方向圧縮機構を導入することで,ローカルデバイスとサーバ間の通信ボトルネックをさらに低減する。
fl設定で使用される他の圧縮ベースのアルゴリズムとは異なり、我々の圧縮l2gdアルゴリズムは、固定されたスケジュールで通信が起こらない確率的通信プロトコルで動作する。
さらに,圧縮されたL2GDアルゴリズムは圧縮のないバニラSGDと同様の収束率を維持する。
提案アルゴリズムの有効性を実証的に検証するために, 凸問題と非凸問題の両方について多種多様な数値実験を行った。
関連論文リスト
- FedLPS: Heterogeneous Federated Learning for Multiple Tasks with Local
Parameter Sharing [14.938531944702193]
局所異種共有を用いたフェデレーション学習(FedLPS)を提案する。
FedLPSは転送学習を使用して、ローカルモデルを共有エンコーダとタスク固有のエンコーダに分割することで、複数のタスクをひとつのデバイスにデプロイする。
FedLPSは最先端(SOTA)のFLフレームワークを最大4.88%上回り、計算資源消費量を21.3%減らす。
論文 参考訳（メタデータ） (2024-02-13T16:30:30Z) - Convergence Visualizer of Decentralized Federated Distillation with
Reduced Communication Costs [3.2098126952615442]
フェデレートラーニング(FL)は、データ共有を必要とせずに協調学習を実現し、プライバシーの漏洩を防ぐ。
本研究では,CMFD の未解決課題として,(1) 通信コストの削減と(2) モデル収束の可視化の2つを解決した。
論文 参考訳（メタデータ） (2023-12-19T07:23:49Z) - DYNAMITE: Dynamic Interplay of Mini-Batch Size and Aggregation Frequency
for Federated Learning with Static and Streaming Dataset [23.11152686493894]
Federated Learning(FL)は、異種エッジデバイスをコーディネートして、プライベートデータを共有せずにモデルトレーニングを実行する分散学習パラダイムである。
本稿では、バッチサイズと集約周波数の相互作用を利用して、動的FLトレーニングにおける収束、コスト、完了時間間のトレードオフをナビゲートする新しい解析モデルと最適化アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-10-20T08:36:12Z) - Over-the-Air Federated Learning and Optimization [52.5188988624998]
エッジ・ザ・エア計算(AirComp)によるフェデレーション学習(FL)に焦点を当てる。
本稿では,AirComp ベースの FedAvg (AirFedAvg) アルゴリズムの凸および非凸条件下での収束について述べる。
エッジデバイス(モデル、勾配、モデル差など)で送信できるローカルアップデートの種類によって、AirFedAvgで送信するとアグリゲーションエラーが発生する可能性がある。
さらに、より実用的な信号処理方式を検討し、通信効率を改善し、これらの信号処理方式によって引き起こされるモデル集約誤差の異なる形式に収束解析を拡張する。
論文 参考訳（メタデータ） (2023-10-16T05:49:28Z) - Semi-Federated Learning: Convergence Analysis and Optimization of A
Hybrid Learning Framework [70.83511997272457]
本稿では,ベースステーション(BS)とデバイスの両方を活用するセミフェデレーション学習(SemiFL)パラダイムを提案し,中央集権学習(CL)とFLのハイブリッド実装を提案する。
我々はこの難解な問題を解くための2段階のアルゴリズムを提案し、ビームフォーマに閉形式解を提供する。
論文 参考訳（メタデータ） (2023-10-04T03:32:39Z) - Vertical Federated Learning over Cloud-RAN: Convergence Analysis and
System Optimization [82.12796238714589]
高速かつ正確なモデルアグリゲーションを実現するために,クラウド無線アクセスネットワーク(Cloud-RAN)ベースの垂直FLシステムを提案する。
アップリンクとダウンリンクの両方の伝送を考慮した垂直FLアルゴリズムの収束挙動を特徴付ける。
我々は,連続凸近似と代替凸探索に基づくシステム最適化アルゴリズムを開発した,連系トランシーバとフロントホール量子化設計によるシステム最適化フレームワークを構築した。
論文 参考訳（メタデータ） (2023-05-04T09:26:03Z) - Parallel Successive Learning for Dynamic Distributed Model Training over
Heterogeneous Wireless Networks [50.68446003616802]
フェデレートラーニング(Federated Learning, FedL)は、一連の無線デバイスにモデルトレーニングを配布する一般的なテクニックとして登場した。
我々は,FedLアーキテクチャを3次元に拡張した並列逐次学習(PSL)を開発した。
我々の分析は、分散機械学習におけるコールド対ウォームアップモデルの概念とモデル慣性について光を当てている。
論文 参考訳（メタデータ） (2022-02-07T05:11:01Z) - Federated Learning Based on Dynamic Regularization [43.137064459520886]
本稿では,ニューラルネットワークモデルを分散学習するための新しいフェデレーション学習手法を提案する。
サーバは、各ラウンドでランダムに選択されたデバイスのサブセット間の協力を編成する。
論文 参考訳（メタデータ） (2021-11-08T03:58:28Z) - FedPD: A Federated Learning Framework with Optimal Rates and Adaptivity
to Non-IID Data [59.50904660420082]
フェデレートラーニング(FL)は、分散データから学ぶための一般的なパラダイムになっています。
クラウドに移行することなく、さまざまなデバイスのデータを効果的に活用するために、Federated Averaging(FedAvg)などのアルゴリズムでは、"Computation then aggregate"(CTA)モデルを採用している。
論文 参考訳（メタデータ） (2020-05-22T23:07:42Z) - A Compressive Sensing Approach for Federated Learning over Massive MIMO
Communication Systems [82.2513703281725]
フェデレートラーニング(Federated Learning)は、無線デバイスとのコラボレーションによって、中央サーバでグローバルモデルをトレーニングするための、プライバシ保護のアプローチである。
本稿では,大規模マルチインプット多出力通信システム上でのフェデレーション学習のための圧縮センシング手法を提案する。
論文 参考訳（メタデータ） (2020-03-18T05:56:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。