論文の概要: Communication-efficient Vertical Federated Learning via Compressed Error Feedback
- arxiv url: http://arxiv.org/abs/2406.14420v1
- Date: Thu, 20 Jun 2024 15:40:38 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-21 13:03:05.443617
- Title: Communication-efficient Vertical Federated Learning via Compressed Error Feedback
- Title（参考訳）: 圧縮誤差フィードバックによるコミュニケーション効率のよい垂直フェデレーション学習
- Authors: Pedro Valdeira, João Xavier, Cláudia Soares, Yuejie Chi,
- Abstract要約: コミュニケーションのオーバーヘッドは、学習(FL)におけるボトルネックとして知られている。
ネットワークをトレーニングするためのフェデレーションネットワーク上でのエラーフィードバックを提案する。
EFVFLは、スムーズな非重要な問題に対して、圧縮誤差をなくす必要はない。
- 参考スコア（独自算出の注目度）: 24.32409923443071
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Communication overhead is a known bottleneck in federated learning (FL). To address this, lossy compression is commonly used on the information communicated between the server and clients during training. In horizontal FL, where each client holds a subset of the samples, such communication-compressed training methods have recently seen significant progress. However, in their vertical FL counterparts, where each client holds a subset of the features, our understanding remains limited. To address this, we propose an error feedback compressed vertical federated learning (EFVFL) method to train split neural networks. In contrast with previous communication-compressed methods for vertical FL, EFVFL does not require a vanishing compression error for the gradient norm to converge to zero for smooth nonconvex problems. By leveraging error feedback, our method can achieve a $\mathcal{O}(1/T)$ convergence rate in the full-batch case, improving over the state-of-the-art $\mathcal{O}(1/\sqrt{T})$ rate under $\mathcal{O}(1/\sqrt{T})$ compression error, and matching the rate of uncompressed methods. Further, when the objective function satisfies the Polyak-{\L}ojasiewicz inequality, our method converges linearly. In addition to improving convergence rates, our method also supports the use of private labels. Numerical experiments show that EFVFL significantly improves over the prior art, confirming our theoretical results.
- Abstract（参考訳）: コミュニケーションのオーバーヘッドは、連邦学習(FL)のボトルネックとして知られている。
これを解決するために、トレーニング中にサーバとクライアントの間で通信される情報に対して、損失のある圧縮が一般的に使用される。
各クライアントがサンプルのサブセットを保持する水平FLでは、このような通信圧縮訓練手法が近年顕著に進歩している。
しかし、それぞれのクライアントが機能のサブセットを持っている、彼らの垂直FL版では、私たちの理解は限定的です。
そこで本研究では,ニューラルネットワーク分割学習のための誤りフィードバック圧縮垂直連合学習(EFVFL)手法を提案する。
垂直FLの従来の通信圧縮方式とは対照的に、EFVFLは滑らかな非凸問題に対して、勾配ノルムがゼロに収束する際の圧縮誤差を無くす必要はない。
誤差フィードバックを利用することで、本手法は、フルバッチケースにおける$\mathcal{O}(1/T)$収束率を達成でき、最先端の$\mathcal{O}(1/\sqrt{T})$レートを$\mathcal{O}(1/\sqrt{T})$圧縮誤差で改善し、非圧縮メソッドのレートと一致させることができる。
さらに、目的関数がpolyak-{\L}ojasiewiczの不等式を満たすとき、我々の方法は線形収束する。
また,収束率の向上に加えて,個人ラベルの利用も支援している。
数値実験により,EFVFLは従来の技術よりも有意に改善し,理論的な結果が得られた。
関連論文リスト
- Communication and Energy Efficient Federated Learning using Zero-Order Optimization Technique [14.986031916712108]
Federated Learning(FL)は、複数のユーザがユーザのデータのプライバシを維持しながら、協力的にモデルをトレーニングできる、一般的な機械学習テクニックである。
FLにおける重要な課題は、アップロード方向の通信ボトルネックと、それに対応する機器のエネルギー消費である。
本手法は, 標準勾配法に比べて, 通信オーバヘッドとエネルギーの面で優れていることを示す。
論文 参考訳（メタデータ） (2024-09-24T20:57:22Z) - Fed-CVLC: Compressing Federated Learning Communications with
Variable-Length Codes [54.18186259484828]
フェデレートラーニング(FL)パラダイムでは、パラメータサーバ(PS)がモデル収集、更新アグリゲーション、複数のラウンドでのモデル分散のために、分散参加クライアントと同時通信する。
FLの圧縮には可変長が有用であることを示す。
本稿では,Fed-CVLC(Federated Learning Compression with Variable-Length Codes)を提案する。
論文 参考訳（メタデータ） (2024-02-06T07:25:21Z) - FedDA: Faster Framework of Local Adaptive Gradient Methods via Restarted
Dual Averaging [104.41634756395545]
フェデレートラーニング(Federated Learning, FL)は、大規模な分散データに取り組むための新たな学習パラダイムである。
局所適応勾配法のための新しいフレームワークである textbfFedDA を提案する。
textbfFedDA-MVR は適応FLアルゴリズムとしては初めてこの速度を実現することを示す。
論文 参考訳（メタデータ） (2023-02-13T05:10:30Z) - TCT: Convexifying Federated Learning using Bootstrapped Neural Tangent
Kernels [141.29156234353133]
最先端の凸学習手法は、クライアントが異なるデータ分布を持つ場合、集中型よりもはるかにパフォーマンスが劣る。
我々は、この格差は、非NISTityが提示した課題に大きく起因していることを示す。
本稿では,Train-Convexify Neural Network (TCT) 手法を提案する。
論文 参考訳（メタデータ） (2022-07-13T16:58:22Z) - Compressed-VFL: Communication-Efficient Learning with Vertically
Partitioned Data [15.85259386116784]
本稿では,垂直分割データを用いたコミュニケーション訓練のための圧縮垂直学習(C-VFL)を提案する。
VFLは,圧縮精度を著しく低下させることなく,通信コストを90%以上削減できることを示す。
論文 参考訳（メタデータ） (2022-06-16T17:34:07Z) - CFedAvg: Achieving Efficient Communication and Fast Convergence in
Non-IID Federated Learning [8.702106020664612]
フェデレートラーニング(Federated Learning, FL)は、多くの労働者がトレーニングデータを共有せずにモデルを共同で学習する分散ラーニングパラダイムである。
FLでは、ディープラーニング(ディープ)学習モデルと帯域幅接続によって高い通信コストが発生する可能性がある。
本研究では,非バイアスのSNR制約圧縮機を用いたFL用分散通信データセットCFedAvgを紹介する。
論文 参考訳（メタデータ） (2021-06-14T04:27:19Z) - Compressed Communication for Distributed Training: Adaptive Methods and
System [13.244482588437972]
通信オーバーヘッドは、分散機械学習システムのスケーラビリティを著しく妨げます。
近年,通信オーバーヘッドを低減するために勾配圧縮を使うことへの関心が高まっている。
本稿では, グラデーション圧縮を用いた新しい適応勾配法を提案する。
論文 参考訳（メタデータ） (2021-05-17T13:41:47Z) - Faster Non-Convex Federated Learning via Global and Local Momentum [57.52663209739171]
textttFedGLOMOは最初の(一階)FLtexttFedGLOMOアルゴリズムです。
クライアントとサーバ間の通信においても,我々のアルゴリズムは確実に最適である。
論文 参考訳（メタデータ） (2020-12-07T21:05:31Z) - Over-the-Air Federated Learning from Heterogeneous Data [107.05618009955094]
フェデレートラーニング(Federated Learning、FL)は、集中型モデルの分散ラーニングのためのフレームワークである。
我々は,共通局所勾配勾配勾配(SGD)FLアルゴリズムを強化するコンバージェント OTA FL (COTAF) アルゴリズムを開発した。
我々は,COTAFにより誘導されるプリコーディングが,OTA FLを用いて訓練されたモデルの収束率と精度を顕著に向上させることを示す。
論文 参考訳（メタデータ） (2020-09-27T08:28:25Z) - VAFL: a Method of Vertical Asynchronous Federated Learning [40.423372614317195]
水平学習(FL)は、同じ機能のセットを共有するマルチクライアントデータを扱う。
垂直FLは、異なるクライアントからの摂動を組み合わせたより良い予測器を訓練する。
論文 参考訳（メタデータ） (2020-07-12T20:09:25Z) - On Biased Compression for Distributed Learning [55.89300593805943]
バイアス圧縮機が単一ノードと分散設定の両方において線形収束率をもたらすことを初めて示す。
理論的保証と実用性能を期待できる新しいバイアス圧縮機を提案する。
論文 参考訳（メタデータ） (2020-02-27T19:52:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。