Fugu-MT 論文翻訳(概要): Communication-efficient Vertical Federated Learning via Compressed Error Feedback

論文の概要: Communication-efficient Vertical Federated Learning via Compressed Error Feedback

arxiv url: http://arxiv.org/abs/2406.14420v1
Date: Thu, 20 Jun 2024 15:40:38 GMT
ステータス: 処理完了
システム内更新日: 2024-06-21 13:03:05.443617
Title: Communication-efficient Vertical Federated Learning via Compressed Error Feedback
Title（参考訳）: 圧縮誤差フィードバックによるコミュニケーション効率のよい垂直フェデレーション学習
Authors: Pedro Valdeira, João Xavier, Cláudia Soares, Yuejie Chi,
Abstract要約: コミュニケーションのオーバーヘッドは、学習(FL)におけるボトルネックとして知られている。ネットワークをトレーニングするためのフェデレーションネットワーク上でのエラーフィードバックを提案する。 EFVFLは、スムーズな非重要な問題に対して、圧縮誤差をなくす必要はない。
参考スコア（独自算出の注目度）: 24.32409923443071
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Communication overhead is a known bottleneck in federated learning (FL). To address this, lossy compression is commonly used on the information communicated between the server and clients during training. In horizontal FL, where each client holds a subset of the samples, such communication-compressed training methods have recently seen significant progress. However, in their vertical FL counterparts, where each client holds a subset of the features, our understanding remains limited. To address this, we propose an error feedback compressed vertical federated learning (EFVFL) method to train split neural networks. In contrast with previous communication-compressed methods for vertical FL, EFVFL does not require a vanishing compression error for the gradient norm to converge to zero for smooth nonconvex problems. By leveraging error feedback, our method can achieve a $\mathcal{O}(1/T)$ convergence rate in the full-batch case, improving over the state-of-the-art $\mathcal{O}(1/\sqrt{T})$ rate under $\mathcal{O}(1/\sqrt{T})$ compression error, and matching the rate of uncompressed methods. Further, when the objective function satisfies the Polyak-{\L}ojasiewicz inequality, our method converges linearly. In addition to improving convergence rates, our method also supports the use of private labels. Numerical experiments show that EFVFL significantly improves over the prior art, confirming our theoretical results.
Abstract（参考訳）: コミュニケーションのオーバーヘッドは、連邦学習(FL)のボトルネックとして知られている。これを解決するために、トレーニング中にサーバとクライアントの間で通信される情報に対して、損失のある圧縮が一般的に使用される。各クライアントがサンプルのサブセットを保持する水平FLでは、このような通信圧縮訓練手法が近年顕著に進歩している。しかし、それぞれのクライアントが機能のサブセットを持っている、彼らの垂直FL版では、私たちの理解は限定的です。そこで本研究では,ニューラルネットワーク分割学習のための誤りフィードバック圧縮垂直連合学習(EFVFL)手法を提案する。垂直FLの従来の通信圧縮方式とは対照的に、EFVFLは滑らかな非凸問題に対して、勾配ノルムがゼロに収束する際の圧縮誤差を無くす必要はない。誤差フィードバックを利用することで、本手法は、フルバッチケースにおける$\mathcal{O}(1/T)$収束率を達成でき、最先端の$\mathcal{O}(1/\sqrt{T})$レートを$\mathcal{O}(1/\sqrt{T})$圧縮誤差で改善し、非圧縮メソッドのレートと一致させることができる。さらに、目的関数がpolyak-{\L}ojasiewiczの不等式を満たすとき、我々の方法は線形収束する。また,収束率の向上に加えて,個人ラベルの利用も支援している。数値実験により,EFVFLは従来の技術よりも有意に改善し,理論的な結果が得られた。

関連論文リスト

Vertical Federated Learning with Missing Features During Training and Inference [37.44022318612869]
本稿では,ニューラルネットワークに基づくモデルの学習と推論を効率的に行うための垂直連合学習手法を提案する。本手法は, 欠落した特徴がなくても, 最適近傍に線形収束することを示す。
論文参考訳（メタデータ） (2024-10-29T22:09:31Z)
Communication Efficient ConFederated Learning: An Event-Triggered SAGA Approach [67.27031215756121]
Federated Learning(FL)は、さまざまなデータソース上のローカルデータを収集することなく、モデルトレーニングをターゲットとする機械学習パラダイムである。単一のサーバを使用するStandard FLは、限られた数のユーザしかサポートできないため、学習能力の低下につながる。本研究では,多数のユーザに対応するために,emphConfederated Learning(CFL)と呼ばれるマルチサーバFLフレームワークを検討する。
論文参考訳（メタデータ） (2024-02-28T03:27:10Z)
Fed-CVLC: Compressing Federated Learning Communications with Variable-Length Codes [54.18186259484828]
フェデレートラーニング(FL)パラダイムでは、パラメータサーバ(PS)がモデル収集、更新アグリゲーション、複数のラウンドでのモデル分散のために、分散参加クライアントと同時通信する。 FLの圧縮には可変長が有用であることを示す。本稿では,Fed-CVLC(Federated Learning Compression with Variable-Length Codes)を提案する。
論文参考訳（メタデータ） (2024-02-06T07:25:21Z)
Communication-Efficient Vertical Federated Learning with Limited Overlapping Samples [34.576230628844506]
我々は,textbfone-shot VFLと呼ばれる垂直連合学習(VFL)フレームワークを提案する。提案したフレームワークでは、クライアントはサーバと一度か数回だけ通信する必要があります。提案手法は46.5%以上の精度向上と通信コストの330$times$の削減を実現している。
論文参考訳（メタデータ） (2023-03-28T19:30:23Z)
Improving Representational Continuity via Continued Pretraining [76.29171039601948]
トランスファーラーニングコミュニティ(LP-FT)は、ナイーブトレーニングやその他の継続的な学習方法よりも優れている。 LP-FTは、リアルタイム衛星リモートセンシングデータセット(FMoW)における忘れを減らす。 LP-FTの変種は、NLP連続学習ベンチマークで最先端の精度を得る。
論文参考訳（メタデータ） (2023-02-26T10:39:38Z)
FedDA: Faster Framework of Local Adaptive Gradient Methods via Restarted Dual Averaging [104.41634756395545]
フェデレートラーニング(Federated Learning, FL)は、大規模な分散データに取り組むための新たな学習パラダイムである。局所適応勾配法のための新しいフレームワークである textbfFedDA を提案する。 textbfFedDA-MVR は適応FLアルゴリズムとしては初めてこの速度を実現することを示す。
論文参考訳（メタデータ） (2023-02-13T05:10:30Z)
Improving the Model Consistency of Decentralized Federated Learning [68.2795379609854]
フェデレートラーニング(FL)は中央サーバーを捨て、各クライアントは、分散化された通信ネットワークで隣人とのみ通信する。既存のDFLは、ローカルクライアント間の不整合に悩まされ、FLFLに比べて劣る。 DFedSAMMGSを提案する。1lambda$はスペクトルゴシップ行列であり、$Q$はスパースデータギャップの数である。
論文参考訳（メタデータ） (2023-02-08T14:37:34Z)
Compressed-VFL: Communication-Efficient Learning with Vertically Partitioned Data [15.85259386116784]
本稿では,垂直分割データを用いたコミュニケーション訓練のための圧縮垂直学習(C-VFL)を提案する。 VFLは,圧縮精度を著しく低下させることなく,通信コストを90%以上削減できることを示す。
論文参考訳（メタデータ） (2022-06-16T17:34:07Z)
ProgFed: Effective, Communication, and Computation Efficient Federated Learning by Progressive Training [65.68511423300812]
本稿では,効率的なフェデレート学習のためのプログレッシブトレーニングフレームワークであるProgFedを提案する。 ProgFedは計算と双方向通信のコストを本質的に低減し、最終モデルの強力な性能を維持している。以上の結果から, ProgFed はフルモデルの標準トレーニングと同等の速度で収束することがわかった。
論文参考訳（メタデータ） (2021-10-11T14:45:00Z)
FLASHE: Additively Symmetric Homomorphic Encryption for Cross-Silo Federated Learning [9.177048551836897]
ホモモルフィック暗号化(HE)は、クロスサイロ・フェデレーション・ラーニング(FL)のための有望なプライバシー保護技術であるホモモルフィック暗号化(HE)は、クロスサイロ・フェデレーション・ラーニング(FL)のための有望なプライバシー保護技術である
論文参考訳（メタデータ） (2021-09-02T02:36:04Z)
CFedAvg: Achieving Efficient Communication and Fast Convergence in Non-IID Federated Learning [8.702106020664612]
フェデレートラーニング(Federated Learning, FL)は、多くの労働者がトレーニングデータを共有せずにモデルを共同で学習する分散ラーニングパラダイムである。 FLでは、ディープラーニング(ディープ)学習モデルと帯域幅接続によって高い通信コストが発生する可能性がある。本研究では,非バイアスのSNR制約圧縮機を用いたFL用分散通信データセットCFedAvgを紹介する。
論文参考訳（メタデータ） (2021-06-14T04:27:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。