論文の概要: Compression with Exact Error Distribution for Federated Learning
- arxiv url: http://arxiv.org/abs/2310.20682v1
- Date: Tue, 31 Oct 2023 17:48:22 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-01 13:54:19.480405
- Title: Compression with Exact Error Distribution for Federated Learning
- Title(参考訳): フェデレーション学習における厳密な誤差分布による圧縮
- Authors: Mahmoud Hegazy, R\'emi Leluc, Cheuk Ting Li, Aymeric Dieuleveut
- Abstract要約: 正確な誤差分布を達成するための層状量子化器に基づいて,異なるアグリゲーション方式を提案し,解析する。
提案手法を応用して,差分プライバシアプリケーションにおける圧縮自由化を実現する。
- 参考スコア(独自算出の注目度): 33.74795273515338
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Compression schemes have been extensively used in Federated Learning (FL) to
reduce the communication cost of distributed learning. While most approaches
rely on a bounded variance assumption of the noise produced by the compressor,
this paper investigates the use of compression and aggregation schemes that
produce a specific error distribution, e.g., Gaussian or Laplace, on the
aggregated data. We present and analyze different aggregation schemes based on
layered quantizers achieving exact error distribution. We provide different
methods to leverage the proposed compression schemes to obtain
compression-for-free in differential privacy applications. Our general
compression methods can recover and improve standard FL schemes with Gaussian
perturbations such as Langevin dynamics and randomized smoothing.
- Abstract(参考訳): 分散学習の通信コストを削減するために、圧縮スキームは連合学習(fl)で広く使われている。
圧縮器が生成する雑音の有界分散の仮定に多くのアプローチが依存しているが、本論文は集約されたデータに対して特定の誤差分布、例えばガウス分布やラプラス分布を生成する圧縮および凝集スキームの使用について検討する。
正確な誤差分布を達成するための層状量子化器に基づいて,異なるアグリゲーション方式を提案し,解析する。
提案手法を応用して,差分プライバシーアプリケーションにおける圧縮自由化を実現する。
我々の一般的な圧縮手法は、ランジュバンダイナミクスやランダム化平滑化といったガウス摂動を伴う標準flスキームを復元し改善することができる。
関連論文リスト
- Optimal Compression of Unit Norm Vectors in the High Distortion Regime [30.6205706348233]
本稿では,単位ノルムベクトルを最小ビット数に圧縮する手法について検討する。
本研究は, バイアス圧縮法と非バイアス圧縮法の両方を考察し, 最適圧縮率を決定する。
結果は新しいものと既知のものが混在しているが、完全性のためにこの論文にまとめられている。
論文 参考訳(メタデータ) (2023-07-16T04:23:57Z) - Unrolled Compressed Blind-Deconvolution [77.88847247301682]
sparse multi channel blind deconvolution (S-MBD) はレーダー/ソナー/超音波イメージングなどの多くの工学的応用で頻繁に発生する。
そこで本研究では,受信した全信号に対して,はるかに少ない測定値からブラインドリカバリを可能にする圧縮手法を提案する。
論文 参考訳(メタデータ) (2022-09-28T15:16:58Z) - EF-BV: A Unified Theory of Error Feedback and Variance Reduction
Mechanisms for Biased and Unbiased Compression in Distributed Optimization [7.691755449724637]
分散最適化と学習では、異なるコンピュータユニット間の通信がボトルネックとなることが多い。
圧縮演算子には2つのクラスがあり、それを利用するアルゴリズムは別々である。
本稿では,特にDIANAとEF21を復元する新しいアルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-05-09T10:44:23Z) - Federated Random Reshuffling with Compression and Variance Reduction [0.0]
ランダムリシャッフル(RR)は、経験的リスク最小化を通じて教師付き機械学習モデルをトレーニングするための非常に一般的な方法である。
組み込みであり、しばしば標準の機械学習ソフトウェアでデフォルトとして設定される。
我々はFedRRをさらに改善するための3つの新しいアルゴリズムを紹介した。1つはシャッフルによる分散を、もう1つは圧縮による分散をモデル化する。
論文 参考訳(メタデータ) (2022-05-08T16:46:11Z) - Distributed Methods with Absolute Compression and Error Compensation [1.52292571922932]
コミュニケーション圧縮はこの問題を緩和するための強力なアプローチである。
本稿では,任意のサンプリング戦略に対する絶対圧縮によるEC-SGDの解析を一般化する。
この設定では、以前知られていたものよりも私たちのレートが向上します。
論文 参考訳(メタデータ) (2022-03-04T15:41:14Z) - Communication-Efficient Federated Learning via Quantized Compressed
Sensing [82.10695943017907]
提案フレームワークは,無線機器の勾配圧縮とパラメータサーバの勾配再構成からなる。
勾配スペーシフィケーションと量子化により、我々の戦略は1ビット勾配圧縮よりも高い圧縮比を達成することができる。
圧縮を行わない場合とほぼ同じ性能を実現できることを示す。
論文 参考訳(メタデータ) (2021-11-30T02:13:54Z) - Innovation Compression for Communication-efficient Distributed
Optimization with Linear Convergence [23.849813231750932]
本稿では,強い凸最適化問題を解決するために,通信効率のよい線形収束分散(COLD)アルゴリズムを提案する。
イノベーションベクターを圧縮することで、COLDは$delta$-contractedコンプレッサーのクラスに対して線形収束を達成できます。
数値実験は、異なる圧縮機の下で両方のアルゴリズムの利点を実証する。
論文 参考訳(メタデータ) (2021-05-14T08:15:18Z) - Unfolding Neural Networks for Compressive Multichannel Blind
Deconvolution [71.29848468762789]
圧縮性多チャネルブラインドデコンボリューション問題に対する学習構造付き展開型ニューラルネットワークを提案する。
この問題では、各チャネルの測定は共通のソース信号とスパースフィルタの畳み込みとして与えられる。
提案手法は,従来の圧縮型マルチチャネルブラインドデコンボリューション法よりも,スパースフィルタの精度と高速化の点で優れていることを示す。
論文 参考訳(メタデータ) (2020-10-22T02:34:33Z) - Learning, compression, and leakage: Minimising classification error via
meta-universal compression principles [87.054014983402]
学習シナリオのための圧縮技法の有望なグループは、正規化極大(NML)符号化である。
ここでは,教師付き分類問題に対するNMLに基づく意思決定戦略を検討し,多種多様なモデルに適用した場合にPAC学習を実現することを示す。
本手法の誤分類率は,プライバシに敏感なシナリオにおいて,データ漏洩の可能性を定量化するための指標である最大リークによって上限づけられていることを示す。
論文 参考訳(メタデータ) (2020-10-14T20:03:58Z) - PowerGossip: Practical Low-Rank Communication Compression in
Decentralized Deep Learning [62.440827696638664]
本稿では,近隣労働者間のモデル差を直接圧縮する簡単なアルゴリズムを提案する。
中央集権的なディープラーニングのためにPowerSGDにインスパイアされたこのアルゴリズムは、パワーステップを使用して、1ビットあたりの転送情報を最大化する。
論文 参考訳(メタデータ) (2020-08-04T09:14:52Z) - On Biased Compression for Distributed Learning [55.89300593805943]
バイアス圧縮機が単一ノードと分散設定の両方において線形収束率をもたらすことを初めて示す。
理論的保証と実用性能を期待できる新しいバイアス圧縮機を提案する。
論文 参考訳(メタデータ) (2020-02-27T19:52:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。