論文の概要: Compression with Exact Error Distribution for Federated Learning

• arxiv url: http://arxiv.org/abs/2310.20682v1
• Date: Tue, 31 Oct 2023 17:48:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-01 13:54:19.480405
• Title: Compression with Exact Error Distribution for Federated Learning
• Title（参考訳）: フェデレーション学習における厳密な誤差分布による圧縮
• Authors: Mahmoud Hegazy, R\'emi Leluc, Cheuk Ting Li, Aymeric Dieuleveut
• Abstract要約: 正確な誤差分布を達成するための層状量子化器に基づいて,異なるアグリゲーション方式を提案し,解析する。 提案手法を応用して,差分プライバシアプリケーションにおける圧縮自由化を実現する。
• 参考スコア（独自算出の注目度）: 33.74795273515338
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Compression schemes have been extensively used in Federated Learning (FL) to reduce the communication cost of distributed learning. While most approaches rely on a bounded variance assumption of the noise produced by the compressor, this paper investigates the use of compression and aggregation schemes that produce a specific error distribution, e.g., Gaussian or Laplace, on the aggregated data. We present and analyze different aggregation schemes based on layered quantizers achieving exact error distribution. We provide different methods to leverage the proposed compression schemes to obtain compression-for-free in differential privacy applications. Our general compression methods can recover and improve standard FL schemes with Gaussian perturbations such as Langevin dynamics and randomized smoothing.
• Abstract（参考訳）: 分散学習の通信コストを削減するために、圧縮スキームは連合学習(fl)で広く使われている。 圧縮器が生成する雑音の有界分散の仮定に多くのアプローチが依存しているが、本論文は集約されたデータに対して特定の誤差分布、例えばガウス分布やラプラス分布を生成する圧縮および凝集スキームの使用について検討する。 正確な誤差分布を達成するための層状量子化器に基づいて,異なるアグリゲーション方式を提案し,解析する。 提案手法を応用して,差分プライバシーアプリケーションにおける圧縮自由化を実現する。 我々の一般的な圧縮手法は、ランジュバンダイナミクスやランダム化平滑化といったガウス摂動を伴う標準flスキームを復元し改善することができる。

関連論文リスト

• Problem-dependent convergence bounds for randomized linear gradient compression [4.656302602746228]
  分散最適化では、通信モデルの更新がパフォーマンスのボトルネックになる可能性がある。 最適化向上の手段として勾配圧縮法が提案されている。 我々は, 圧縮がスループットに与える影響を, ヘッセン目標のノルムの観点から検討する。
  論文  参考訳（メタデータ） (2024-11-19T22:26:42Z)
• Differential error feedback for communication-efficient decentralized learning [48.924131251745266]
  本稿では,差分量子化と誤りフィードバックをブレンドする分散通信効率学習手法を提案する。 その結果,平均二乗誤差と平均ビットレートの両面において通信効率が安定であることが示唆された。 その結果、小さなステップサイズで有限ビットの場合には、圧縮がない場合に達成可能な性能が得られることが判明した。
  論文  参考訳（メタデータ） (2024-06-26T15:11:26Z)
• Flattened one-bit stochastic gradient descent: compressed distributed optimization with controlled variance [55.01966743652196]
  パラメータ・サーバ・フレームワークにおける圧縮勾配通信を用いた分散勾配降下(SGD)のための新しいアルゴリズムを提案する。 平坦な1ビット勾配勾配勾配法(FO-SGD)は2つの単純なアルゴリズムの考え方に依存している。
  論文  参考訳（メタデータ） (2024-05-17T21:17:27Z)
• Optimal Compression of Unit Norm Vectors in the High Distortion Regime [30.6205706348233]
  本稿では,単位ノルムベクトルを最小ビット数に圧縮する手法について検討する。 本研究は, バイアス圧縮法と非バイアス圧縮法の両方を考察し, 最適圧縮率を決定する。 結果は新しいものと既知のものが混在しているが、完全性のためにこの論文にまとめられている。
  論文  参考訳（メタデータ） (2023-07-16T04:23:57Z)
• Unrolled Compressed Blind-Deconvolution [77.88847247301682]
  sparse multi channel blind deconvolution (S-MBD) はレーダー/ソナー/超音波イメージングなどの多くの工学的応用で頻繁に発生する。 そこで本研究では,受信した全信号に対して,はるかに少ない測定値からブラインドリカバリを可能にする圧縮手法を提案する。
  論文  参考訳（メタデータ） (2022-09-28T15:16:58Z)
• EF-BV: A Unified Theory of Error Feedback and Variance Reduction Mechanisms for Biased and Unbiased Compression in Distributed Optimization [7.691755449724637]
  分散最適化と学習では、異なるコンピュータユニット間の通信がボトルネックとなることが多い。 圧縮演算子には2つのクラスがあり、それを利用するアルゴリズムは別々である。 本稿では,特にDIANAとEF21を復元する新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-05-09T10:44:23Z)
• Federated Random Reshuffling with Compression and Variance Reduction [0.0]
  ランダムリシャッフル(RR)は、経験的リスク最小化を通じて教師付き機械学習モデルをトレーニングするための非常に一般的な方法である。 組み込みであり、しばしば標準の機械学習ソフトウェアでデフォルトとして設定される。 我々はFedRRをさらに改善するための3つの新しいアルゴリズムを紹介した。1つはシャッフルによる分散を、もう1つは圧縮による分散をモデル化する。
  論文  参考訳（メタデータ） (2022-05-08T16:46:11Z)
• Distributed Methods with Absolute Compression and Error Compensation [1.52292571922932]
  コミュニケーション圧縮はこの問題を緩和するための強力なアプローチである。 本稿では,任意のサンプリング戦略に対する絶対圧縮によるEC-SGDの解析を一般化する。 この設定では、以前知られていたものよりも私たちのレートが向上します。
  論文  参考訳（メタデータ） (2022-03-04T15:41:14Z)
• Communication-Efficient Federated Learning via Quantized Compressed Sensing [82.10695943017907]
  提案フレームワークは,無線機器の勾配圧縮とパラメータサーバの勾配再構成からなる。 勾配スペーシフィケーションと量子化により、我々の戦略は1ビット勾配圧縮よりも高い圧縮比を達成することができる。 圧縮を行わない場合とほぼ同じ性能を実現できることを示す。
  論文  参考訳（メタデータ） (2021-11-30T02:13:54Z)
• PowerGossip: Practical Low-Rank Communication Compression in Decentralized Deep Learning [62.440827696638664]
  本稿では,近隣労働者間のモデル差を直接圧縮する簡単なアルゴリズムを提案する。 中央集権的なディープラーニングのためにPowerSGDにインスパイアされたこのアルゴリズムは、パワーステップを使用して、1ビットあたりの転送情報を最大化する。
  論文  参考訳（メタデータ） (2020-08-04T09:14:52Z)
• On Biased Compression for Distributed Learning [55.89300593805943]
  バイアス圧縮機が単一ノードと分散設定の両方において線形収束率をもたらすことを初めて示す。 理論的保証と実用性能を期待できる新しいバイアス圧縮機を提案する。
  論文  参考訳（メタデータ） (2020-02-27T19:52:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。