論文の概要: Unbiased Compression Saves Communication in Distributed Optimization:
When and How Much?
- arxiv url: http://arxiv.org/abs/2305.16297v1
- Date: Thu, 25 May 2023 17:51:23 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-26 13:24:11.496901
- Title: Unbiased Compression Saves Communication in Distributed Optimization:
When and How Much?
- Title（参考訳）: Unbiased Compressionは分散最適化におけるコミュニケーションを省く: いつ、どのくらいか?
- Authors: Yutong He, Xinmeng Huang, Kun Yuan
- Abstract要約: 通信圧縮は、圧縮された勾配とモデルパラメータを伝達することで通信オーバーヘッドを軽減することができる。
しかし、圧縮は情報歪みを導入し、収束を遅くし、より多くの通信ラウンドを発生させ、望ましいソリューションを実現する。
本稿では, 圧縮方式として広く用いられている非バイアス圧縮が, 通信コストを削減できる条件について検討する。
- 参考スコア（独自算出の注目度）: 8.359949847731443
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Communication compression is a common technique in distributed optimization
that can alleviate communication overhead by transmitting compressed gradients
and model parameters. However, compression can introduce information
distortion, which slows down convergence and incurs more communication rounds
to achieve desired solutions. Given the trade-off between lower per-round
communication costs and additional rounds of communication, it is unclear
whether communication compression reduces the total communication cost.
This paper explores the conditions under which unbiased compression, a widely
used form of compression, can reduce the total communication cost, as well as
the extent to which it can do so. To this end, we present the first theoretical
formulation for characterizing the total communication cost in distributed
optimization with communication compression. We demonstrate that unbiased
compression alone does not necessarily save the total communication cost, but
this outcome can be achieved if the compressors used by all workers are further
assumed independent. We establish lower bounds on the communication rounds
required by algorithms using independent unbiased compressors to minimize
smooth convex functions, and show that these lower bounds are tight by refining
the analysis for ADIANA. Our results reveal that using independent unbiased
compression can reduce the total communication cost by a factor of up to
$\Theta(\sqrt{\min\{n, \kappa\}})$, where $n$ is the number of workers and
$\kappa$ is the condition number of the functions being minimized. These
theoretical findings are supported by experimental results.
- Abstract（参考訳）: 通信圧縮は、圧縮勾配とモデルパラメータを伝達することで通信オーバーヘッドを軽減する分散最適化において一般的な手法である。
しかし、圧縮は情報歪みを導入し、収束を遅くし、より多くの通信ラウンドを発生させ、望ましいソリューションを実現する。
ラウンド単位の通信コストの低減と追加の通信ラウンドのトレードオフを考えると,通信圧縮によって通信コストが削減されるかどうかは不明である。
本稿では,広範に使用される圧縮形式である非バイアス圧縮が,通信コストを低減し,その程度を低減できる条件について検討する。
そこで本研究では,通信圧縮を伴う分散最適化における通信コストを特徴付ける最初の理論的定式化を行う。
非バイアス圧縮だけでは通信コストを節約できるわけではないが、全作業員が使用する圧縮機を独立と仮定すれば、この結果が得られる。
我々は,独立な非バイアス圧縮機を用いて,滑らかな凸関数を最小化するために,アルゴリズムが要求する通信ラウンドの下位境界を確立するとともに,これらの下位境界がADIANAの解析を洗練することによってきついことを示す。
我々の結果は、独立な非バイアス圧縮を用いることで、最大$\Theta(\sqrt{\min\{n, \kappa\}})$で、$n$は労働者の数、$\kappa$は最小化される関数の条件数で、通信コストを削減できることを示している。
これらの理論的知見は実験結果によって裏付けられている。
関連論文リスト
- Compressed-VFL: Communication-Efficient Learning with Vertically
Partitioned Data [15.85259386116784]
本稿では,垂直分割データを用いたコミュニケーション訓練のための圧縮垂直学習(C-VFL)を提案する。
VFLは,圧縮精度を著しく低下させることなく,通信コストを90%以上削減できることを示す。
論文 参考訳（メタデータ） (2022-06-16T17:34:07Z) - Lower Bounds and Nearly Optimal Algorithms in Distributed Learning with
Communication Compression [33.217552987061474]
通信圧縮は、通信を減らす最も効果的な方法の1つである。
分散最適化と学習の最近の進歩は、通信圧縮が通信を減らす最も効果的な方法の1つであることを示している。
論文 参考訳（メタデータ） (2022-06-08T03:36:34Z) - Distributed Newton-Type Methods with Communication Compression and
Bernoulli Aggregation [11.870393751095083]
曲率情報に対する同調圧縮と集約機構について検討する。
適応しきい値処理やベルヌーイ集約といった新しい3PC機構は、通信の低減と時折ヘッセン計算を必要とする。
全ての方法について、高速条件数非依存の局所線型および/または超線型収束率を導出する。
論文 参考訳（メタデータ） (2022-06-07T21:12:21Z) - Permutation Compressors for Provably Faster Distributed Nonconvex
Optimization [68.8204255655161]
本稿では,Gorbunov et al (2021) の MARINA 法が,理論的な通信複雑性の観点から最先端の手法とみなすことができることを示す。
MARINAの理論は、古典的な独立圧縮機設定を超えて、潜在的にエミュレートされた圧縮機の理論を支持するものである。
論文 参考訳（メタデータ） (2021-10-07T09:38:15Z) - Towards Compact CNNs via Collaborative Compression [166.86915086497433]
チャネルプルーニングとテンソル分解を結合してCNNモデルを圧縮する協調圧縮方式を提案する。
52.9%のFLOPを削減し、ResNet-50で48.4%のパラメータを削除しました。
論文 参考訳（メタデータ） (2021-05-24T12:07:38Z) - Learning Scalable $\ell_\infty$-constrained Near-lossless Image
Compression via Joint Lossy Image and Residual Compression [118.89112502350177]
本稿では,$ell_infty$-constrained near-lossless image compressionを学習するための新しいフレームワークを提案する。
元の残差の学習確率モデルを定量化し、量子化残差の確率モデルを導出する。
論文 参考訳（メタデータ） (2021-03-31T11:53:36Z) - A Linearly Convergent Algorithm for Decentralized Optimization: Sending
Less Bits for Free! [72.31332210635524]
分散最適化手法は、中央コーディネータを使わずに、機械学習モデルのデバイス上でのトレーニングを可能にする。
ランダム化圧縮演算子を適用し,通信ボトルネックに対処する新しいランダム化一階法を提案する。
本手法は,ベースラインに比べて通信数の増加を伴わずに問題を解くことができることを示す。
論文 参考訳（メタデータ） (2020-11-03T13:35:53Z) - Optimal Gradient Compression for Distributed and Federated Learning [9.711326718689492]
分散学習における計算ノード間の通信は、通常避けられない負担である。
通信効率の訓練アルゴリズムの最近の進歩は、圧縮技術を用いてボトルネックを減らしている。
本稿では,圧縮ベクトルの符号化に必要なビット数と圧縮誤差との基本的なトレードオフについて検討する。
論文 参考訳（メタデータ） (2020-10-07T07:58:59Z) - PowerGossip: Practical Low-Rank Communication Compression in
Decentralized Deep Learning [62.440827696638664]
本稿では,近隣労働者間のモデル差を直接圧縮する簡単なアルゴリズムを提案する。
中央集権的なディープラーニングのためにPowerSGDにインスパイアされたこのアルゴリズムは、パワーステップを使用して、1ビットあたりの転送情報を最大化する。
論文 参考訳（メタデータ） (2020-08-04T09:14:52Z) - On Biased Compression for Distributed Learning [65.62256987706128]
バイアス圧縮機が単一ノードと分散設定の両方において線形収束率をもたらすことを初めて示す。
理論的保証と実用性能を期待できる新しいバイアス圧縮機を提案する。
論文 参考訳（メタデータ） (2020-02-27T19:52:24Z) - Uncertainty Principle for Communication Compression in Distributed and
Federated Learning and the Search for an Optimal Compressor [5.09755285351264]
我々は,ベクトルのカシン表現にインスパイアされた非バイアス圧縮法を考察し,これをエムカシン圧縮(KC)と呼ぶ。
KC は、各ベクトルエントリごとに数ビットしか通信する必要のない状態であっても、明示的な公式を導出するエム次元独立分散境界を享受する。
論文 参考訳（メタデータ） (2020-02-20T17:20:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。