論文の概要: Uncertainty Principle for Communication Compression in Distributed and Federated Learning and the Search for an Optimal Compressor

• arxiv url: http://arxiv.org/abs/2002.08958v3
• Date: Tue, 26 Jan 2021 11:13:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-30 07:45:19.720709
• Title: Uncertainty Principle for Communication Compression in Distributed and Federated Learning and the Search for an Optimal Compressor
• Title（参考訳）: 分散・フェデレーション学習における通信圧縮の不確実性原理と最適圧縮器の探索
• Authors: Mher Safaryan and Egor Shulgin and Peter Richt\'arik
• Abstract要約: 我々は,ベクトルのカシン表現にインスパイアされた非バイアス圧縮法を考察し,これをエムカシン圧縮(KC)と呼ぶ。 KC は、各ベクトルエントリごとに数ビットしか通信する必要のない状態であっても、明示的な公式を導出するエム次元独立分散境界を享受する。
• 参考スコア（独自算出の注目度）: 5.09755285351264
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In order to mitigate the high communication cost in distributed and federated learning, various vector compression schemes, such as quantization, sparsification and dithering, have become very popular. In designing a compression method, one aims to communicate as few bits as possible, which minimizes the cost per communication round, while at the same time attempting to impart as little distortion (variance) to the communicated messages as possible, which minimizes the adverse effect of the compression on the overall number of communication rounds. However, intuitively, these two goals are fundamentally in conflict: the more compression we allow, the more distorted the messages become. We formalize this intuition and prove an {\em uncertainty principle} for randomized compression operators, thus quantifying this limitation mathematically, and {\em effectively providing asymptotically tight lower bounds on what might be achievable with communication compression}. Motivated by these developments, we call for the search for the optimal compression operator. In an attempt to take a first step in this direction, we consider an unbiased compression method inspired by the Kashin representation of vectors, which we call {\em Kashin compression (KC)}. In contrast to all previously proposed compression mechanisms, KC enjoys a {\em dimension independent} variance bound for which we derive an explicit formula even in the regime when only a few bits need to be communicate per each vector entry.
• Abstract（参考訳）: 分散学習や連合学習における高い通信コストを軽減するために,量子化,スパース化,ディザリングといった様々なベクトル圧縮方式が普及している。 圧縮法の設計において、通信ラウンド当たりのコストを最小限に抑えると同時に、通信ラウンド全体の通信ラウンドに対する圧縮の悪影響を最小限に抑えるために、通信メッセージに歪み(ばらつき)を最小化することを目的としている。 しかし直感的には、これらの2つの目標は基本的に対立している。 我々はこの直観を定式化し、ランダム化圧縮作用素に対する「em不確実性原理」を証明し、この制限を数学的に定量化し、通信圧縮で達成可能なものに対して漸近的に密接な下界を与える。 これらの発展により,最適圧縮演算子の探索が求められた。 この方向への第一歩を踏み出す試みとして、ベクトルのカシン表現にインスパイアされた非バイアス圧縮法を考察し、これをヘムカシン圧縮(KC)と呼ぶ。 これまで提案されたすべての圧縮機構とは対照的に、KC は、ベクトルエントリごとに数ビットしか通信する必要のない状態でも明示的な公式を導出するような、次元に依存しない分散を持つ。

関連論文リスト

• Differential error feedback for communication-efficient decentralized learning [48.924131251745266]
  本稿では,差分量子化と誤りフィードバックをブレンドする分散通信効率学習手法を提案する。 その結果,平均二乗誤差と平均ビットレートの両面において通信効率が安定であることが示唆された。 その結果、小さなステップサイズで有限ビットの場合には、圧縮がない場合に達成可能な性能が得られることが判明した。
  論文  参考訳（メタデータ） (2024-06-26T15:11:26Z)
• Communication-Efficient Distributed Learning with Local Immediate Error Compensation [95.6828475028581]
  本稿では,局所的即時誤差補償SGD (LIEC-SGD) 最適化アルゴリズムを提案する。 LIEC-SGDは、コンバージェンスレートまたは通信コストのいずれにおいても、以前の研究よりも優れている。
  論文  参考訳（メタデータ） (2024-02-19T05:59:09Z)
• Improving the Worst-Case Bidirectional Communication Complexity for Nonconvex Distributed Optimization under Function Similarity [92.1840862558718]
  ダウンリンク圧縮のための新しい手法であるMARINA-Pを導入する。 置換圧縮機を用いたMARINA-Pは、作業者数に応じてサーバ間通信の複雑さを向上できることを示す。 本稿では,MARINA-Pとアップリンク圧縮とモーメントステップを組み合わせた手法であるM3を導入する。
  論文  参考訳（メタデータ） (2024-02-09T13:58:33Z)
• Optimal Compression of Unit Norm Vectors in the High Distortion Regime [30.6205706348233]
  本稿では,単位ノルムベクトルを最小ビット数に圧縮する手法について検討する。 本研究は, バイアス圧縮法と非バイアス圧縮法の両方を考察し, 最適圧縮率を決定する。 結果は新しいものと既知のものが混在しているが、完全性のためにこの論文にまとめられている。
  論文  参考訳（メタデータ） (2023-07-16T04:23:57Z)
• Unbiased Compression Saves Communication in Distributed Optimization: When and How Much? [22.701976655513043]
  通信圧縮は、圧縮された勾配とモデルパラメータを伝達することで通信オーバーヘッドを軽減することができる。 通信圧縮によって通信コストが削減されるかどうかは不明である。 独立な非バイアス圧縮を用いることで、すべての局所的滑らか度定数が制約された場合、最大$Theta(sqrtminn, kappa)$で通信コストを削減できることを示す。
  論文  参考訳（メタデータ） (2023-05-25T17:51:23Z)
• Lower Bounds and Nearly Optimal Algorithms in Distributed Learning with Communication Compression [33.217552987061474]
  通信圧縮は、通信を減らす最も効果的な方法の1つである。 分散最適化と学習の最近の進歩は、通信圧縮が通信を減らす最も効果的な方法の1つであることを示している。
  論文  参考訳（メタデータ） (2022-06-08T03:36:34Z)
• EF-BV: A Unified Theory of Error Feedback and Variance Reduction Mechanisms for Biased and Unbiased Compression in Distributed Optimization [7.691755449724637]
  分散最適化と学習では、異なるコンピュータユニット間の通信がボトルネックとなることが多い。 圧縮演算子には2つのクラスがあり、それを利用するアルゴリズムは別々である。 本稿では,特にDIANAとEF21を復元する新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-05-09T10:44:23Z)
• Towards Compact CNNs via Collaborative Compression [166.86915086497433]
  チャネルプルーニングとテンソル分解を結合してCNNモデルを圧縮する協調圧縮方式を提案する。 52.9%のFLOPを削減し、ResNet-50で48.4%のパラメータを削除しました。
  論文  参考訳（メタデータ） (2021-05-24T12:07:38Z)
• A Linearly Convergent Algorithm for Decentralized Optimization: Sending Less Bits for Free! [72.31332210635524]
  分散最適化手法は、中央コーディネータを使わずに、機械学習モデルのデバイス上でのトレーニングを可能にする。 ランダム化圧縮演算子を適用し,通信ボトルネックに対処する新しいランダム化一階法を提案する。 本手法は,ベースラインに比べて通信数の増加を伴わずに問題を解くことができることを示す。
  論文  参考訳（メタデータ） (2020-11-03T13:35:53Z)
• Optimal Gradient Compression for Distributed and Federated Learning [9.711326718689492]
  分散学習における計算ノード間の通信は、通常避けられない負担である。 通信効率の訓練アルゴリズムの最近の進歩は、圧縮技術を用いてボトルネックを減らしている。 本稿では,圧縮ベクトルの符号化に必要なビット数と圧縮誤差との基本的なトレードオフについて検討する。
  論文  参考訳（メタデータ） (2020-10-07T07:58:59Z)
• Linear Convergent Decentralized Optimization with Compression [50.44269451541387]
  圧縮を伴う既存の分散アルゴリズムは主にDGD型アルゴリズムの圧縮に焦点を当てている。 原始双対アルゴリズムによって動機付けられた本論文は、最初のアンダーラインLinunderlineEAr収束を提案する。 underline Decentralized with compression, LEAD。
  論文  参考訳（メタデータ） (2020-07-01T04:35:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。