論文の概要: EF-BV: A Unified Theory of Error Feedback and Variance Reduction Mechanisms for Biased and Unbiased Compression in Distributed Optimization

• arxiv url: http://arxiv.org/abs/2205.04180v1
• Date: Mon, 9 May 2022 10:44:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-10 18:08:13.107411
• Title: EF-BV: A Unified Theory of Error Feedback and Variance Reduction Mechanisms for Biased and Unbiased Compression in Distributed Optimization
• Title（参考訳）: EF-BV:分散最適化におけるバイアス圧縮とアンバイアス圧縮の誤差フィードバックとばらつき低減の統一理論
• Authors: Laurent Condat, Kai Yi, Peter Richt\'arik
• Abstract要約: 分散最適化と学習では、異なるコンピュータユニット間の通信がボトルネックとなることが多い。 圧縮演算子には2つのクラスがあり、それを利用するアルゴリズムは別々である。 本稿では,特にDIANAとEF21を復元する新しいアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 7.691755449724637
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In distributed or federated optimization and learning, communication between the different computing units is often the bottleneck, and gradient compression is a widely used technique for reducing the number of bits sent within each communication round of iterative methods. There are two classes of compression operators and separate algorithms making use of them. In the case of unbiased random compressors with bounded variance (e.g., rand-k), the DIANA algorithm of Mishchenko et al. [2019], which implements a variance reduction technique for handling the variance introduced by compression, is the current state of the art. In the case of biased and contractive compressors (e.g., top-k), the EF21 algorithm of Richt\'arik et al. [2021], which implements an error-feedback mechanism for handling the error introduced by compression, is the current state of the art. These two classes of compression schemes and algorithms are distinct, with different analyses and proof techniques. In this paper, we unify them into a single framework and propose a new algorithm, recovering DIANA and EF21 as particular cases. We prove linear convergence under certain conditions. Our general approach works with a new, larger class of compressors, which includes unbiased and biased compressors as particular cases, and has two parameters, the bias and the variance. These gives a finer control and allows us to inherit the best of the two worlds: biased compressors, whose good performance in practice is recognized, can be used. And independent randomness at the compressors allows to mitigate the effects of compression, with the convergence rate improving when the number of parallel workers is large. This is the first time that an algorithm with all these features is proposed. Our approach takes a step towards better understanding of two so-far distinct worlds of communication-efficient distributed learning.
• Abstract（参考訳）: 分散最適化やフェデレーション最適化や学習では、異なる演算ユニット間の通信がボトルネックとなり、勾配圧縮は各通信ラウンド内の反復メソッドで送信されるビット数を減らすために広く使われているテクニックである。 圧縮演算子には2つのクラスがあり、それを利用するアルゴリズムは別々である。 有界分散を持つ非バイアスランダム圧縮機(例:rund-k)の場合、MishchenkoらによるDIANAアルゴリズムが用いられる。 圧縮によって引き起こされる分散を扱う分散低減技術を実装した[2019]が現在の技術である。 バイアスのある圧縮機(例えばトップ-k)の場合、EF21アルゴリズムはRicht\'arik et al である。 圧縮によって導入されたエラーを処理するエラーフィードバック機構を実装した[2021]が,その最先端技術である。 これら2つの圧縮スキームとアルゴリズムのクラスは異なる解析と証明技術を持つ。 本稿では,それらをひとつのフレームワークに統合し,新しいアルゴリズムを提案し,特にDIANAとEF21を復元する。 我々はある条件下で線形収束を証明する。 我々の一般的な手法は、特に非バイアス圧縮機とバイアス圧縮機を含む、より大規模な圧縮機で機能し、バイアスと分散の2つのパラメータを持つ。 これにより、より細かい制御が可能になり、バイアスド圧縮機(実際に優れた性能が認識されている)が使用できる2つの世界のベストを継承することができます。 そして、圧縮機の独立したランダム性は圧縮の影響を緩和し、並列作業者の数が大きい場合に収束速度が向上する。 これら全ての特徴を持つアルゴリズムが提案されたのはこれが初めてである。 本稿では,コミュニケーション効率のよい分散学習の2つの世界に対する理解を深める。

関連論文リスト

• Communication-Efficient Distributed Learning with Local Immediate Error Compensation [95.6828475028581]
  本稿では,局所的即時誤差補償SGD (LIEC-SGD) 最適化アルゴリズムを提案する。 LIEC-SGDは、コンバージェンスレートまたは通信コストのいずれにおいても、以前の研究よりも優れている。
  論文  参考訳（メタデータ） (2024-02-19T05:59:09Z)
• Lower Bounds and Accelerated Algorithms in Distributed Stochastic Optimization with Communication Compression [31.107056382542417]
  通信圧縮は通信オーバーヘッドを軽減するための重要な戦略である。 軽度条件下での圧縮のほぼ最適アルゴリズムであるNEOLITHICを提案する。
  論文  参考訳（メタデータ） (2023-05-12T17:02:43Z)
• Shifted Compression Framework: Generalizations and Improvements [2.2147691173934967]
  コミュニケーションは、大規模な機械学習モデルの分散トレーニングにおける重要なボトルネックの1つだ。 勾配やモデルのような交換された情報のロッシー圧縮は、この問題を緩和する最も効果的な手段の1つである。
  論文  参考訳（メタデータ） (2022-06-21T15:00:04Z)
• Unified Multivariate Gaussian Mixture for Efficient Neural Image Compression [151.3826781154146]
  先行変数と超優先度を持つ潜伏変数は、変動画像圧縮において重要な問題である。 ベクトル化された視点で潜伏変数を観察する際、相関関係や相関関係は存在する。 当社のモデルでは、速度歪曲性能が向上し、圧縮速度が3.18倍に向上した。
  論文  参考訳（メタデータ） (2022-03-21T11:44:17Z)
• Innovation Compression for Communication-efficient Distributed Optimization with Linear Convergence [23.849813231750932]
  本稿では,強い凸最適化問題を解決するために,通信効率のよい線形収束分散(COLD)アルゴリズムを提案する。 イノベーションベクターを圧縮することで、COLDは$delta$-contractedコンプレッサーのクラスに対して線形収束を達成できます。 数値実験は、異なる圧縮機の下で両方のアルゴリズムの利点を実証する。
  論文  参考訳（メタデータ） (2021-05-14T08:15:18Z)
• A Linearly Convergent Algorithm for Decentralized Optimization: Sending Less Bits for Free! [72.31332210635524]
  分散最適化手法は、中央コーディネータを使わずに、機械学習モデルのデバイス上でのトレーニングを可能にする。 ランダム化圧縮演算子を適用し,通信ボトルネックに対処する新しいランダム化一階法を提案する。 本手法は,ベースラインに比べて通信数の増加を伴わずに問題を解くことができることを示す。
  論文  参考訳（メタデータ） (2020-11-03T13:35:53Z)
• PowerGossip: Practical Low-Rank Communication Compression in Decentralized Deep Learning [62.440827696638664]
  本稿では,近隣労働者間のモデル差を直接圧縮する簡単なアルゴリズムを提案する。 中央集権的なディープラーニングのためにPowerSGDにインスパイアされたこのアルゴリズムは、パワーステップを使用して、1ビットあたりの転送情報を最大化する。
  論文  参考訳（メタデータ） (2020-08-04T09:14:52Z)
• Linear Convergent Decentralized Optimization with Compression [50.44269451541387]
  圧縮を伴う既存の分散アルゴリズムは主にDGD型アルゴリズムの圧縮に焦点を当てている。 原始双対アルゴリズムによって動機付けられた本論文は、最初のアンダーラインLinunderlineEAr収束を提案する。 underline Decentralized with compression, LEAD。
  論文  参考訳（メタデータ） (2020-07-01T04:35:00Z)
• A Better Alternative to Error Feedback for Communication-Efficient Distributed Learning [0.0]
  私たちのアプローチは、メモリ要件の削減、複雑性の保証の改善、仮定の削減など、EFよりも大幅に改善されていることが示されています。 さらに、ノード上の任意の分布に従って、部分的な参加を伴うフェデレーション学習に結果を拡張し、そのメリットを実証する。
  論文  参考訳（メタデータ） (2020-06-19T11:24:41Z)
• On Biased Compression for Distributed Learning [55.89300593805943]
  バイアス圧縮機が単一ノードと分散設定の両方において線形収束率をもたらすことを初めて示す。 理論的保証と実用性能を期待できる新しいバイアス圧縮機を提案する。
  論文  参考訳（メタデータ） (2020-02-27T19:52:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。