論文の概要: EF21 with Bells & Whistles: Practical Algorithmic Extensions of Modern Error Feedback

• arxiv url: http://arxiv.org/abs/2110.03294v1
• Date: Thu, 7 Oct 2021 09:29:14 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-08 15:25:51.721122
• Title: EF21 with Bells & Whistles: Practical Algorithmic Extensions of Modern Error Feedback
• Title（参考訳）: EF21 with Bells & Whistles: 現代的なエラーフィードバックのアルゴリズム拡張
• Authors: Ilyas Fatkhullin and Igor Sokolov and Eduard Gorbunov and Zhize Li and Peter Richt\'arik
• Abstract要約: 既存の誤差フィードバック理論(EF)は、非常に強い仮定に依存し、悲観的な収束率を提供する。 Richtarik et al. (2021) は、収縮近似によって誘導される圧縮機の構築に基づいて、新しいエラーフィードバック機構 EF21 を提案した。 本稿では、強収束理論によって支えられるEF21の6つの実践的拡張を提案する。
• 参考スコア（独自算出の注目度）: 11.899559337707112
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: First proposed by Seide (2014) as a heuristic, error feedback (EF) is a very popular mechanism for enforcing convergence of distributed gradient-based optimization methods enhanced with communication compression strategies based on the application of contractive compression operators. However, existing theory of EF relies on very strong assumptions (e.g., bounded gradients), and provides pessimistic convergence rates (e.g., while the best known rate for EF in the smooth nonconvex regime, and when full gradients are compressed, is $O(1/T^{2/3})$, the rate of gradient descent in the same regime is $O(1/T)$). Recently, Richt\'{a}rik et al. (2021) proposed a new error feedback mechanism, EF21, based on the construction of a Markov compressor induced by a contractive compressor. EF21 removes the aforementioned theoretical deficiencies of EF and at the same time works better in practice. In this work we propose six practical extensions of EF21, all supported by strong convergence theory: partial participation, stochastic approximation, variance reduction, proximal setting, momentum and bidirectional compression. Several of these techniques were never analyzed in conjunction with EF before, and in cases where they were (e.g., bidirectional compression), our rates are vastly superior.
• Abstract（参考訳）: seide (2014) によって初めて提案されたヒューリスティックなエラーフィードバック(ef)は、契約圧縮演算子の適用に基づく通信圧縮戦略により拡張された分散勾配に基づく最適化手法の収束を強制するための非常に一般的なメカニズムである。 しかし、EF の既存の理論は非常に強い仮定(例えば有界勾配)に依存し、悲観的な収束率を与える(例えば、滑らかな非凸状態における EF の最もよく知られた速度は滑らかな非凸状態であり、完全な勾配が圧縮された場合、同じ状態における勾配勾配の速度は$O(1/T^{2/3})$である)。 最近、richt\'{a}rik et al. (2021) は、収縮圧縮機によって誘導されるマルコフ圧縮機の構築に基づいて、新しいエラーフィードバック機構ef21を提案した。 EF21は前述のEFの理論的欠陥を取り除き、同時に実際によりうまく機能する。 本研究では,ef21の6つの実用的拡張を提案し,これらを強収束理論(部分的参加,確率近似,分散還元,近位設定,運動量,双方向圧縮)で支持する。 これらの技法のいくつかはEFと併用して解析されることはなく、それらが(例えば双方向圧縮)場合、我々のレートは非常に優れている。

関連論文リスト

• Flattened one-bit stochastic gradient descent: compressed distributed optimization with controlled variance [55.01966743652196]
  パラメータ・サーバ・フレームワークにおける圧縮勾配通信を用いた分散勾配降下(SGD)のための新しいアルゴリズムを提案する。 平坦な1ビット勾配勾配勾配法(FO-SGD)は2つの単純なアルゴリズムの考え方に依存している。
  論文  参考訳（メタデータ） (2024-05-17T21:17:27Z)
• Communication-Efficient Distributed Learning with Local Immediate Error Compensation [95.6828475028581]
  本稿では,局所的即時誤差補償SGD (LIEC-SGD) 最適化アルゴリズムを提案する。 LIEC-SGDは、コンバージェンスレートまたは通信コストのいずれにおいても、以前の研究よりも優れている。
  論文  参考訳（メタデータ） (2024-02-19T05:59:09Z)
• Error Feedback Reloaded: From Quadratic to Arithmetic Mean of Smoothness Constants [4.2177789094825515]
  EF21(Richtarik et al., 2021)と呼ばれる現代のエラーフィードバックの形式を研究する。 特に、EF21の理論的通信複雑性は、ある滑らか度パラメータの2次平均に依存するが、計算平均へのこの依存を改善する。 我々は、クローンなしで(幸いにも)実行できるEF21の新しい重み付きバージョンの発見を継続し、最終的に元のEF21法を改良した解析に循環する。
  論文  参考訳（メタデータ） (2024-02-16T15:55:59Z)
• Momentum Provably Improves Error Feedback! [54.93799845077906]
  未処理の場合、圧縮による誤差は指数的トレーニングの振る舞いを伝播させる。 EF21-SGDMは、従来のエラーフィードバックアルゴリズムの通信とサンプルの複雑さを改善している。
  論文  参考訳（メタデータ） (2023-05-24T13:52:02Z)
• EF-BV: A Unified Theory of Error Feedback and Variance Reduction Mechanisms for Biased and Unbiased Compression in Distributed Optimization [7.691755449724637]
  分散最適化と学習では、異なるコンピュータユニット間の通信がボトルネックとなることが多い。 圧縮演算子には2つのクラスがあり、それを利用するアルゴリズムは別々である。 本稿では,特にDIANAとEF21を復元する新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-05-09T10:44:23Z)
• Permutation Compressors for Provably Faster Distributed Nonconvex Optimization [68.8204255655161]
  本稿では,Gorbunov et al (2021) の MARINA 法が,理論的な通信複雑性の観点から最先端の手法とみなすことができることを示す。 MARINAの理論は、古典的な独立圧縮機設定を超えて、潜在的にエミュレートされた圧縮機の理論を支持するものである。
  論文  参考訳（メタデータ） (2021-10-07T09:38:15Z)
• EF21: A New, Simpler, Theoretically Better, and Practically Faster Error Feedback [0.0]
  エラーフィードバック(EF)は、教師付き機械学習の分散トレーニングの文脈において、非常に一般的な安定化メカニズムである。 我々はEF21と呼ばれる新しいEFメカニズムを提案し,解析する。 特に、EF21が滑らかな非収束問題に対する高速なO(1/T)$収束率を享受していることを証明する。
  論文  参考訳（メタデータ） (2021-06-09T16:45:53Z)
• Linear Convergent Decentralized Optimization with Compression [50.44269451541387]
  圧縮を伴う既存の分散アルゴリズムは主にDGD型アルゴリズムの圧縮に焦点を当てている。 原始双対アルゴリズムによって動機付けられた本論文は、最初のアンダーラインLinunderlineEAr収束を提案する。 underline Decentralized with compression, LEAD。
  論文  参考訳（メタデータ） (2020-07-01T04:35:00Z)
• A Better Alternative to Error Feedback for Communication-Efficient Distributed Learning [0.0]
  私たちのアプローチは、メモリ要件の削減、複雑性の保証の改善、仮定の削減など、EFよりも大幅に改善されていることが示されています。 さらに、ノード上の任意の分布に従って、部分的な参加を伴うフェデレーション学習に結果を拡張し、そのメリットを実証する。
  論文  参考訳（メタデータ） (2020-06-19T11:24:41Z)
• On Biased Compression for Distributed Learning [55.89300593805943]
  バイアス圧縮機が単一ノードと分散設定の両方において線形収束率をもたらすことを初めて示す。 理論的保証と実用性能を期待できる新しいバイアス圧縮機を提案する。
  論文  参考訳（メタデータ） (2020-02-27T19:52:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。