論文の概要: EF21 with Bells & Whistles: Six Algorithmic Extensions of Modern Error Feedback

• arxiv url: http://arxiv.org/abs/2110.03294v2
• Date: Fri, 20 Jun 2025 17:11:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-24 17:01:34.837298
• Title: EF21 with Bells & Whistles: Six Algorithmic Extensions of Modern Error Feedback
• Title（参考訳）: EF21 with Bells & Whistles: 6つのアルゴリズムによる最新のエラーフィードバックの拡張
• Authors: Ilyas Fatkhullin, Igor Sokolov, Eduard Gorbunov, Zhize Li, Peter Richtárik,
• Abstract要約: 本稿では, 圧縮機により誘導されるマルコフ圧縮機の構成に基づく新しい誤差フィードバック機構EF21を提案する。 これらの技法のいくつかはEF21と組み合わせて分析されていない。
• 参考スコア（独自算出の注目度）: 65.60461294185853
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: First proposed by Seide (2014) as a heuristic, error feedback (EF) is a very popular mechanism for enforcing convergence of distributed gradient-based optimization methods enhanced with communication compression strategies based on the application of contractive compression operators. However, existing theory of EF relies on very strong assumptions (e.g., bounded gradients), and provides pessimistic convergence rates (e.g., while the best known rate for EF in the smooth nonconvex regime, and when full gradients are compressed, is $O(1/T^{2/3})$, the rate of gradient descent in the same regime is $O(1/T)$). Recently, Richt\'arik et al. (2021) proposed a new error feedback mechanism, EF21, based on the construction of a Markov compressor induced by a contractive compressor. EF21 removes the aforementioned theoretical deficiencies of EF and at the same time works better in practice. In this work we propose six practical extensions of EF21, all supported by strong convergence theory: partial participation, stochastic approximation, variance reduction, proximal setting, momentum, and bidirectional compression. To the best of our knowledge, several of these techniques have not been previously analyzed in combination with EF, and in cases where prior analysis exists -- such as for bidirectional compression -- our theoretical convergence guarantees significantly improve upon existing results.
• Abstract（参考訳）: The first proposed by Seide (2014) as a heuristic, error feedback (EF) is a very popular mechanism for enforcence of distributed gradient-based optimization method enhanced with communication compression strategy based on the application of contractive compression operator。 しかし、EF の既存の理論は、非常に強い仮定(例えば、有界勾配)に依存し、悲観的な収束率(例えば、滑らかな非凸状態における EF の最もよく知られた速度)を提供し、完全な勾配が圧縮された場合、同じ状態の勾配降下率が$O(1/T^{2/3})$である。 最近、Richt\'arik et al (2021) は、収縮圧縮機によって誘導されるマルコフ圧縮機の構成に基づいて、新しいエラーフィードバック機構 EF21 を提案した。 EF21は前述のEFの理論的欠陥を取り除き、同時に実際によりうまく機能する。 本研究ではEF21の6つの実践的拡張を提案し、いずれも強い収束理論(部分的参加、確率近似、分散還元、近位設定、運動量、双方向圧縮)で支えられている。 我々の知る限り、これらの手法のいくつかは以前にEFと組み合わせて分析されていないが、先行分析が存在する場合(例えば双方向圧縮など)、我々の理論収束は既存の結果を大幅に改善することを保証している。

関連論文リスト

• MARINA-P: Superior Performance in Non-smooth Federated Optimization with Adaptive Stepsizes [57.24311218570012]
  EF21-P (匿名2024) と MARINA-P (arXiv:2402.06412) の非滑らか凸理論を非サイズ凸設定で拡張する。 我々は、定数、減少、適応(aktype)ステップの理論的保証を提供する。
  論文  参考訳（メタデータ） (2024-12-22T16:18:34Z)
• Flattened one-bit stochastic gradient descent: compressed distributed optimization with controlled variance [55.01966743652196]
  パラメータ・サーバ・フレームワークにおける圧縮勾配通信を用いた分散勾配降下(SGD)のための新しいアルゴリズムを提案する。 平坦な1ビット勾配勾配勾配法(FO-SGD)は2つの単純なアルゴリズムの考え方に依存している。
  論文  参考訳（メタデータ） (2024-05-17T21:17:27Z)
• Communication-Efficient Distributed Learning with Local Immediate Error Compensation [95.6828475028581]
  本稿では,局所的即時誤差補償SGD (LIEC-SGD) 最適化アルゴリズムを提案する。 LIEC-SGDは、コンバージェンスレートまたは通信コストのいずれにおいても、以前の研究よりも優れている。
  論文  参考訳（メタデータ） (2024-02-19T05:59:09Z)
• Error Feedback Reloaded: From Quadratic to Arithmetic Mean of Smoothness Constants [4.2177789094825515]
  EF21(Richtarik et al., 2021)と呼ばれる現代のエラーフィードバックの形式を研究する。 特に、EF21の理論的通信複雑性は、ある滑らか度パラメータの2次平均に依存するが、計算平均へのこの依存を改善する。 我々は、クローンなしで(幸いにも)実行できるEF21の新しい重み付きバージョンの発見を継続し、最終的に元のEF21法を改良した解析に循環する。
  論文  参考訳（メタデータ） (2024-02-16T15:55:59Z)
• Momentum Provably Improves Error Feedback! [54.93799845077906]
  未処理の場合、圧縮による誤差は指数的トレーニングの振る舞いを伝播させる。 EF21-SGDMは、従来のエラーフィードバックアルゴリズムの通信とサンプルの複雑さを改善している。
  論文  参考訳（メタデータ） (2023-05-24T13:52:02Z)
• EF-BV: A Unified Theory of Error Feedback and Variance Reduction Mechanisms for Biased and Unbiased Compression in Distributed Optimization [7.691755449724637]
  分散最適化と学習では、異なるコンピュータユニット間の通信がボトルネックとなることが多い。 圧縮演算子には2つのクラスがあり、それを利用するアルゴリズムは別々である。 本稿では,特にDIANAとEF21を復元する新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-05-09T10:44:23Z)
• Permutation Compressors for Provably Faster Distributed Nonconvex Optimization [68.8204255655161]
  本稿では,Gorbunov et al (2021) の MARINA 法が,理論的な通信複雑性の観点から最先端の手法とみなすことができることを示す。 MARINAの理論は、古典的な独立圧縮機設定を超えて、潜在的にエミュレートされた圧縮機の理論を支持するものである。
  論文  参考訳（メタデータ） (2021-10-07T09:38:15Z)
• EF21: A New, Simpler, Theoretically Better, and Practically Faster Error Feedback [0.0]
  エラーフィードバック(EF)は、教師付き機械学習の分散トレーニングの文脈において、非常に一般的な安定化メカニズムである。 我々はEF21と呼ばれる新しいEFメカニズムを提案し,解析する。 特に、EF21が滑らかな非収束問題に対する高速なO(1/T)$収束率を享受していることを証明する。
  論文  参考訳（メタデータ） (2021-06-09T16:45:53Z)
• Linear Convergent Decentralized Optimization with Compression [50.44269451541387]
  圧縮を伴う既存の分散アルゴリズムは主にDGD型アルゴリズムの圧縮に焦点を当てている。 原始双対アルゴリズムによって動機付けられた本論文は、最初のアンダーラインLinunderlineEAr収束を提案する。 underline Decentralized with compression, LEAD。
  論文  参考訳（メタデータ） (2020-07-01T04:35:00Z)
• A Better Alternative to Error Feedback for Communication-Efficient Distributed Learning [0.0]
  私たちのアプローチは、メモリ要件の削減、複雑性の保証の改善、仮定の削減など、EFよりも大幅に改善されていることが示されています。 さらに、ノード上の任意の分布に従って、部分的な参加を伴うフェデレーション学習に結果を拡張し、そのメリットを実証する。
  論文  参考訳（メタデータ） (2020-06-19T11:24:41Z)
• On Biased Compression for Distributed Learning [55.89300593805943]
  バイアス圧縮機が単一ノードと分散設定の両方において線形収束率をもたらすことを初めて示す。 理論的保証と実用性能を期待できる新しいバイアス圧縮機を提案する。
  論文  参考訳（メタデータ） (2020-02-27T19:52:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。